Иерархическое обучение (Hierarchical Learning)
Метод обучения моделей машинного обучения, при котором задача разбивается на уровни (иерархию) подзадач, а модель последовательно осваивает знания от простого к сложному либо от общего к частному.
Суть иерархического обучения можно пояснить на бытовой аналогии:
представьте, что вы учите ребёнка читать. Сначала он осваивает буквы, потом складывает их в слоги, затем — в слова, и только после этого учится читать предложения и тексты. Каждый следующий этап опирается на навыки, полученные на предыдущем. В контексте нейросетей аналогично: модель сначала «учится» распознавать базовые паттерны (например, края и текстуры на изображениях), затем — более сложные объекты (части предметов), и в финале — целые объекты или сцены.
Исторически идея иерархического построения знаний восходит к ранним моделям восприятия в когнитивной психологии и нейробиологии (например, к представлениям о работе зрительной коры мозга). В машинном обучении она получила развитие с появлением глубоких нейронных сетей в 2000‑х — 2010‑х годах. Ключевую роль сыграли работы по свёрточным нейронным сетям (CNN), где слои сети естественным образом формируют иерархию признаков: нижние слои улавливают простые геометрические элементы, верхние — сложные семантические структуры. Важный импульс дал успех AlexNet (2012) на конкурсе ImageNet, продемонстрировавший мощь иерархического извлечения признаков.
Иерархическое обучение стоит отличать от:
- Плоского (flat) обучения, где все классы или задачи рассматриваются на одном уровне без вложенности.
- Многозадачного обучения (multi-task learning), где модель одновременно учится решать несколько задач, но не обязательно в иерархическом порядке.
- Последовательного обучения (curriculum learning), где задача тоже разбивается на этапы, но акцент делается на постепенном усложнении данных, а не на иерархической структуре самих знаний.
Примеры использования:
- Свёрточные нейронные сети (CNN) для классификации изображений: иерархическое извлечение признаков от краёв до объектов.
- Иерархические модели классификации, где классы организованы в дерево (например, сначала определение «животное/растение», затем — вид животного).
- Рекуррентные сети с иерархической структурой (например, для анализа текста: символы → слова → предложения → абзацы).
- Нейросетевые архитектуры для сегментации изображений, где сначала выделяется грубая маска объекта, затем уточняются детали.
- Иерархические генеративные модели, где сначала создаётся грубый эскиз, а затем добавляются детали (например, в GAN для генерации изображений).