Механизм иерархического внимания (Hierarchical Attention Mechanism)
Метод в нейронных сетях, позволяющий модели фокусироваться на различных уровнях детализации данных (например, словах, предложениях, абзацах) посредством многоуровневой системы весовых коэффициентов, распределяемых между элементами входной последовательности.
Суть механизма можно пояснить на аналогии с чтением книги. Представьте, что вы изучаете сложный научный текст:
- сначала вы бегло просматриваете заголовки и подзаголовки, чтобы понять общую структуру (уровень «глав» или «разделов»);
- затем вчитываетесь в отдельные абзацы, выделяя ключевые мысли (уровень «абзацев»);
- наконец, концентрируетесь на конкретных терминах и предложениях, которые несут основную смысловую нагрузку (уровень «слов» и «фраз»).
Механизм иерархического внимания работает похожим образом: он позволяет модели поэтапно выделять значимую информацию на разных уровнях абстракции, не теряя из виду общую картину. Это особенно важно при работе с длинными и сложными последовательностями — например, с объёмными текстами или многоканальными временны́ми рядами.
Исторически механизм внимания (attention) появился как ответ на ограничения рекуррентных сетей (RNN) и LSTM при обработке длинных последовательностей. Первые работы по attention датируются серединой 2010‑х (например, статья Bahdanau et al., 2014 «Neural Machine Translation by Jointly Learning to Align and Translate»). Иерархические варианты стали развиваться чуть позже — когда стало ясно, что одноуровневого внимания недостаточно для задач, где важна структура на нескольких масштабах (например, классификация документов, суммаризация текстов, анализ диалогов).
Отличия от смежных понятий:
- Механизм внимания (attention) — одноуровневый: распределяет веса только среди элементов одного типа (например, слов в предложении).
- Самовнимание (self-attention) — частный случай attention, где запросы, ключи и значения берутся из одной и той же последовательности (как в Transformer). Не подразумевает иерархию уровней.
- Иерархическое внимание — явно моделирует несколько уровней абстракции (например, слово → предложение → абзац), связывая их через вложенные механизмы внимания.
Примеры использования:
- Классификация длинных текстов. Модель сначала вычисляет внимание внутри каждого предложения, затем — между предложениями в абзаце, и наконец — между абзацами. Это позволяет учесть как локальные, так и глобальные признаки.
- Суммаризация документов. Иерархическое внимание помогает выделить ключевые предложения и абзацы, а внутри них — важные слова, что улучшает качество краткого пересказа.
- Анализ диалогов. Модель может фокусироваться на отдельных репликах, группах реплик (например, темах разговора) и всём диалоге в целом.
Популярные реализации:
- Hierarchical Attention Networks (HAN) — одна из первых и наиболее известных архитектур, предложенная Yang et al. (2016). Использует два уровня внимания: на уровне слов и на уровне предложений.
- Вариации на базе Transformer, где иерархичность достигается через блоки с разными размерами окон внимания или через явное группирование токенов (например, Longformer, BigBird для длинных последовательностей).