Локальная нормализация (Local Normalization)
Метод предварительной обработки данных в нейронных сетях, при котором значения признаков нормализуются в пределах локальных областей (окрестностей) входного пространства, а не по всему набору данных.
Суть локальной нормализации легче понять через бытовую аналогию.
Представьте, что вы оцениваете температуру в разных районах города. Если брать среднюю температуру по всему городу, можно упустить важные детали: в центре может быть жарко из‑за асфальта и зданий, а в парках — прохладно. Локальная нормализация работает похоже: она «смотрит» на небольшие участки данных и нормализует значения именно в этих участках, сохраняя локальные особенности. В итоге модель лучше улавливает тонкие паттерны, которые могли бы «потеряться» при глобальной нормализации.
Исторически методы нормализации в машинном обучении стали активно развиваться в 2010‑х годах на фоне роста популярности глубоких нейронных сетей. Хотя глобальная нормализация (например, стандартизация по среднему и дисперсии всего датасета) была известна давно, исследователи заметили, что для некоторых задач — особенно в компьютерном зрении — важно сохранять локальные контрасты и структуры. Это подтолкнуло к разработке методов локальной нормализации. Одним из популярных вариантов стала локальная контрастная нормализация (Local Contrast Normalization, LCN), которая применялась в ранних свёрточных сетях (CNN) для улучшения инвариантности к освещению и контрасту.
Важно отличать локальную нормализацию от смежных понятий:
- Глобальная нормализация — применяет одни и те же параметры (среднее, дисперсия) ко всему датасету. Подходит для задач, где глобальные статистические свойства важнее локальных деталей.
- Батч-нормализация (Batch Normalization) — нормализует активации внутри батчей во время обучения, стабилизируя градиенты. Работает на уровне мини‑батчей, а не локальных пространственных окрестностей.
- Слоевая нормализация (Layer Normalization) — нормализует по признакам внутри примера, не завися от батча. Тоже не фокусируется на локальных пространственных структурах.
Примеры использования:
- В свёрточных нейронных сетях (CNN) для обработки изображений: локальная нормализация помогает выделить края, текстуры и другие локальные признаки, улучшая распознавание объектов.
- В моделях для анализа временных рядов: можно применять локальную нормализацию по окнам времени, чтобы учитывать локальные тренды и сезонные колебания.
- В алгоритмах обработки аудио: нормализация спектрограмм в локальных окнах времени‑частоты помогает выделить фонетические особенности или музыкальные ноты.
Популярные реализации:
- Local Contrast Normalization (LCN) в ранних CNN (например, в моделях типа LeNet или AlexNet).
- Различные варианты локального выравнивания гистограмм (например, CLAHE — Contrast Limited Adaptive Histogram Equalization), адаптированные для предобработки входных данных нейросетей.