Локальная оптимизация (Local Optimization)
Локальная оптимизация — это процесс поиска наилучшего решения задачи в ограниченной области пространства параметров модели машинного обучения, при котором алгоритм стремится улучшить целевую функцию (например, снизить ошибку предсказания), но не гарантирует нахождения глобального оптимума.
В контексте нейронных сетей локальная оптимизация играет ключевую роль на этапе обучения: алгоритмы подстраивают веса связей между нейронами, чтобы минимизировать функцию потерь. Однако из‑за сложной, зачастую многоэкстремальной природы этой функции алгоритмы могут «застревать» в локальных минимумах — точках, где любое небольшое изменение параметров ведёт к ухудшению результата, хотя в другой области пространства может существовать более выгодное решение.
Аналогия
Представьте, что вы ищете самую низкую точку в гористой местности, но можете передвигаться только пешком и видите лишь ближайшие окрестности. Вы спускаетесь вниз, пока вокруг нет более низких мест, — и останавливаетесь, считая, что достигли дна долины. На самом деле вы могли оказаться в небольшом овраге, а по‑настоящему низкая точка находится в соседней долине, до которой вы не доберётесь, не поднявшись сначала на холм. Так и алгоритмы локальной оптимизации «видят» лишь ближайшую окрестность в пространстве параметров и могут не найти глобальный минимум.
Исторический контекст
Идеи локальной оптимизации восходят к классическим методам математической оптимизации (метод градиентного спуска, метод Ньютона), которые активно адаптировались для обучения нейронных сетей с 1980–1990‑х годов. С развитием глубоких сетей проблема локальных минимумов стала особенно острой из‑за высокой размерности и нелинейности пространства параметров. В 2010‑е годы появились усовершенствованные алгоритмы (Adam, RMSprop, Adagrad), которые пытаются смягчить эту проблему за счёт адаптивных скоростей обучения и учёта истории градиентов.
Смежные понятия
- Глобальная оптимизация — стремится найти абсолютный оптимум во всём пространстве параметров, часто за счёт более сложных и вычислительно затратных методов (генетические алгоритмы, поиск с запретами, имитация отжига). В контексте нейросетей применяется реже из‑за высокой размерности задач.
- Стохастическая оптимизация — включает элементы случайности (например, случайный выбор мини‑батчей в SGD), что помогает «выпрыгнуть» из неглубоких локальных минимумов. Часто используется как способ улучшить локальную оптимизацию.
Примеры использования
- Алгоритмы градиентного спуска (SGD, Mini‑batch SGD) — классические примеры методов локальной оптимизации в обучении нейронных сетей.
- Адаптивные оптимизаторы (Adam, RMSprop) — развивают идею локальной оптимизации, адаптируя скорость обучения для каждого параметра.
- Обучение глубоких свёрточных сетей (например, ResNet, VGG) и трансформеров (например, BERT, GPT) — в этих архитектурах локальная оптимизация используется для настройки миллионов параметров, причём выбор оптимизатора существенно влияет на качество и скорость обучения.