Траектория обучения (Training Trajectory)
Последовательность изменений параметров модели машинного обучения (весов, гиперпараметров) в процессе её оптимизации, отражающая путь от начального состояния к обученной модели.
Представьте, что вы учитесь кататься на велосипеде. В начале вы едва держите равновесие, делаете много ошибок, падаете. Постепенно, через пробы и ошибки, вы осваиваете навык — начинаете уверенно ехать, поворачивать, тормозить.
Траектория обучения модели похожа на этот путь: это «маршрут» от «неуверенного новичка» (случайная инициализация весов) до «опытного велосипедиста» (обученная модель, хорошо решающая задачу). На этом пути модель «пробует» разные конфигурации параметров, получает обратную связь (значение функции потерь), корректирует своё «поведение» (обновляет веса через градиентный спуск) и постепенно улучшает качество.
Исторически понятие траектории обучения стало активно обсуждаться с развитием методов оптимизации в глубоком обучении. В 1980–1990‑е годы, с появлением обратного распространения ошибки (backpropagation) и первых эффективных алгоритмов градиентного спуска, исследователи начали внимательно изучать, как именно модель «движется» в пространстве параметров. Важную роль сыграли работы по анализу сходимости, устойчивости и «ландшафта» функций потерь (например, исследования свойств локальных минимумов и седловых точек). В 2010‑е годы, с ростом популярности глубоких нейронных сетей, интерес к траекториям обучения возрос: стало ясно, что путь оптимизации (например, выбор оптимизатора — SGD, Adam, RMSprop) сильно влияет на итоговое качество модели и её обобщающую способность.
Отличия от смежных понятий
- Функция потерь — это «карта высот», по которой движется модель; она задаёт «рельеф», но не саму траекторию.
- Оптимизатор — это «способ передвижения» (алгоритм обновления весов), который определяет, как именно модель будет двигаться по траектории.
- Гиперпараметры — это «правила путешествия» (скорость обучения, моменты и т. п.), влияющие на форму траектории.
Примеры использования
- Анализ траектории обучения помогает понять, насколько стабильно сходится модель: например, резкие скачки функции потерь могут указывать на слишком высокую скорость обучения.
- В исследованиях по обобщению и устойчивости моделей изучают, как разные траектории (полученные с разными инициализациями или оптимизаторами) приводят к моделям с разной обобщающей способностью.
- В практике глубокого обучения визуализируют траекторию обучения (например, строят графики изменения потерь и метрик качества по эпохам), чтобы диагностировать проблемы: переобучение, недообучение, застревание в локальных минимумах.
- Конкретные примеры: анализ траекторий SGD vs. Adam в обучении ResNet на ImageNet; изучение влияния инициализации весов (Xavier, He) на траекторию сходимости в трансформерах.