Ошибка обучения (Training Error)
Ошибка обучения — это величина, отражающая расхождение между предсказанными значениями модели машинного обучения и истинными значениями целевой переменной на обучающей выборке.
В контексте нейронных сетей ошибка обучения служит ключевым индикатором того, насколько хорошо модель «усвоила» закономерности в данных в процессе тренировки. Чем меньше ошибка, тем ближе предсказания модели к реальным значениям — но лишь в рамках обучающей выборки.
Представьте, что вы учите ребёнка различать фрукты. Вы показываете ему яблоко и говорите: «Это яблоко». Затем просите его самостоятельно определить фрукт на картинке. Если он называет яблоко апельсином — это «ошибка обучения». Чем чаще ребёнок ошибается, тем выше его «ошибка обучения», и тем больше ему нужно тренироваться, чтобы научиться правильно распознавать фрукты.
Исторический контекст
Понятие ошибки обучения фундаментально для машинного обучения и восходит к самым ранним работам в области. Уже в 1950–1960‑х годах, с появлением перцептронов (простейших моделей нейросетей), исследователи использовали метрики ошибки для оценки качества обучения. С развитием методов оптимизации (например, градиентного спуска) и усложнением архитектур нейронных сетей метрики ошибки стали ещё более значимыми — они лежат в основе алгоритмов обратного распространения ошибки (backpropagation), разработанных в 1980‑х годах (работы Дэвида Румельхарта, Джеффри Хинтона и др.).
Смежные понятия и различия
- Ошибка валидации — рассчитывается на отдельной валидационной выборке, не участвовавшей в обучении. Позволяет оценить, насколько хорошо модель обобщает знания на новых данных. В отличие от ошибки обучения, она помогает выявить переобучение (overfitting).
- Ошибка тестирования — измеряется на тестовой выборке после завершения обучения. Даёт финальную оценку качества модели.
- Функция потерь (loss function) — математическая функция, которая количественно оценивает ошибку. Ошибка обучения — это значение функции потерь на обучающей выборке.
Примеры использования
- В задачах классификации часто используют кросс‑энтропийную потерю (cross‑entropy loss) как функцию потерь, а ошибку обучения рассчитывают как среднее значение этой функции по всем объектам обучающей выборки.
- В регрессии распространена среднеквадратичная ошибка (MSE, Mean Squared Error) — ошибка обучения в этом случае представляет собой среднее квадратов разностей между предсказанными и истинными значениями.
- В процессе обучения нейронной сети (например, CNN для классификации изображений или Transformer для обработки текста) ошибка обучения отслеживается на каждой эпохе (epoch) — итерации по всему обучающему набору данных. Снижение ошибки обучения со временем свидетельствует о том, что модель «учится».
- Инструменты вроде TensorBoard позволяют визуализировать динамику ошибки обучения, что помогает исследователям и инженерам диагностировать проблемы (например, застревание в локальном минимуме или слишком медленную сходимость).