Уровень переобучения (Overfitting)
Показатель степени, в которой модель машинного обучения чрезмерно адаптируется к обучающим данным, теряя при этом способность обобщать на новых, ранее не встречавшихся примерах.
В контексте машинного обучения переобучение (overfitting) — одна из ключевых проблем, с которой сталкиваются разработчики моделей. Суть в том, что модель «запоминает» обучающую выборку вместо того, чтобы выявлять общие закономерности, полезные для предсказаний на новых данных.
Представьте студента, который заучивает ответы на экзаменационные билеты слово в слово, не понимая сути предмета. На экзамене, где вопросы сформулированы иначе или касаются смежных тем, такой студент окажется беспомощен — несмотря на отличную подготовку к конкретным билетам. Аналогично переобученная модель отлично «отвечает» на обучающие данные, но проваливается на тестовых.
Исторический контекст
Проблема переобучения известна с ранних этапов развития машинного обучения. Уже в 1970–1980‑х годах исследователи обратили внимание на то, что усложнение моделей (увеличение числа параметров) не всегда ведёт к улучшению качества на новых данных. В 1986 году в работе Дэвида Румельхарта, Джеффри Хинтона и Рональда Уильямса по обратному распространению ошибки (backpropagation) обсуждались вопросы регуляризации как способа борьбы с переобучением. С развитием глубоких нейронных сетей в 2010‑х годах проблема стала ещё актуальнее из‑за огромного числа параметров в моделях.
Смежные понятия
- Недообучение (underfitting) — противоположная ситуация, когда модель слишком проста и не может уловить даже основные закономерности в данных.
- Обобщающая способность (generalization) — способность модели хорошо работать на новых данных; переобучение снижает обобщающую способность.
- Регуляризация — методы, направленные на предотвращение переобучения (L1, L2, dropout и др.).
Примеры использования
- В свёрточных нейронных сетях (CNN) для классификации изображений переобучение может возникнуть, если сеть имеет слишком много слоёв и фильтров, а объём обучающей выборки невелик.
- В задачах обработки естественного языка (NLP) трансформеры (например, BERT, GPT) могут переобучиться, если их обучать на слишком малом корпусе текстов без регуляризации.
- Для диагностики уровня переобучения сравнивают метрики качества (accuracy, F1‑score и др.) на обучающей и валидационной выборках: если на обучающей выборке метрика близка к 100 %, а на валидационной — существенно ниже, это признак переобучения.
Методы борьбы с переобучением
- увеличение объёма обучающих данных;
- регуляризация (L1/L2, dropout);
- ранняя остановка обучения (early stopping);
- аугментация данных (data augmentation);
- уменьшение сложности модели (сокращение числа слоёв/нейронов).