Переобучение (Overfitting)

Что такое Переобучение (Overfitting)?

Переобучение — это ситуация в машинном обучении, когда модель слишком точно подстраивается под обучающие данные, включая их шум и случайные колебания, и в результате плохо обобщает на новых, ранее не встречавшихся данных.

Представьте, что вы учите ребёнка различать кошек и собак по картинкам. Если вы покажете ему только фотографии пушистых кошек и гладкошёрстных такс, он может решить, что все пушистые животные — кошки, а все гладкошёрстные — собаки. Когда он увидит пушистую собаку или гладкошёрстную кошку, он ошибётся. Это и есть переобучение: модель «запомнила» конкретные примеры, но не научилась выделять ключевые признаки, которые позволяют правильно классифицировать новые объекты.

Подробности о термине:

Переобучение возникает, когда модель имеет слишком много параметров по отношению к объёму и разнообразию обучающих данных.
Это одна из ключевых проблем в машинном обучении, поскольку цель любой модели — не просто идеально воспроизводить обучающую выборку, а уметь делать точные предсказания на новых данных.
Переобучение часто происходит при избыточно сложных архитектурах нейронных сетей или при слишком долгом обучении.

История и факты:

Проблема переобучения известна с ранних этапов развития машинного обучения. Уже в 1960–1970‑х годах исследователи сталкивались с ней при работе с простыми линейными моделями.
В 1980‑х и 1990‑х годах, с развитием нейронных сетей, проблема переобучения стала ещё более актуальной из‑за увеличения числа параметров моделей.
Сегодня для борьбы с переобучением разработаны многочисленные методы, такие как регуляризация, дропаут, аугментация данных и кросс‑валидация.

Различия с похожими терминами:

Недообучение — противоположная проблема, когда модель слишком проста и не может уловить закономерности даже в обучающих данных.
Обобщение — способность модели хорошо работать на новых данных; переобучение — это как раз нарушение этой способности.

Примеры переобучения:

Модель классификации изображений, которая идеально распознаёт объекты на обучающей выборке, но ошибается на тестовой.
Языковая модель, которая «запомнила» конкретные фразы из обучающего корпуса и не может генерировать осмысленный текст на новые темы.
Модель прогнозирования временных рядов, которая точно воспроизводит исторические данные, но даёт неверные прогнозы на будущее.

Примеры использования термина:

«Мы заметили признаки переобучения в нашей модели — точность на обучающей выборке достигла 99 %, а на валидационной упала до 70 %».
«Чтобы избежать переобучения, мы применили метод дропаут и увеличили объём обучающих данных».
«Переобучение часто встречается при работе с небольшими наборами данных — в таких случаях особенно важно использовать методы регуляризации».