Ошибка обобщения (Generalization Error)

Суть проблемы в том, что модель «заучивает» обучающие примеры вместо того, чтобы выявлять общие закономерности, применимые к широкому кругу случаев. Это подрывает ключевую цель машинного обучения — способность к обобщению, то есть корректной работе на неизвестных данных.

Аналогия из бытового мира

Представьте ученика, который заучивает ответы к экзаменационным билетам наизусть, не понимая сути предмета. На экзамене, где вопросы слегка изменены или сформулированы иначе, такой ученик растеряется и не сможет дать верный ответ. Аналогично модель с ошибкой обобщения «заучила» обучающую выборку, но не научилась решать задачу в общем виде.

Исторический контекст

Проблема обобщения обсуждается с ранних этапов развития машинного обучения. В 1970–1980‑х годах, с ростом популярности перцептронов и первых нейронных сетей, исследователи столкнулись с тем, что модели хорошо работали на обучающих данных, но плохо обобщались. Это стимулировало разработку концепций регуляризации, кросс‑валидации и других техник, направленных на улучшение обобщающей способности. Понятие «переобучение» (overfitting), тесно связанное с ошибкой обобщения, стало ключевым в теории статистического обучения, в частности в работах Владимира Вапника и Алексея Червоненкиса по VC‑теории (теории Вапника–Червоненкиса) в 1970‑х.

Смежные понятия и различия

• Переобучение (overfitting) — частный случай ошибки обобщения, когда модель слишком сложна и «запоминает» шум в обучающих данных. Ошибка обобщения — более общее понятие, включающее и другие причины плохой работы на новых данных (например, недостаточный объём или нерепрезентативность обучающей выборки).
• Недообучение (underfitting) — противоположная ситуация, когда модель слишком проста и не улавливает даже основные закономерности в данных. В этом случае ошибка обобщения тоже велика, но по другой причине.
• Обобщающая способность (generalization ability) — характеристика модели, отражающая её способность корректно работать на новых данных. Ошибка обобщения — количественная мера, показывающая, насколько эта способность нарушена.

Примеры использования и реализации

• В задачах классификации изображений модель, обученная на наборе данных ImageNet, может демонстрировать высокую точность на обучающей выборке, но плохо распознавать объекты на изображениях из других источников (например, с нестандартным освещением или ракурсом) — это проявление ошибки обобщения.
• В NLP‑моделях (например, BERT, GPT) ошибка обобщения может проявляться в том, что модель хорошо отвечает на вопросы из обучающего корпуса, но делает ошибки на новых, слегка изменённых формулировках.
• Для диагностики ошибки обобщения используют:
  • разделение данных на обучающую и тестовую выборки;
  • кросс‑валидацию;
  • метрики качества на валидационном наборе (accuracy, F1‑score, AUC‑ROC и др.).
• Для снижения ошибки обобщения применяют:
  • регуляризацию (L1, L2, dropout);
  • аугментацию данных;
  • увеличение объёма обучающей выборки;
  • ансамблевые методы;
  • трансферное обучение.