Целевой критерий (Target criterion)

Что такое Целевой критерий (Target criterion)?

Показатель, который определяет, насколько хорошо модель машинного обучения решает поставленную задачу; формализованная мера качества работы нейросети, используемая при обучении и оценке.

В контексте машинного обучения целевой критерий играет роль «компаса», задающего направление оптимизации модели. Без чётко определённого целевого критерия невозможно объективно оценить прогресс в обучении нейросети или сравнить разные модели между собой.

Аналогия из бытового мира

Представьте, что вы учитесь играть в баскетбол. Целевой критерий в этом случае — количество попаданий в кольцо за определённое число бросков. Именно этот показатель будет отражать ваш прогресс: чем больше попаданий, тем лучше вы играете. Аналогично в машинном обучении: целевой критерий показывает, насколько успешно нейросеть справляется с задачей — будь то классификация изображений, прогнозирование временных рядов или что‑то ещё.

Исторический контекст

Понятие целевого критерия неразрывно связано с развитием методов оптимизации в машинном обучении. Уже в ранних работах по перцептронам (1950–1960‑е годы) исследователи использовали простые критерии, например, минимизацию ошибки классификации. С развитием методов градиентного спуска и появлением сложных архитектур нейросетей (например, свёрточных сетей в 1980–1990‑х) целевые критерии стали более изощрёнными — появились функции потерь вроде кросс‑энтропии, MSE (среднеквадратичной ошибки) и другие. Сегодня выбор целевого критерия — это целая область исследований, где учитываются не только точность, но и такие аспекты, как устойчивость к шуму, интерпретируемость, справедливость (fairness) и т. д.

Смежные понятия и различия

  • Функция потерь (loss function) — математическая формулировка целевого критерия, которую минимизируют в процессе обучения. Целевой критерий может включать в себя несколько функций потерь или дополнительные метрики.
  • Метрика качества (evaluation metric) — показатель, используемый для оценки модели после обучения (например, точность, F1‑мера). Целевой критерий может совпадать с метрикой качества, но не всегда: иногда в процессе обучения оптимизируют одну функцию, а оценивают по другой.
  • Гиперпараметры — настройки модели, которые не оптимизируются напрямую через целевой критерий, но влияют на его значение (например, скорость обучения, размер батча).

Примеры использования

  • В задаче классификации изображений целевой критерий часто — минимизация кросс‑энтропийной потери между предсказанными вероятностями классов и истинными метками.
  • В регрессии целевой критерий — минимизация MSE между предсказанными и фактическими значениями.
  • В генеративных моделях (например, GAN) целевой критерий может включать несколько компонентов: потерю дискриминатора, потерю генератора, регуляризаторы и т. д.
  • В задачах обучения с подкреплением целевой критерий — максимизация ожидаемой суммарной награды (reward).

Популярные реализации/примеры

  • Кросс‑энтропия в задачах классификации (используется в ResNet, VGG и др.).
  • MSE в регрессионных моделях (линейная регрессия, полносвязные сети).
  • Focal Loss для задач с несбалансированными классами (используется в RetinaNet для детекции объектов).
  • KL‑дивергенция в вариационных автоэнкодерах (VAE).

Авторизация