Целевая функция (Objective Function)
Целевая функция — это математическая функция в машинном обучении и нейронных сетях, которая определяет, насколько хорошо модель решает поставленную задачу; её оптимизируют в процессе обучения, чтобы минимизировать ошибку или максимизировать качество предсказаний.
Представьте, что вы учитесь играть в дартс. Ваша цель — попасть в «яблочко». Целевая функция в этом случае — своего рода «счётчик очков»: она измеряет, насколько близко ваш дротик оказался к центру мишени. Чем ближе к цели — тем «лучше» значение функции (в идеале — ноль, если попали точно в центр). В контексте нейросетей целевая функция выполняет аналогичную роль: она «оценивает» качество работы модели и подсказывает, в каком направлении нужно корректировать её параметры, чтобы улучшить результат.
Исторический контекст
Исторически понятие целевой функции уходит корнями в классическую оптимизацию и математическое программирование. В машинном обучении оно стало ключевым с зарождением первых алгоритмов обучения: уже в перцептронах Фрэнка Розенблатта (1950–1960‑е годы) неявно присутствовала идея минимизации ошибки. С развитием градиентных методов оптимизации (например, стохастического градиентного спуска, SGD) целевая функция стала центральным элементом обучения: именно её градиент указывает, как менять веса сети, чтобы «улучшить» предсказания.
Отличия от других понятий
Важно отличать целевую функцию от:
- функции потерь (loss function): часто эти термины используют как синонимы, но строго говоря, функция потерь — это частный случай целевой функции, измеряющий ошибку на конкретном примере или батче. Целевая функция может включать и другие компоненты (например, регуляризаторы).
- метрики качества (metrics): метрики (accuracy, F1, ROC‑AUC и т. п.) используются для оценки качества модели на валидационных/тестовых данных, но не участвуют напрямую в оптимизации. Целевая функция — именно то, что минимизируется/максимизируется в процессе обучения.
Примеры использования
- В задачах классификации часто используют кросс‑энтропийную функцию потерь (cross‑entropy loss) как целевую функцию. Например, в сетях для распознавания изображений (ResNet, VGG) она помогает модели «понять», насколько её предсказанные вероятности классов отличаются от истинных меток.
- В регрессии типична среднеквадратичная ошибка (MSE): модель (например, полносвязная сеть или XGBoost) настраивает параметры так, чтобы минимизировать среднее квадратичное отклонение предсказаний от истинных значений.
- В генеративных моделях (GAN) целевая функция сложнее: она включает состязание между генератором и дискриминатором, где каждая сеть оптимизирует свою часть функции.
- В обучении с подкреплением целевая функция может быть связана с максимизацией ожидаемой награды (например, в алгоритмах DQN или PPO).
Популярные реализации и фреймворки (TensorFlow, PyTorch) предоставляют готовые модули для целевых функций (например, torch.nn.CrossEntropyLoss, tf.keras.losses.MSE), что упрощает их использование в реальных проектах.