Локальная ошибка (Local Error)
Локальная ошибка — это величина, характеризующая расхождение между предсказанным значением нейронной сети и истинным (целевым) значением для конкретного примера (объекта) в обучающей выборке на определённом шаге обучения.
В контексте машинного обучения локальная ошибка играет ключевую роль в процессе оптимизации модели: именно на её основе вычисляются градиенты, которые затем используются алгоритмами обратного распространения ошибки для корректировки весов сети. Чем меньше локальная ошибка, тем ближе прогноз модели к реальному значению для данного примера.
Аналогия из бытового мира
Представьте, что вы учитесь готовить новое блюдо по рецепту. Каждый раз, пробуя получившееся, вы оцениваете, насколько вкус соответствует ожидаемому. Разница между тем, что получилось, и тем, что должно было получиться — это и есть «локальная ошибка» в вашем процессе обучения. На основе этой ошибки вы решаете, что нужно изменить в следующий раз (добавить соль, уменьшить огонь и т. п.) — аналогично тому, как нейросеть корректирует свои веса.
Исторический контекст
Понятие локальной ошибки неразрывно связано с развитием методов обучения нейронных сетей, в частности, с алгоритмом обратного распространения ошибки (backpropagation). Ключевые работы, заложившие основы этого подхода, появились в 1970–1980‑х годах. Среди пионеров — Пол Вербос, Дэвид Румельхарт, Джеффри Хинтон и другие исследователи. Алгоритм позволил эффективно вычислять градиенты локальной ошибки по весам сети и стал краеугольным камнем современного глубокого обучения.
Смежные понятия и различия
- Глобальная (общая) ошибка — агрегированная мера ошибки по всей обучающей выборке (например, средняя квадратичная ошибка, кросс‑энтропия). В отличие от локальной, она даёт общую картину качества модели, а не оценку для отдельного примера.
- Функция потерь (loss function) — математическая функция, определяющая, как именно вычисляется ошибка (в том числе локальная) на основе предсказаний модели и истинных значений. Локальная ошибка — это значение функции потерь для конкретного примера.
Примеры использования
- В задачах регрессии локальная ошибка часто вычисляется как квадрат разности между предсказанным и истинным значением: $(y_{pred} - y_{true})^2$.
- В задачах классификации — через кросс‑энтропийную потерю: $-y_{true} \cdot \log(y_{pred})$.
- При обучении свёрточных нейронных сетей (CNN) для классификации изображений локальная ошибка для каждого изображения в батче вычисляется и затем усредняется для обновления весов.
- В рекуррентных нейронных сетях (RNN) локальная ошибка может вычисляться на каждом временном шаге, а затем агрегироваться для обратного распространения.