Эпоха (в контексте нейронных сетей и искусственного интеллекта) (Epoch)
Эпоха — это один полный проход вперёд и назад по всему обучающему набору данных при обучении нейронной сети.
В процессе обучения нейронной сети данные проходят через модель, и она корректирует свои параметры, чтобы минимизировать ошибку предсказания. Каждый раз, когда все данные из обучающего набора проходят через сеть, это и называется эпохой.
Представьте себе, что вы учите ребёнка различать фрукты: сначала показываете ему яблоко, потом грушу, затем снова яблоко и так далее, пока не пройдёте весь набор фруктов. Один полный цикл такого «обучения» и будет аналогичен одной эпохе в машинном обучении.
Количество эпох — важный гиперпараметр, который влияет на качество обучения модели. Если эпох слишком мало, модель может не успеть «усвоить» закономерности в данных и будет плохо работать. Если же эпох слишком много, модель может «переобучиться» — слишком точно подстроиться под обучающие данные и плохо работать с новыми, ранее не встречавшимися данными.
История использования термина тесно связана с развитием алгоритмов машинного обучения. С появлением первых нейронных сетей в 1950–1960-х годах начали формироваться базовые концепции обучения моделей. Однако активное использование термина «эпоха» стало распространённым с развитием глубокого обучения в 2000-х и 2010-х годах, когда вычислительные мощности позволили обрабатывать большие объёмы данных и обучать сложные модели.
Отличие эпохи от других понятий, например, итерации, в том, что итерация — это обновление параметров модели после обработки одной или нескольких партий данных (батчей), а эпоха — это полный цикл обработки всего обучающего набора. То есть в одной эпохе может быть несколько итераций.
- При обучении модели для распознавания изображений может потребоваться 100 или более эпох, чтобы достичь приемлемого уровня точности.
- В задачах обработки естественного языка количество эпох может варьироваться в зависимости от размера корпуса текстов и сложности модели.
- Пример использования: при настройке гиперпараметров модели исследователь может варьировать количество эпох, чтобы найти оптимальное значение, которое обеспечит баланс между качеством обучения и риском переобучения.