Промежуточный слой (Intermediate Layer)
слой нейронов в искусственной нейронной сети, расположенный между входным и выходным слоями, который выполняет преобразование данных в процессе обучения и инференса
Промежуточные слои — ключевая составляющая «глубины» нейронных сетей: именно благодаря им модели способны извлекать иерархические признаки из входных данных. На каждом промежуточном слое происходит поэтапная трансформация информации: от простых паттернов (например, линий и краёв на изображениях) к более сложным абстракциям (формам, объектам и их взаимосвязям).
Представьте кухню ресторана, где ингредиенты (входные данные) проходят через несколько этапов обработки: нарезка, обжаривание, тушение, добавление специй. Каждый этап — это промежуточный слой, который преобразует сырьё, придавая ему новые свойства и приближая к готовому блюду (выходному результату).
Исторический контекст
Идея многослойных сетей восходит к перцептрону Фрэнка Розенблатта (1958), но настоящий прорыв произошёл с развитием алгоритмов обратного распространения ошибки (backpropagation) в 1980‑х (Дэвид Румельхарт, Джеффри Хинтон и др.). Это позволило эффективно обучать сети с несколькими промежуточными слоями, заложив основы современных глубоких сетей (deep learning).
Смежные понятия
- Входной слой — принимает исходные данные, не выполняет вычислений.
- Выходной слой — выдаёт финальный результат (классификацию, регрессию и т. д.).
- Скрытые слои (hidden layers) — синоним «промежуточных слоёв» в англоязычной литературе. Термин подчёркивает, что их внутренние представления не видны извне, но критически важны для работы сети.
Примеры использования
- Свёрточные нейронные сети (CNN) — промежуточные слои включают свёрточные слои (извлекают локальные признаки), пулинговые слои (уменьшают размерность) и полносвязные слои (интегрируют признаки). Пример: архитектура ResNet (2015) с десятками промежуточных слоёв.
- Рекуррентные сети (RNN) — промежуточные слои обрабатывают последовательности, сохраняя «память» о предыдущих элементах. Пример: LSTM-сети (1997), где промежуточные слои управляют потоками информации через ворота (gates).
- Трансформеры — промежуточные слои включают механизмы внимания (attention) и полносвязные подслои. Пример: архитектура BERT (2018), где десятки промежуточных слоёв анализируют контекст текста.
- Многослойный перцептрон (MLP) — классические сети с полносвязными промежуточными слоями. Используются для задач классификации и регрессии.