Локальное поле (Local Receptive Field)

Что такое Локальное поле (Local Receptive Field)?

В контексте нейронных сетей и машинного обучения это совокупность входных данных и параметров (весов), которые обрабатываются в пределах одного нейрона или небольшой группы нейронов на определённом этапе вычислений.

Представьте, что вы готовите блюдо по рецепту. Локальное поле в этом случае — это рабочая зона на кухне, где вы смешиваете конкретные ингредиенты (входные данные) с определёнными пропорциями специй (весами), чтобы получить промежуточный результат — часть блюда. Вы не думаете обо всей кухне или о других блюдах, а сосредоточены только на своей задаче в этой зоне.

Аналогично в нейронной сети локальное поле отражает «рабочую зону» отдельного нейрона или небольшого слоя, где происходит обработка ограниченной порции информации.

Историческая справка

Исторически понятие локального поля стало особенно значимым с развитием свёрточных нейронных сетей (CNN), которые активно применяются для обработки изображений. В 1980‑х годах Я. ЛеКун и его коллеги начали разрабатывать свёрточные сети, где идея локального восприятия (local receptive field) стала ключевой. В CNN каждый нейрон связан не со всеми входными данными, а лишь с небольшой локальной областью — например, с фрагментом изображения размером 3 × 3 или 5 × 5 пикселей. Это позволяет сети эффективно выявлять локальные признаки (края, текстуры) и существенно сокращает число параметров по сравнению с полносвязными сетями.

Отличие локального поля от глобального контекста

  • Локальное поле охватывает лишь часть входных данных и работает с ограниченной областью (например, фрагмент изображения).
  • Глобальный контекст подразумевает обработку всей входной выборки целиком (как в полносвязных слоях, где каждый нейрон «видит» все входные признаки).

Локальное поле в различных типах сетей

В свёрточных сетях локальное поле задаётся размером ядра свёртки (kernel size), а его «движение» по входным данным формирует карту признаков (feature map). В рекуррентных сетях (RNN) локальное поле может ассоциироваться с окном контекста — ограниченным числом предыдущих временных шагов, которые учитываются при вычислении текущего состояния.

Примеры использования

  • В свёрточных нейронных сетях (CNN) локальное поле определяется размером фильтра (например, 3 × 3), который скользит по изображению, выделяя локальные паттерны.
  • В трансформерах (Transformer) аналогом локального поля можно считать окно внимания (attention window) — ограниченный набор токенов, с которыми текущий токен взаимодействует при вычислении внимания.
  • В рекуррентных сетях (RNN, LSTM) локальное поле — это окно контекста, охватывающее несколько предыдущих шагов во временной последовательности.

Популярные реализации, где ключевую роль играет локальное поле

  • архитектура LeNet‑5 (одна из первых CNN для распознавания рукописных цифр);
  • VGG, ResNet, Inception — современные CNN, использующие свёртки с локальными полями разного размера;
  • BERT, GPT — трансформеры, где механизм внимания оперирует локальными окнами контекста.

Авторизация