Единичный модуль (Single Module)
Элемент архитектуры нейронной сети, выполняющий определённую вычислительную операцию или преобразующий входные данные в соответствии с заданной функцией активации.
В контексте нейронных сетей единичный модуль можно сравнить с нейроном в биологическом мозге: как нейрон принимает сигналы от других нейронов, обрабатывает их и передаёт дальше, так и вычислительный модуль в нейросети получает данные от предыдущих слоёв (или входных данных), применяет к ним преобразования и передаёт результат дальше по сети.
Историческое развитие
Исторически концепция модульности в нейронных сетях развивалась параллельно с усложнением их архитектур. На заре развития ИИ (1940–1950‑е годы) первые модели нейронов (например, перцептрон Розенблатта) представляли собой простейшие единичные модули. С развитием теории и практики машинного обучения стало понятно, что комбинирование множества таких модулей в слои и более сложные структуры позволяет решать всё более сложные задачи. В современных архитектурах (CNN, RNN, Transformer) единичные модули могут быть весьма сложными и выполнять специализированные функции — от свёртки изображений до обработки последовательностей и внимания к определённым частям входных данных.
Отличия от других понятий
Важно отличать единичный модуль от других понятий:
- от слоя нейросети — слой обычно состоит из множества однотипных модулей, работающих параллельно на одном уровне обработки;
- от всей нейросети — сеть представляет собой композицию множества слоёв и, соответственно, множества модулей, объединённых в единую вычислительную структуру;
- от нейронов в биологическом смысле — хотя аналогия с биологическими нейронами часто используется для объяснения, вычислительные модули — это абстрактные математические конструкции, не воспроизводящие всей сложности биологических процессов.
Примеры использования
- в свёрточных нейронных сетях (CNN) единичным модулем может быть свёрточный фильтр (ядро свёртки), применяющий операцию свёртки к входным данным;
- в рекуррентных сетях (RNN) — ячейка RNN, обрабатывающая последовательные данные и сохраняющая внутреннее состояние;
- в архитектуре Transformer — модуль внимания (attention module), вычисляющий веса внимания между элементами последовательности;
- в полносвязных сетях — отдельный нейрон с функцией активации (ReLU, сигмоида и т. д.), получающий входные данные от предыдущего слоя и передающий результат дальше.