Густота связей (Connection Density)
Характеристика нейронной сети, отражающая плотность соединений между нейронами (узлами) в её архитектуре, то есть отношение числа существующих связей к максимально возможному их числу в данной топологии.
В контексте нейронных сетей густота связей напрямую влияет на вычислительную сложность модели, её способность улавливать сложные зависимости в данных и склонность к переобучению. Чем выше густота, тем больше параметров нужно оптимизировать, тем «выразительнее» модель — но тем выше риск переобучения и затрат ресурсов.
Аналогия из бытового мира
Представьте городскую дорожную сеть. Если в городе каждая улица соединена с каждой (максимальная густота связей), передвижение будет гибким, но возникнут пробки и хаос из‑за избытка перекрёстков. Если же дорог мало и они строго иерархичны (низкая густота), движение упорядочено, но добраться из точки А в точку Б порой невозможно без длинных объездов. Так и в нейросетях: густота связей задаёт баланс между гибкостью и управляемостью.
Исторический контекст
Идея контролировать густоту связей восходит к ранним работам по перцептронам (1950–1960‑е гг.), где уже обсуждалась проблема избыточности соединений. В 1980–1990‑е, с ростом сложности сетей, стало ясно: полная связность (как в классических полносвязных слоях) часто избыточна. Это подтолкнуло к разработке разреженных архитектур и методов регуляризации. В 2010‑е годы популярность приобрели свёрточные сети (CNN), где густота локальна по дизайну, и методы прунинга (pruning), явно уменьшающие густоту после обучения.
Смежные понятия
- Разреженность (sparsity) — обратная величина густоты: доля отсутствующих связей. В ИИ часто стремятся к разреженным моделям для экономии ресурсов.
- Ширина слоя — число нейронов в слое, не то же самое, что густота: можно иметь широкий слой с низкой густотой (мало связей между нейронами).
- Глубина сети — число слоёв, независима от густоты: глубокая сеть может быть как плотной, так и разреженной.
Примеры использования
- Полносвязные слои (Dense/Fully Connected) — максимальная густота: каждый нейрон соединён со всеми нейронами предыдущего слоя. Пример: выходные слои классификаторов.
- Свёрточные слои (Conv) — локальная густота: нейрон связан лишь с небольшой областью предыдущего слоя (ядро свёртки). Пример: архитектуры ResNet, VGG.
- Прунинг (pruning) — метод уменьшения густоты после обучения: удаляются «малозначимые» связи. Пример: алгоритмы magnitude pruning, Lottery Ticket Hypothesis.
- Разреженные сети (Sparse Networks) — архитектура задаётся с низкой густотой изначально. Пример: модели с фиксированными разреженными матрицами весов.
- Графовые нейронные сети (GNN) — густота определяется структурой входного графа: в разреженных графах связи тоже разрежены.