Густота связей в нейронной сети (Connectivity Density in Neural Network)
Характеристика архитектуры нейронной сети, отражающая долю реально существующих соединений (синапсов) между нейронами по отношению к максимально возможному их числу в заданной топологии.
Представьте себе город с сетью дорог: в одном случае каждая улица соединена с каждой (полная связность — как в полносвязном слое), в другом — дороги проложены лишь между соседними кварталами или по определённому плану (разреженная связность).
Густота связей как раз показывает, насколько «плотно» застроена дорожная сеть: чем больше реальных дорог по отношению к потенциально возможным маршрутам, тем выше густота.В нейронных сетях это напрямую влияет на вычислительную сложность, объём требуемой памяти и способность модели к обобщению.
Исторически первые нейронные сети (например, перцептроны Розенблатта в 1950–1960‑х годах) часто использовали полносвязные слои, где каждый нейрон предыдущего слоя соединён с каждым нейроном следующего. Это обеспечивало высокую выразительную мощность, но быстро становилось вычислительно неприемлемым при росте размера сети. В 1980–1990‑х годах с развитием свёрточных сетей (CNN, работа Я. Лекуна 1989 года) произошёл сдвиг в сторону разреженных связей: свёртка использует локальные рецептивные поля, где каждый нейрон связан лишь с небольшой областью входного слоя. Это резко снизило число параметров и сделало обучение глубоких сетей реальным.
Важно отличать густоту связей от:
- числа слоёв/нейронов — это количественные параметры архитектуры, тогда как густота описывает плотность соединений;
- разреженности весов (sparsity of weights) — там речь о том, что многие веса равны нулю (даже в полносвязном слое), а густота связей — о структуре соединений как таковой.
Примеры использования:
- Полносвязные слои (Dense/Fully Connected) — густота связей близка к 100 %: каждый нейрон соединён со всеми нейронами предыдущего слоя. Типично для последних слоёв классификаторов.
- Свёрточные слои (Convolutional Layers) — густота крайне низкая: каждый фильтр соединён лишь с локальной областью входного объёма. Позволяет эффективно обрабатывать изображения.
- Разреженные сети (Sparse Networks) — явно задаются шаблоны разреженности (например, каждый нейрон соединён только с 10 % нейронов предыдущего слоя). Примеры: модели с структурированной разреженностью для ускорения вывода.
- Графовые нейронные сети (GNN) — густота определяется структурой входного графа: в разреженных графах (например, социальных сетях) густота связей естественна и низка.