Веса связей (Connection Weights)
Числовые параметры в нейронных сетях, определяющие силу влияния сигнала от одного нейрона на другой; они задают, насколько значимым будет вклад входного значения в итоговый результат вычислений на следующем слое сети.
Представьте, что вы решаете, стоит ли брать зонт, ориентируясь на несколько признаков: прогноз погоды в приложении, вид за окном и воспоминания о вчерашнем ливне. Каждый из этих факторов имеет для вас свою «важность»: например, прогноз погоды может влиять на решение сильнее, чем воспоминания о вчерашнем дне. Веса связей в нейросети работают похоже: они «оценивают», насколько каждый входной сигнал значим для принятия решения на следующем этапе вычислений.
Исторический контекст
Исторически идея взвешенных связей восходит к ранним моделям нейронов, таким как перцептрон Фрэнка Розенблатта (1958 г.). В перцептроне веса настраивались в процессе обучения, чтобы модель могла корректно классифицировать входные данные. С развитием многослойных сетей и алгоритма обратного распространения ошибки (backpropagation, популяризированного в 1986 г. Дэвидом Румельхартом, Джеффри Хинтоном и Рональдом Уильямсом) настройка весов стала ключевым механизмом обучения глубоких нейросетей.
Отличие от других параметров модели
Важно отличать веса связей от других параметров модели:
- Смещение (bias) — добавляет постоянный сдвиг к взвешенной сумме входов, но не связывает нейроны между слоями.
- Гиперпараметры (например, скорость обучения, количество слоёв) — задаются до начала обучения и не обновляются в процессе, в отличие от весов, которые оптимизируются на основе данных.
Использование в типах нейронных сетей
Веса связей используются во всех типах нейронных сетей:
- в полносвязных (плотных) слоях каждый нейрон соединён с каждым нейроном следующего слоя, и каждая связь имеет свой вес;
- в свёрточных сетях (CNN) веса свёрточных фильтров определяют, какие признаки (например, края или текстуры) будут выделены из изображения;
- в рекуррентных сетях (RNN) веса регулируют передачу информации между временными шагами, позволяя модели «помнить» предыдущие входные данные.
Примеры
в модели ResNet (2015 г.) миллионы весов настраиваются для распознавания объектов на изображениях;
в языковой модели GPT веса связей между нейронами определяют, как контекст влияет на предсказание следующего слова в тексте.