Единичный вес (Unit Weight)
Единичный вес — это вес связи между нейронами в нейронной сети, установленный равным 1.
В контексте нейронных сетей веса — это числовые параметры, которые определяют силу связи между нейронами: они умножаются на входные значения перед тем, как попасть в функцию активации. Единичный вес означает, что вклад соответствующего входного сигнала в итоговое взвешенное суммирование не усиливается и не ослабляется — сигнал передаётся «как есть».
Аналогия
Представьте регулировку громкости на колонке: если громкость установлена на 1 (или 100 %), звук идёт без изменений — так же и единичный вес не меняет «громкость» сигнала от предыдущего нейрона. Если же вес отличен от 1, это как будто вы прибавили или убавили звук — сигнал усиливается или ослабляется.
Исторический контекст
Понятие веса связи восходит к ранним моделям искусственных нейронов, таким как перцептрон Фрэнка Розенблатта (1958). В этих моделях веса настраивались в процессе обучения, чтобы сеть могла решать задачи классификации. Изначально исследователи экспериментировали с разными способами инициализации весов — в том числе и с установкой их в единичное значение — чтобы понять, как это влияет на сходимость обучения и качество модели.
Смежные понятия
- Нулевой вес — полностью блокирует передачу сигнала между нейронами.
- Произвольный (ненулевой, неединичный) вес — модифицирует входной сигнал, усиливая или ослабляя его.
- Инициализация весов — процесс задания начальных значений весов перед обучением; единичный вес может использоваться как один из вариантов начальной инициализации, хотя на практике чаще применяют случайные малые значения или специальные схемы (например, инициализацию Ксавье или Хе).
Примеры использования
- В учебных примерах и демонстрациях простых нейронных сетей нередко используют единичные веса, чтобы наглядно показать, как работает прямое распространение сигнала, не усложняя расчёты.
- При отладке архитектуры сети исследователь может временно установить все веса равными 1, чтобы проверить корректность вычислений на уровне отдельных слоёв или функций активации.
- В некоторых схемах инициализации или в специфических архитектурах (например, в некоторых вариантах рекуррентных сетей или при реализации определённых регуляризационных техник) единичные веса могут выступать как отправная точка для дальнейшей оптимизации.