Единичный вектор (Unit Vector)
Вектор, длина (норма) которого равна единице; в контексте машинного обучения и нейронных сетей используется как инструмент нормализации данных, задания направлений в многомерных пространствах признаков и оптимизации вычислений.
Основная часть
В нейронных сетях и ML‑алгоритмах единичные векторы играют ключевую роль при работе с геометрическими интерпретациями данных: они позволяют абстрагироваться от абсолютной величины векторов и сосредоточиться на их направлении. Это особенно важно в задачах, где относительные углы между векторами несут смысловую нагрузку (например, в метриках сходства, PCA, word embeddings).
Аналогия из бытового мира
Представьте компас: стрелка всегда указывает на север, но её длина фиксирована. Это похоже на единичный вектор — он задаёт направление (как стрелка компаса), но его «длина» стандартизована (равна 1). В ML это помогает сравнивать «направления» данных, не отвлекаясь на их «длину».
Исторический контекст
Понятие единичного вектора восходит к линейной алгебре, но его применение в ML стало массовым с развитием:
- методов снижения размерности (PCA, 1930‑е, Хартли Хотеллинг);
- векторных представлений слов (word2vec, 2013, Google);
- градиентных методов оптимизации, где нормализация градиентов (например, в Adam) использует единичные векторы для стабилизации обучения.
Смежные понятия и различия
- Нормализованный вектор — любой вектор, приведённый к длине 1 (т. е. ставший единичным).
- Нулевой вектор — вектор с нулевой длиной; в отличие от единичного, не задаёт направления.
- Базисный вектор — вектор из ортогонального базиса пространства; может быть единичным (в ортонормированном базисе), но не всегда.
Примеры использования
Нормализация входных данных
В нейронных сетях входные векторы часто приводят к единичной длине (L2‑нормализация), чтобы избежать доминирования признаков с большими значениями.
Word embeddings
В моделях типа Word2Vec или GloVe векторы слов нормализуют до единичной длины, чтобы сходство между словами измерялось через косинусное расстояние (угол между векторами).
Оптимизация градиентов
В алгоритмах типа Adam или RMSprop градиенты нормализуют, чтобы шаг оптимизации не зависел от масштаба градиента.
PCA (метод главных компонент)
Собственные векторы ковариационной матрицы, используемые для проекции данных, обычно нормируются до единичной длины.
Расстояние и сходство
Косинусное сходство между векторами $\mathbf{a}$ и $\mathbf{b}$ вычисляется как $\cos(\theta) = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \|\mathbf{b}\|}$, что эквивалентно скалярному произведению их единичных векторов.