Векторное представление (Vector Representation)

В основе векторного представления лежит идея: сложные, неструктурированные данные (текст, картинки, звуки) нужно перевести в «язык чисел», понятный алгоритмам. Вектор — это упорядоченный набор чисел (координат), который отражает ключевые характеристики объекта в многомерном пространстве. Чем ближе векторы друг к другу, тем «похожи» соответствующие объекты с точки зрения модели.

Представьте, что вы описываете фрукты, используя числовые параметры: «сладость» (от 0 до 10), «кислотность» (от 0 до 10), «размер» (в см), «цвет» (кодируется числом от 0 до 255 по шкале RGB). Яблоко может быть представлено как [7, 3, 8, 255‑0‑0], а лимон — как [2, 9, 6, 255‑255‑0]. Эти числовые наборы — векторные представления фруктов. Модель, «видя» такие векторы, может понять, что яблоко и груша (скажем, [6, 4, 9, 255‑165‑0]) ближе друг к другу, чем яблоко и лимон.

Исторический контекст

Идея векторного представления восходит к классическим методам обработки текста, таким как Bag‑of‑Words (мешок слов) и TF‑IDF (Term Frequency‑Inverse Document Frequency), где документы кодировались векторами частот слов. Прорыв произошёл в 2013 году с появлением модели Word2Vec (разработана командой Google под руководством Томаша Миколова). Word2Vec впервые показала, что слова можно представить плотными векторами (embedding), где семантическая близость слов отражается геометрической близостью векторов. Например, вектор «король» − вектор «мужчина» + вектор «женщина» ≈ вектор «королева». Позже появились другие модели: GloVe (Global Vectors for Word Representation, Стэнфорд, 2014), FastText (Facebook, 2016), а затем — контекстные embeddings (BERT, GPT и др.), где вектор слова зависит от контекста предложения.

Смежные понятия и различия

• One‑hot encoding — простейший способ векторного представления, где каждое слово кодируется вектором длины V (размер словаря), где только один элемент равен 1 (позиция слова), а остальные — 0. Недостаток: векторы ортогональны, нет семантической близости.
• Dense embeddings (плотные векторы) — векторы небольшой фиксированной длины (например, 100–300), где каждая координата отражает скрытую семантическую характеристику. В отличие от one‑hot, такие векторы «понимают» синонимы и аналогии.
• Contextual embeddings — векторы, которые меняются в зависимости от контекста (например, слово «банк» в «банк реки» и «банк денег» будет иметь разные векторы в BERT).

Примеры использования

• Обработка текста: Word2Vec, GloVe, BERT, GPT — генерируют векторные представления слов/предложений для задач классификации, машинного перевода, вопросно‑ответных систем.
• Компьютерное зрение: изображения кодируются векторами признаков (например, выход свёрточных слоёв в ResNet или VGG), которые затем используются для классификации, поиска похожих изображений.
• Рекомендательные системы: пользователи и товары представляются векторами в общем пространстве, где близость векторов означает «вероятность покупки/просмотра».
• Графовые нейронные сети (GNN): узлы графа (например, пользователи соцсети) кодируются векторами, отражающими их связи и атрибуты.

Популярные реализации

• Word2Vec (Google);
• GloVe (Stanford);
• FastText (Facebook);
• BERT, RoBERTa, DistilBERT (Google/Hugging Face);
• Sentence‑BERT (для векторизации предложений);
• ResNet, VGG, EfficientNet (для изображений).