Репрезентация данных (Data Representation)

В контексте ИИ и ML репрезентация данных определяет, как исходные данные (текст, изображения, звуки, числовые показатели и т. д.) преобразуются в векторы, матрицы или иные структуры, с которыми может работать модель. От качества и адекватности репрезентации напрямую зависит эффективность обучения и точность предсказаний нейросети.

Аналогия из бытового мира

Представьте, что вы хотите объяснить другу, как выглядит незнакомый ему предмет, например, экзотический фрукт. Вы можете:

• описать его словами («круглый, жёлтый, с шероховатой кожурой»);
• нарисовать схематичный эскиз;
• показать фотографию.

Каждый из этих способов — своя «репрезентация» фрукта. Для друга, который никогда его не видел, одни способы будут понятнее других. Точно так же и для нейросети: одна форма репрезентации данных может быть эффективнее другой в зависимости от задачи.

Исторический контекст

Проблема репрезентации данных возникла с первых шагов развития машинного обучения. В ранних системах распознавания образов (1950–1960‑е гг.) данные часто представлялись в виде простых бинарных матриц (например, чёрно‑белых изображений с низким разрешением). С развитием методов feature engineering (извлечения признаков) в 1980–1990‑е гг. инженеры начали вручную конструировать более сложные репрезентации — например, вычислять гистограммы ориентированных градиентов (HOG) для изображений или TF‑IDF для текста.

Прорыв произошёл с появлением глубинного обучения (deep learning) в 2000–2010‑е гг.: нейросети научились автоматически извлекать иерархические репрезентации данных на разных уровнях абстракции. Например, свёрточные сети (CNN) сами находят низкоуровневые признаки (края, текстуры) и комбинируют их в высокоуровневые (формы, объекты).

Смежные понятия

• Предобработка данных (data preprocessing) — шаги по очистке, нормализации, масштабированию данных перед их репрезентацией. Это подготовительный этап, тогда как репрезентация — уже способ кодирования.
• Извлечение признаков (feature extraction) — часть процесса репрезентации, когда из сырых данных выделяются информативные характеристики. Репрезентация может включать не только признаки, но и их структуру (например, графы, последовательности).
• Вложения (embeddings) — частный случай репрезентации, когда данные (слова, изображения, узлы графа) отображаются в непрерывное векторное пространство. Например, Word2Vec для текста или Node2Vec для графов.

Примеры использования

• В компьютерном зрении изображения репрезентируются как трёхмерные тензоры (высота × ширина × каналы), где каждый элемент — интенсивность пикселя. Современные модели (ResNet, ViT) преобразуют эти тензоры в иерархические признаки.
• В обработке естественного языка текст может быть репрезентирован как:
  • one‑hot векторы слов;
  • распределённые вложения (Word2Vec, GloVe);
  • контекстные вложения (BERT, GPT), где репрезентация слова зависит от окружающего текста.
• В рекомендательных системах пользователи и товары часто репрезентируются как векторы в скрытом пространстве, а их взаимодействие моделируется через скалярное произведение.
• В граф‑нейронных сетях (GNN) узлы и рёбра графа репрезентируются векторами, а информация распространяется через соседство в графе.