Единица обработки данных (Data Processing Unit)

Что такое Единица обработки данных (Data Processing Unit)?

Единица обработки данных — это базовый элемент информации, с которым оперирует модель машинного обучения или нейронная сеть в процессе вычислений и обучения.

В контексте нейронных сетей и искусственного интеллекта единица обработки данных может принимать разные формы в зависимости от типа данных и архитектуры модели. Это может быть:

  • отдельный пиксель в изображении;
  • токен (слово или подслово) в тексте;
  • одно значение временного ряда;
  • элемент вектора признаков и т. д.

Аналогия из бытового мира

Представьте, что вы собираете мозаику. Каждая маленькая плитка — это единица обработки данных. Сама по себе она не несёт большого смысла, но в совокупности с другими плитками складывается цельная картина. Точно так же нейронная сеть «собирает» осмысленные выводы из множества отдельных единиц данных.

Исторический контекст

Понятие единицы обработки данных эволюционировало вместе с развитием машинного обучения. На ранних этапах (1950–1960‑е годы) в перцептронах Фрэнка Розенблатта единицами были простые бинарные сигналы. С развитием технологий и усложнением задач (обработка изображений, текста, звука) единицы стали более разнообразными и сложными. Например, в свёрточных нейронных сетях (CNN), появившихся в 1980‑х, единицами стали пиксели и их локальные группы, а в трансформерах (с 2017 года) — токены текста.

Смежные понятия

Важно отличать единицу обработки данных от:

  • признака (feature) — это уже преобразованная и, возможно, агрегированная единица, которая используется для обучения модели (например, «среднее значение яркости в блоке пикселей»);
  • образца (sample, instance) — это полный объект данных (например, целое изображение или предложение), состоящий из множества единиц обработки.

Примеры использования

  • в свёрточных нейронных сетях (CNN) для классификации изображений единицей обработки данных является пиксель или небольшой фрагмент изображения (например, 3 × 3 пикселя), на который применяется свёртка;
  • в рекуррентных нейронных сетях (RNN) и трансформерах для обработки текста единицей является токен (слово или подслово), который преобразуется в векторное представление;
  • в моделях для анализа временных рядов единицей может быть отдельное значение в последовательности (например, цена акции в определённый момент времени);
  • в графовых нейронных сетях (GNN) единицей обработки может быть узел графа или его локальное окружение.

Популярные реализации

  • токенизаторы в моделях BERT, GPT, где текст разбивается на токены по словарю;
  • свёртки в архитектурах ResNet, VGG для обработки пикселей изображений;
  • механизмы внимания (attention) в трансформерах, где каждая единица (токен) «взаимодействует» с другими единицами в последовательности.

Авторизация