Кросс‑доменный перенос (Cross-domain transfer)

Суть кросс‑доменного переноса заключается в том, чтобы избежать «переизобретения колеса»: вместо обучения модели с нуля на новом наборе данных использовать уже накопленные представления, адаптировав их к новой задаче. Это особенно ценно, когда в целевом домене мало размеченных данных или их разметка требует больших затрат.

Аналогия

Представьте, что вы научились кататься на велосипеде. Потом вам нужно освоить скейтборд. Хотя это разные транспортные средства, базовые навыки баланса, координации и управления движением частично переносятся. Вы не начинаете с абсолютного нуля — ваш опыт езды на велосипеде даёт стартовый капитал для обучения на скейтборде. Так и модель, «научившись» на одном домене, может быстрее и эффективнее «освоить» другой.

Исторический контекст

Идея переноса знаний между задачами восходит к общим принципам обучения и когнитивной психологии, но в машинном обучении она оформилась в виде конкретных методов в 2000‑х годах. Термин «transfer learning» (перенос обучения) стал широко использоваться, а кросс‑доменный перенос выделился как его частный случай, где акцент сделан именно на разнице доменов (например, фото vs рисунки, английский vs русский, медицинские снимки vs спутниковые изображения). Важную роль сыграли успехи глубоких нейронных сетей: предобучение на больших разнородных датасетах (типа ImageNet для зрения или Wikipedia для текста) и последующая доработка (fine‑tuning) на узких задачах показали высокую эффективность.

Смежные понятия и различия

• Transfer learning (перенос обучения) — более общее понятие, включающее любой перенос знаний между задачами, не обязательно между разными доменами (например, от классификации кошек/собак к классификации пород собак).
• Multi‑task learning (многозадачное обучение) — обучение одной модели сразу на нескольких задачах/доменах параллельно, а не последовательный перенос.
• Domain adaptation (адаптация домена) — часто используется как синоним кросс‑доменного переноса, но иногда подчёркивает именно минимизацию расхождения распределений между доменами (например, через adversarial training).
• Fine‑tuning (дообучение) — конкретный технический приём в рамках переноса: берёт предобученную модель и дообучает на новом датасете, часто с малым шагом обучения.

Примеры использования

• Компьютерное зрение: модель, предобученная на ImageNet (фото реальных объектов), дообучается на медицинском датасете (снимки МРТ) или на данных с беспилотников (аэрофотосъёмка).
• Обработка естественного языка: языковая модель (BERT, GPT), обученная на общем корпусе текстов, дообучается на узкоспециализированных текстах (юридические документы, медицинские статьи).
• Генеративные модели: StyleGAN, обученный на фото лиц, адаптируется для генерации рисунков в стиле аниме (смена визуального домена).
• Мультимодальные модели: CLIP или BLIP, обученные на парах «изображение + текст», переносят знания между зрительным и текстовым доменами для задач типа image captioning или text‑to‑image генерации.

Популярные реализации/архитектуры

• BERT, RoBERTa, DeBERTa (для NLP);
• ResNet, EfficientNet, ViT (для компьютерного зрения);
• CLIP, BLIP, Stable Diffusion (мультимодальные и генеративные модели).