Обучающая выборка (Training Dataset)
Набор данных, используемый для обучения модели машинного обучения или нейронной сети, на основе которого система выявляет закономерности, настраивает параметры и формирует внутренние представления для решения поставленной задачи.
Представьте, что вы учите ребёнка различать фрукты: показываете ему яблоки, апельсины, бананы, называете их и объясняете отличительные признаки (цвет, форму, текстуру). Со временем ребёнок учится самостоятельно распознавать эти фрукты.
В контексте нейросетей обучающая выборка выполняет аналогичную функцию: она «показывает» модели примеры входных данных и соответствующие им правильные ответы (метки), чтобы модель могла «научиться» выявлять паттерны и делать верные предсказания на новых, неизвестных данных.
Исторически понятие обучающей выборки стало ключевым с развитием supervised learning (обучения с учителем) — одного из основных парадигм машинного обучения. Уже в 1950–1960‑х годах, с появлением первых перцептронов (простейших моделей нейросетей), исследователи использовали размеченные данные для настройки весов связей между нейронами. С ростом сложности моделей (от многослойных перцептронов до современных глубоких сетей) и объёмов данных роль обучающей выборки только усилилась. Сегодня для обучения крупных моделей (например, GPT, BERT, ResNet) используются гигантские датасеты, содержащие миллионы и даже миллиарды примеров.
Важно отличать обучающую выборку от других типов данных в ML
- Валидационная выборка используется для настройки гиперпараметров модели и контроля переобучения — она не участвует напрямую в обучении, но помогает оценить, насколько хорошо модель обобщает знания на новых данных.
- Тестовая выборка служит для финальной оценки качества обученной модели; её используют только после завершения обучения и валидации, чтобы получить объективную метрику производительности.
Примеры использования
- В задачах классификации изображений (например, распознавание кошек и собак) обучающая выборка состоит из тысяч изображений с метками «кошка» или «собака».
- В NLP (обработке естественного языка) обучающая выборка может включать пары «предложение + его перевод» для машинного перевода или «текст + тональность» для анализа тональности.
- Популярные датасеты для обучения: ImageNet (для компьютерного зрения), COCO (для детекции объектов), IMDB (для анализа тональности текстов), WMT (для машинного перевода).