Данные для обучения (Training Data)

Из чего состоят данные для обучения?

• Входные данные (признаки) — информация, которую модель использует для анализа. Например, в случае распознавания изображений это пиксели и их характеристики.
• Целевые данные (метки) — ответы или результаты, которые модель должна научиться предсказывать. Например, для задачи классификации изображений это могут быть метки «кошка», «собака» и т. д.

Аналогия из бытового мира: представьте, что вы учите ребёнка различать фрукты. Вы показываете ему яблоко, говорите, что это яблоко, затем показываете апельсин и говорите, что это апельсин. С каждым новым фруктом ребёнок получает больше данных для «обучения» и со временем учится различать фрукты самостоятельно. Точно так же и модель ИИ «учится» на наборе данных, чтобы в дальнейшем самостоятельно делать выводы на основе новой информации.

Подробности и история

Использование данных для обучения моделей машинного обучения стало активно развиваться с середины XX века. Одним из ключевых моментов в истории машинного обучения стало создание первых алгоритмов обучения в 1950–1960-х годах. С развитием вычислительных мощностей и увеличением объёмов данных возможности машинного обучения значительно расширились. В 2010-х годах рост популярности глубокого обучения и нейронных сетей привёл к увеличению спроса на большие объёмы данных для обучения. Сегодня данные для обучения используются в самых разных областях: от распознавания речи и изображений до прогнозирования финансовых трендов и медицинской диагностики.

Отличие от других понятий

• Тестовые данные используются для оценки уже обученной модели, а не для её обучения.
• Валидационные данные применяются для настройки гиперпараметров модели и контроля её переобучения в процессе обучения, в то время как данные для обучения непосредственно участвуют в процессе «обучения» модели.

Примеры

• Для обучения модели, которая распознаёт изображения кошек и собак, используются тысячи помеченных изображений этих животных.
• В задачах обработки естественного языка (NLP) модели обучают на больших корпусах текстов, например, на книгах, статьях из интернета или диалогах.
• В финансовой аналитике модели обучают на исторических данных о ценах акций, экономических показателях и новостях, чтобы предсказывать будущие тенденции рынка.
• В медицинской диагностике модели обучают на данных о пациентах, включая результаты анализов, истории болезней и изображения медицинских исследований (например, рентгеновские снимки), чтобы помогать в диагностике заболеваний.