В МГТУ им. Баумана разработали программу для обучения ML-моделей с оценкой их уверенности
В центре НТИ «Цифровое материаловедение: новые материалы и вещества» МГТУ им. Баумана разработали программу, способную автоматически обучать модели машинного обучения и одновременно показывать уровень их уверенности в собственных прогнозах.
Как отмечают разработчики, решение позволит исследователям и пользователям с базовыми компьютерными навыками создавать современные ML-модели и понимать, насколько достоверны полученные результаты.
Применение в фармакологии
Одним из ключевых направлений применения технологии называют фармакологию. При создании новых лекарств необходимо оценивать токсичность соединений, однако стандартные алгоритмы выдают лишь само значение без указания возможной погрешности. В результате выводы могут оказаться некорректными.
Например, модель может рекомендовать дозировку в 30 мг с погрешностью ±2 мг, а другому пациенту — 20 мг с погрешностью ±18 мг. Формально предлагается более низкое значение, но практически нет уверенности в его точности.
Новый алгоритм учитывает такие расхождения, что позволяет корректнее трактовать результаты.
«В данном примере предсказываемая неуверенность составляет почти 100 % от самой величины (20 мг при погрешности 18 мг). Это означает, что модель плохо понимает собственный результат и честно сообщает об этом. Соответственно, следовать такому прогнозу нельзя. Благодаря этому принимается более взвешенное и безопасное решение, а пациент избегает лишнего риска», — пояснил один из разработчиков технологии Иван Беспалов.
Преимущества разработки
По словам Ивана Беспалова, главное преимущество отечественной разработки в том, что зарубежные аналоги не способны оценивать уверенность собственных предсказаний, что усложняет их применение в критически важных областях.
В новой системе достаточно загрузить Excel-файл с исходными данными — программа самостоятельно проведёт анализ методами машинного обучения, сформирует прогноз и укажет возможную погрешность. Это делает инструмент доступным даже для пользователей без специальной подготовки.