Тест для медицинского ИИ от Сбера, ВШЭ и ИСП РАН: повышение качества диагностики
Тест для медицинских систем ИИ: основные особенности
Центр практического искусственного интеллекта Сбера совместно с НИУ ВШЭ и Институтом системного программирования РАН создал тест для медицинских систем искусственного интеллекта. Новая разработка моделирует консультации между врачом и пациентом, учитывая:
- жалобы пациента;
- медицинские снимки;
- характер пациента.
Тест позволяет повысить качество работы медицинского ИИ на 6,5–20 % — в зависимости от конкретных функций системы. Компании могут бесплатно использовать разработку для проверки своих нейросетей.
Для кого предназначена система
Система рассчитана на разработчиков медицинских ИИ-систем и телемедицинских платформ. С её помощью можно оценить и улучшить возможности продуктов в условиях, приближённых к реальным. Ключевые преимущества:
- интеграция разных типов данных;
- улучшение диалоговых стратегий;
- повышение качества удалённых консультаций.
Как работает система
В системе роль врачей и пациентов выполняют специальные ИИ-агенты. Каждый агент управляется большой языковой или мультимодальной моделью, что позволяет реалистично воспроизводить ситуации из медицинской практики.
Исследователи подготовили 3 тысячи случаев с 34 диагнозами для работы тестовой системы. Все случаи основаны на реальных текстах и медицинских изображениях, что даёт возможность проверить ИИ на разных типах задач.
Результаты тестирования
На основе подготовленного набора ситуаций учёные сравнили несколько популярных стратегий постановки диагнозов — как в открытых, так и в закрытых системах ИИ, работающих с текстом и визуальной информацией.
Результаты проверок показали:
- Важность диалоговых возможностей для ИИ: способность вести диалог с пациентом повышает качество диагностики на 6,5 %.
- Значимость умения классифицировать медицинские показатели: в некоторых случаях эта функция улучшает работу системы на 20 % по сравнению с аналогами.
Перспективы применения
Создатели теста надеются, что разработка улучшит применение языковых моделей в здравоохранении — как в России, так и в мире. Бесплатный доступ к системе должен ускорить развитие отрасли.