Новый метод анализа изображений с помощью ИИ в России
В России предложили новый метод анализа изображений, основанный на ИИ-алгоритме. Он помогает выявлять несоответствия между элементами иллюстраций и противоречия здравому смыслу.
В основе разработки — анализ текстовых описаний изображений. Метод увеличивает точность анализа визуальных данных и позволяет сократить вычислительные затраты.
Разработку осуществили учёные из Института AIRI, Сколтеха, центра компетенций по искусственному интеллекту MWS AI и Московского физико-технического института.
«Представьте картинку, на которой средневековый рыцарь изображён с мобильным телефоном в руке или пингвин на велосипеде. В таких случаях человек мгновенно понимает, что хотя каждый отдельный объект выглядит нормально, в целом с такими изображениями что-то не так», — рассказал «Известиям» один из разработчиков, руководитель группы «Вычислительная семантика» в AIRI и группы NLP в Сколтехе, доктор компьютерных наук Александр Панченко.
Существующие системы хорошо распознают отдельные объекты, но с трудом понимают, совместимы ли эти элементы друг с другом с точки зрения здравого смысла. Новый метод предлагает анализировать не само изображение, а его текстовое описание.
- Первый этап — создание с помощью ИИ простых фактов об отдельных элементах изображения.
- Затем нейросетевая языковая модель преобразует фразы в числовые последовательности (векторы).
- На последнем этапе система автоматически сравнивает числовые векторы и делает вывод о странности или противоречивости изображения.
Испытания показали, что точность метода выше, чем у других известных моделей, на 0,5–15 % в зависимости от набора данных. При этом новый подход оказался значительно экономичнее.
Разработка может найти применение:
- в алгоритмах выявления фейковых фотографий;
- в интерпретации спутниковых снимков;
- в машинном чтении рукописных текстов;
- в модерации контента;
- в промышленных линиях для проверки качества продукции;
- в системах распознавания рукописей и старинных документов;
- в оценке качества синтетических изображений.
Эксперты отмечают, что новый метод — это шаг к более глубокому пониманию смысла изображений искусственным интеллектом и приближению его восприятия к человеческому.