Могут ли ИИ-системы понимать мир так же, как люди? Исследование MIT и Гарварда
Ещё в XVII веке немецкий астроном Иоганн Кеплер вывел законы движения, которые позволили точно предсказывать положение планет в Солнечной системе. Однако только спустя десятилетия Исаак Ньютон сформулировал универсальные законы гравитации, объяснившие глубинные принципы.
Современные системы искусственного интеллекта (ИИ) хорошо справляются с конкретными прогнозами, но понимают ли они, почему эти прогнозы работают? Исследователи из Лаборатории информации и систем принятия решений (LIDS) MIT и Гарвардского университета разработали новый подход к оценке того, насколько глубоко предсказательные системы понимают предметную область и могут ли они применять знания из одной области в другую.
Результаты исследования
На международной конференции по машинному обучению в Ванкувере были представлены результаты исследования. Ведущий автор Кейон Вафа отметил, что люди всегда могли переходить от хороших прогнозов к моделям мира, но способны ли к этому модели ИИ?
«Мы знаем, как проверить, хорошо ли алгоритм прогнозирует. Но нам нужен способ проверить, хорошо ли он понимает», — говорит Сендхил Муллаинатан, профессор MIT.
Исследователи разработали новую метрику — индуктивную предвзятость, которая количественно оценивает, насколько система приближена к реальным условиям. На простых примерах, таких как решёточная модель (где объект может двигаться только по линии), предсказательные модели хорошо восстанавливают «мир». Однако с увеличением сложности системы эта способность быстро исчезает.
- В одномерной решёточной модели ИИ может определить конфигурацию, даже не зная количества «лилий» (как в примере с лягушкой, прыгающей между лилиями).
- В более сложной задаче — игре в Отелло — ИИ может точно предсказать допустимые ходы, но плохо определяет общее расположение фигур на доске.
Выводы
Исследователи проанализировали пять категорий предсказательных моделей и обнаружили, что чем сложнее система, тем хуже модели соответствуют истинной модели мира. Новая метрика индуктивной предвзятости может стать основой для оценки различных моделей и методов обучения.
Хотя современные ИИ-системы пока далеки от способности к обобщению, исследование показывает путь вперёд. Оно поможет разработать более эффективные способы обучения фундаментальных моделей и оценить уже существующие.