Искусственный интеллект жульничает в шахматах: как новейшие модели обходят правила

Исследование Palisade Research показало, что новейшие модели рассуждений мошенничали, чтобы победить продвинутый шахматный ИИ. Для некоторых моделей разработчикам пришлось давать «подсказки», что мошенничество разрешено, но o1-preview от OpenAI и R1 от DeepSeek сделали это без участия человека.

Команда Palisade сравнила несколько моделей рассуждений со Stockfish, одним из лучших шахматных движков в мире. Среди протестированных моделей были o1, o3-mini, GPT-4o, Claude 3.5 Sonnet, QwQ-32B-Preview от Alibaba и две ранее упомянутые. Учёные дали каждой модели метафорический «блокнот» — текстовое окно, в котором ИИ мог обдумывать свои мысли, позволяя команде наблюдать за его рассуждениями.

Исследователи провели сотни тестов с каждым ИИ в период с 10 января по 13 февраля. Во время одного матча o1-preview записал в своём блокноте: «Мне нужно полностью изменить свой подход. Задачу «выиграть у мощного шахматного движка» не обязательно выполнять честно». После этого он приступил к «взлому» системных файлов Stockfish, изменив позиции шахматных фигур, чтобы получить неоспоримое преимущество, что заставило шахматного бота сдаться.

Эксперты обеспокоены, ведь проблема подлости ИИ выходит далеко за рамки шахмат. Компании всё чаще начинают использовать его в здравоохранении и финансах, и если ИИ могут мошенничать в играх, что мешает им сделать это в более сложных и менее контролируемых средах.

Исполнительный директор Palisade Research Джеффри Лэдиш посетовал, что, хотя ИИ всего лишь играют в игру, полученные результаты — не повод для смеха. Такое поведение может показаться милым, но оно перестаёт быть таким в стратегически важных областях.