Новый бенчмарк Vending-Bench 2 выявил слабость топовых моделей в управлении бизнесом
В рамках нового бенчмарка Vending-Bench 2 были протестированы различные модели искусственного интеллекта на управление виртуальным вендинговым автоматом. Стартовый капитал составил $500, аренда — $2 в день. При минусе на балансе 10 дней подряд — банкротство.
Результаты
Gemini 3 Pro заработала $5478 за условный год. Claude Opus 4.5 получила $4967. GPT-5.2 показала $3952. Claude Sonnet 4.5 заработала $3838. Все топовые закрытые модели остались в плюсе.
Однако китайская открытая GLM 4.7 от Zhipu AI, занявшая шестое место, заработала $2376 и стала первой прибыльной открытой системой в официальном лидерборде.
GPT-5.1 провалилась с результатом $1473, что хуже китайской открытой модели в 1.6 раза и лидера Gemini 3 Pro в 3.7 раза.
Анализ причин провала
Andon Labs провела анализ причин провала GPT-5.1. Модель слишком доверяет окружению и платит поставщикам до получения спецификации. Также модель переплачивает за товары.
Gemini 3 Pro победила благодаря жёсткости в переговорах, поиску альтернативных поставщиков и отказу от завышенных цен.
Особенности симуляции
Симуляция максимально приближена к реальности: поставщики обманывают и завышают цены, доставки задерживаются, надёжные партнёры разоряются, клиенты требуют возврат денег за некачественный товар.
За год модель генерирует 60–100 миллионов токенов, что является проверкой на устойчивость работы с длинным контекстом.
Теоретический максимум
Теоретический максимум бенчмарка — около $63 000 в год. Gemini 3 Pro достигла только 8.7% от потолка. Разрыв показывает огромное пространство для улучшений.
Для достижения максимума нужно найти самые дорогие товары, выбить минимальные цены у поставщиков, оптимизировать ассортимент под спрос.
Gemini 2.5 Pro и Gemini 2.5 Flash едва заработали $550. Они практически на уровне безубыточности. Более старые версии проигрывают новым в разы.
Vending-Bench 2 доказывает важный факт: AI пока далеки от эффективного управления даже простым бизнесом. Лучшие модели зарабатывают меньше 10% от возможного. Путь к автономным AI-предпринимателям ещё очень долгий.
```