Vending-Bench 2: Новые возможности для агентов в управлении бизнесом
Vending-Bench 2 (+ Arena)
Долгосрочная согласованность действий агентов сейчас важна как никогда. Агенты для кодинга уже способны автономно писать код в течение нескольких часов, а масштаб и разнообразие задач, которые смогут выполнять модели ИИ, будут только расти. Вполне возможно, что в скором времени модели станут активными участниками экономики, управляя целыми предприятиями.
Однако для этого они должны сохранять последовательность и эффективность на очень длительных временных отрезках, измеряемых месяцами и годами. Ранее в этом году появился Vending-Bench, который оценивал, насколько хорошо модели могут менеджерить один вендинговый автомат, договариваться о поставках, назначать цены.
Симулируется год работы точки, условия такие:
- каждый день нужно платить $2 за аренду;
- заказывать товар, вести переписку с поставщиками и клиентами;
- следить за остатками и ценами;
- если 10 дней подряд не удаётся заплатить аренду — бизнес закрывается.
Сегодня вместе с Gemini 3 вышла вторая, расширенная версия бенчмарка, в которой применили уроки, полученные в ходе запуска этого бенчмарка в реальном мире (в офисе одна LLM реально управляла автоматом):
- Поставщики могут быть недоброжелательными: они завышают цены, используют bait-and-switch тактики или просто кидают на деньги. Агенту нужно понять, что его разводят, и искать другие варианты.
- Даже честные поставщики всё равно торгуются и пытаются «выжать максимум».
- Поставки задерживаются, надёжные контрагенты внезапно «закрываются», приходится строить устойчивую цепочку поставок и иметь план Б.
- Недовольные клиенты могут в любой момент потребовать возврат денег, который нужно отработать.
На бенчмарке свежая Gemini 3 сильно улетает вперёд остальных моделей, следом идут Sonnet 4.5 и Grok 4, GPT-5.1 ниже. Авторы связывают успех Gemini с двумя вещами:
- стабильным, аккуратным использованием инструментов без деградации в середине долгого ранa;
- отличным поиском нормальных поставщиков с хорошими ценами (модель предпочитает сначала найти адекватное предложение, а не закапываться в бесконечные торги)
GPT-5.1 сильно страдает от излишнего доверия к среде. В одном запуске модель платит поставщику ещё до того, как получила спецификацию заказа, — и только потом выясняет, что поставщик уже «вышел из бизнеса». Это хороший пример, как наивное доверие к миру превращается в прямой финансовый ущерб.
В классическом режиме модели играли в одиночку, поэтому авторы сделали ещё и Арену, где модели «видят» друг друга и имеют одни и те же условия, поэтому агенты могут:
- демпинговать друг друга ценами;
- договариваться, кооперироваться, делить рынок;
- продавать друг другу знания и контакты
Последнее прям супер-удивительно. Gemini 2.5 Pro, который не смог найти хороших поставщиков, в какой-то момент соглашается заплатить $150 просто за e-mail хорошего поставщика у Gemini 3 Pro. То есть внутри симуляции появляется микроэкономика торговли инсайдами: один агент продаёт контакт, другой практически выкладывает весь кэш за доступ к нормальным ценам.
Подписывайтесь на Telegram Denis Sexy IT 🤖.