ИИ-агент говорит «готово», а в базе пусто: что показал тест на 18 моделях
Агент сообщил, что задача выполнена. База данных говорит, что нет. Новый бенчмарк ThinkingBox от Microsoft и Hugging Face проверяет не ответ нейросети, а реальное состояние системы после её работы. Результат неприятный для тех, кто планирует подключать агентов к CRM, биллингу и бронированию.
Как проверяли
Раньше считали просто: если агент написал «готово», задача выполнена. Здесь смотрели в базу данных.
- 18 моделей: закрытых и с открытыми весами;
- 507 задач в пяти сферах: ритейл, автострахование, путешествия, банки, консалтинг;
- каждую задачу повторяли по 20 раз на чистой базе.
Главная находка
Из 79 853 неудачных попыток 67,24% выглядели как успех. Агент вызвал нужную функцию, не получил ошибки, доложил об успехе — а данные остались неправильными.
Причём в 79,9% случаев причина лежит в обработке вызовов инструментов, а не в рассуждении модели. То есть нейросеть правильно поняла задачу, но неверно выполнила операцию и не заметила этого.
Точность и надёжность — разные метрики
По точности с первой попытки лидируют Claude Opus 5.5 (67,16%) и GPT-5.4 (65,36%). Среди моделей с открытыми весами — Kimi-K3 (57,37%).
Но интереснее другое измерение: насколько модель повторяет свой результат при 20 запусках одной и той же задачи.
- GPT-6 Astra — 78%;
- Claude Opus 5.5 — 71%;
- GLM-5.1, Kimi-K2.6, DeepSeek-V4-Pro — около 8%.
Метрика «решила задачу все 20 раз из 20»: у Claude Opus 5.5 — 47,53%, у GPT-6 Astra — 45,56%, у Kimi-K3 — всего 13,41%.
Иначе говоря, у части моделей правильный результат на одной и той же задаче почти случаен.
Цена надёжности
Бенчмарк считает отдельную метрику «стоимость выполненной задачи»: у GPT-5.4 она $6,80, у Claude Opus 5.5 — $7,80. Разница в том, сколько приходится тратить на повторные проверки и откаты, если модель нестабильна. Дешёвая в токенах модель может оказаться дорогой в пересчёте на результат.
Что это значит для бизнеса
Результат агента нужно проверять независимо от его отчёта
Если агент меняет записи в CRM, правильным контролем будет проверка самой записи, а не его фразы «готово».
Один успешный прогон ничего не доказывает
Нужно тестировать на сотнях повторений, лучше с чистого состояния системы.
Закладывайте откат
При 67% тихих неудач среди неудачных попыток операция должна быть обратимой, пока доверие к агенту не подтверждено данными.
Начинайте с задач с дешёвой ошибкой
Тихая ошибка в черновике письма и тихая ошибка в платеже — разные по цене случаи.
Бенчмарк и код выложены в открытый доступ на GitHub под лицензией MIT: проверить своего агента по той же методике может любая команда.