Провал видно до финала

Обычно мы оцениваем ИИ-агента по последнему шагу: код прошёл тесты или нет.

Но новое исследование показывает, что часть ответа видна раньше. Учёные разобрали 22 714 запуска кодовых агентов на SWE-Bench: 1231 задача, 79 480 правок, две открытые модели — Qwen3.6-35B-A3B и Laguna-XS.2.

Они смотрели не на финальный код, а на скрытые состояния модели во время работы. По ним простой классификатор отличал удачные попытки от неудачных заметно лучше случайного угадывания: 0,83 по шкале, где 0,5 — монетка, а 1 — почти идеальное распознавание.

Проще говоря: по внутреннему состоянию модели уже можно было понять, идёт агент к рабочему решению или просто тратит токены.

Главное: слабый сигнал был виден примерно за 25 шагов до результата.

Вывод: следующий скачок в ИИ-разработке — не больше кода, а раннее управление попытками.

В комментариях как это применять в жизни

Подписывайтесь на Telegram Роман Тетюркин | Доктрина ИИ.