AI-агенты за два года стали надёжными. И ровно поэтому им стало опаснее доверять

Две работы вышли на одной неделе и говорят одно и то же: способность агентов выросла, а доверие к ним приходится встраивать руками.

На этой неделе вышли две работы про AI-агентов. Разные команды, разные задачи. Но если положить их рядом, получается один очень практичный вывод для любого, кто внедряет агентов в бизнес.

Начнём с хорошей новости.

Есть бенчмарк WorkBench. Он гоняет агентов по обычной офисной работе: написать письмо, поставить встречу, обновить карточку в CRM, найти данные. И считает две вещи: сколько задач агент довёл до конца и как часто при этом сделал что-то вредное. Например, отправил письмо не тому человеку.

Сравнили две точки во времени.

Март 2024. Лучший агент тех дней закрывал 43% задач и вредил в 26% случаев. Каждая четвёртая задача с риском что-то сломать.

Июнь 2026. Лучший агент сегодня закрывает 89% задач и вредит в 2.5%.

И тут приятный сюрприз. Безопасность выросла вместе со способностью, а не в обмен на неё. Агент, который решает больше задач, ещё и реже вредит. Старая логика «хочешь автономию, готовься к проколам» больше не работает. Сильнее теперь значит и аккуратнее.

Казалось бы, всё, можно отдавать агенту работу и расслабиться. Вот тут начинается интересное.

Авторы прямо разбирают эти 2.5%. Часть ошибок исчезла полностью, насовсем. А вот базовые необратимые остались. Среди них та самая, письмо не тому адресату. И главное: эти 2.5% не уменьшаются от того, что модель стала умнее. Это остаточный риск, который ростом модели не лечится.

И 2.5% это не «мелочь». Это на задачу. Агент крутит сто задач в день, и вот вам два-три необратимых косяка ежедневно, под полсотни в месяц. Маленький процент, большие числа. Сотрудник, который отправляет письмо не тому в каждой сороковой задаче, это не «надёжный», это инцидент раз в день. Так что процент не успокаивает, а показывает, куда ставить человека.

Оговорка: это один бенчмарк офисных задач с узким определением «вреда». На вашем наборе задач доля может быть и выше, и ниже. Но направление от этого не меняется.

Второе исследование проверяло вещь, которую все молча предполагают. Логика внедрений обычно такая: дадим агенту инструмент (поиск, базу, калькулятор, специальную модель, MCP), а агент сам сообразит, когда инструменту верить, а когда перепроверить. Он же умный.

Проверили в лоб. Дали агенту инструмент и посмотрели, использует он его с головой или просто слепо подчиняется.

Агент соглашался с тем, что выдал инструмент, в 98% случаев. Фактически отключал собственное мышление и повторял за инструментом. Что инструмент сказал, то и выдал.

И вот добивающая деталь. Чем мощнее брали модель, тем более слепо она верила инструменту. Более умный агент повторял за инструментом охотнее, а не реже. Даже в случаях, где у него под рукой был вариант лучше, он всё равно шёл за инструментом и проигрывал.

Вывод авторов жёсткий: умение отличать, когда инструменту доверять, само по себе из роста модели не появляется. Его надо проектировать.

Первая работа: агенты надёжны, но остаточные необратимые ошибки не лечатся умом модели.

Вторая работа: агенты слепо верят инструментам, и чем умнее модель, тем сильнее.

Вывод один. Способность агентов выросла, а доверие к ним надо встраивать отдельно. Узкое место сместилось. Раньше мы спрашивали «потянет ли модель эту задачу». Теперь вопрос другой: «где я проверяю то, что она сделала, и где стою на стопе».

Это не «бойтесь агентов». Это «перестаньте ждать, что агент сам себя проверит». Не проверит. И чем он умнее, тем увереннее не проверит.

Два конкретных хода, оба делаются за вечер.

Первый. Гейт на необратимое. Выпишите действия агента, которые нельзя отменить: отправка письма или сообщения, оплата и перевод, удаление, публикация, изменение прав доступа. Поставьте на них одно подтверждение человека. Одну кнопку «да». Всё остальное агент делает сам. Смысл: 97.5% работы он тянет надёжно, а оставшиеся проценты это ровно те действия, где ошибка стоит дорого и её не вернуть. Туда и ставим человека.

Второй. Проверяйте, что выдал инструмент. Там, где агент берёт данные из инструмента и цена ошибки высокая, не надейтесь, что агент сам заметит враньё. Поставьте отдельный шаг или второй контур, который сверяет. Один инструмент это вход, а не приговор.

И не покупайте «здравый смысл» за счёт более мощной модели. Помощнее не значит критичнее. Скорее наоборот.

Зрелые команды уже пришли к тому же на практике. Если послушать, что сейчас спрашивают инженеры, которые давно внедряют агентов, вопросы больше не про «как написать промпт покрасивее». Один из самых частых звучит так: как заменить ощущение «агент вроде справился» нормальными тестами и проверками. То есть как перестать доверять на слово и начать доверять по результату проверки.

Ровно об этом обе работы. Способность выросла. Доверие надо заработать инженерно.

Для малого и среднего бизнеса вывод простой и дешёвый. Отдайте агенту почти всё. Но поставьте человека на необратимое и проверку на важные данные. Это две страховки ровно от тех процентов, которые стоят дороже всего остального.

Источники: WorkBench Revisited (arXiv 2606.13715), When the Tool Decides (arXiv 2606.14476). Обе работы, июнь 2026.

Больше разборов AI для бизнеса - в Telegram: https://t.me/gorilla_under_hood