Человек в контуре ИИ-агента: почему контроль превращается в кнопку «одобрить»
Коротко: «человек в контуре» (human in the loop) — это правило, по которому ИИ-агент не делает важных шагов без одобрения человека. Исследователи Hugging Face и Data & Society в работе «AI Agents Push Humans Out of the Loop» (2026) показывают: в нынешнем виде это правило со временем перестаёт работать. Агенты выдают слишком много информации, люди привыкают доверять и одобряют не читая, а навык проверки слабеет. Контроль остаётся на бумаге. Чтобы он работал, в процесс нужно специально встраивать «трение» — шаги, которые заставляют человека думать, а не кликать.
Материал редакции блога «Изнанка». Мы разбираем свежее исследование об ИИ-агентах: что в нём верно, что спорно и что из этого следует для компаний, которые уже отдают агентам часть работы. В конце — признаки того, что ваш контроль стал формальным, и чек-лист, как это исправить.
Что такое human in the loop и что выяснили исследователи
ИИ-агент — это нейросеть, которая не просто отвечает на вопрос, а сама выполняет цепочку действий: отправляет письма, меняет данные в CRM, заказывает, публикует, пишет код.
Human in the loop («человек в контуре») — схема, в которой агент предлагает действие, а человек его проверяет и одобряет или отклоняет. Это самый популярный ответ на вопрос «а если агент ошибётся?».
В августе–сентябре 2026 года на arXiv вышла работа «AI Agents Push Humans Out of the Loop» — «ИИ-агенты выталкивают людей из контура». Авторы:
- Маргарет Митчелл — главный специалист по этике Hugging Face;
- Авиджит Гош — ведущий исследователь технической политики ИИ в Hugging Face;
- Сэмир Пасси — исследователь, связанный с институтом Data & Society.
Работу пересказал и дополнил комментариями журнал IEEE Spectrum в статье Дэвида Берреби от 5 октября 2026 года.
Главный вывод исследователей — в трёх тезисах:
- Контроль человека — не готовое решение. Агентов строят под скорость, точность и объём работы, а удобство проверяющего остаётся на втором плане.
- Долгая работа с ИИ ослабляет сами навыки контроля. Чем дольше человек проверяет агента, тем хуже он умеет делать эту работу сам — и тем хуже замечает ошибки.
- Нынешние практики внедрения не просто не помогают, а разрушают контроль. Поэтому потребности проверяющего нужно считать таким же приоритетом, как возможности самого агента.
Самый острый тезис прозвучал в интервью IEEE Spectrum. Авиджит Гош назвал рост продуктивности от агентов «мифом», если люди не могут их контролировать: сэкономленное время нужно сравнивать со временем на исправление ошибок. А ещё он усомнился в популярной идее «пусть одну нейросеть проверяет другая»: без человека непонятно, кто проверит самих проверяющих.
Почему человек превращается в кнопку «одобрить»
Исследователи и IEEE Spectrum называют пять механизмов. Ни один из них не про лень или некомпетентность — это обычная работа человеческого внимания.
- Перегрузка. Агент выдаёт планы, логи и отчёты быстрее, чем человек успевает их прочитать. На десятом запросе на одобрение читают уже диагональю.
- Доверие к автоматике (automation bias). Люди принимают предложение системы, даже когда оно неверное. Чем реже агент ошибается, тем сильнее этот эффект — и тем дороже редкая ошибка.
- Якорь. Первый вариант, который показал агент, становится точкой отсчёта. Человек оценивает «норм или не норм», а не «как сделать лучше», и альтернативы не рассматривает.
- Нежелание думать. Разобраться в плане агента — усилие. Нажать «одобрить» — облегчение. Когда задач много, облегчение побеждает.
- Лесть. ИИ часто отвечает одобрительно и уверенно: «отличное решение», «всё верно». Это успокаивает именно тогда, когда нужен скепсис.
Итог — не внезапная авария, а медленный сдвиг. Сначала человек проверяет всё, потом выборочно, потом только нажимает кнопку. При этом в регламенте по-прежнему написано «все действия агента согласуются с сотрудником», и руководитель уверен, что контроль есть.
Что в исследовании не ново и чего в нём не хватает
У работы есть серьёзные критики, и их аргументы стоит знать.
Проблема известна давно. Мэри Каммингс, директор центра автономных систем и робототехники Университета Джорджа Мейсона, в комментарии IEEE Spectrum сказала: авторы «академическими словами» повторяют то, что давно известно, а разработчики ИИ «опоздали на вечеринку». И она права. Ещё в 1983 году психолог Лизанна Бейнбридж описала «иронии автоматизации»: чем надёжнее автомат, тем хуже человек готов перехватить управление в редкий момент сбоя. Авиация, атомная энергетика и беспилотные автомобили живут с этой проблемой десятилетиями — поэтому там есть тренажёры, обязательные ручные процедуры и нормы отдыха.
Новое здесь не сама проблема, а масштаб. Раньше автоматику контролировали обученные операторы по строгим регламентам. ИИ-агентов контролируют обычные сотрудники офиса — без подготовки и между другими делами.
Нет цифр. Работа — позиционная: авторы сводят известные данные о работе с автоматикой и проецируют их на ИИ-агентов. Сколько ошибок пропускают люди через месяц работы с агентом и как быстро теряется навык, из неё узнать нельзя. Это аргументированный прогноз, а не измерение.
Нерешённое противоречие. Все предложенные меры замедляют работу, а агентов внедряют ради скорости. Митчелл отвечает на это так: безопасность тормозит, только когда её добавляют задним числом, а встроенная в саму технологию — нет. Это звучит разумно, но готового рецепта в работе нет.
Позиция редакции: проблема не в ИИ, а в том, как устроен процесс
Мы согласны с главным выводом: фраза «человек всё проверяет» сама по себе ничего не гарантирует. Но виноваты не нейросети и не сотрудники. Контроль ломается, когда его ставят галочкой в регламенте и не проектируют как работу.
Наш вывод для бизнеса простой: экономию от агента нужно считать честно.
Если время на проверку подозрительно близко к нулю, это не экономия. Это значит, что проверки нет, а счёт за ошибки придёт позже.
Модель «Изнанки»: четыре рубежа контроля ИИ-агента
Мы собрали рекомендации исследователей и опыт отраслей с автоматикой в четыре правила. Их можно ввести без разработчиков — на уровне регламента.
- Рубеж риска. Разделите действия агента по цене ошибки. Обратимое и дешёвое агент делает сам. Деньги, клиенты, публикации и удаление данных — только с одобрения. Так внимание человека тратится там, где оно нужно.
- Рубеж своего мнения. В важных решениях человек сначала фиксирует свой вариант и только потом смотрит план агента. Это ломает эффект якоря — именно так советуют авторы исследования.
- Рубеж трения. Одобрение важного действия — не одна кнопка, а короткий ответ на вопрос: «Что заставило бы вас передумать?» или «Что тут может пойти не так?». Десять секунд трения дешевле одной пропущенной ошибки.
- Рубеж ручной работы. Регулярно делайте часть задач без агента и меняйте проверяющих. Так сохраняется навык, без которого человек не заметит ошибку.
Плюс одна метрика, которую стоит смотреть раз в неделю, — среднее время на одно одобрение. Если оно устойчиво падает, а задачи не стали проще, проверка превращается в формальность. Этот сигнал тоже предлагают отслеживать авторы исследования.