Налог на надзор. Как работать с ИИ быстрее, безопаснее и без постоянной перепроверки

Мы привыкли к программам с предсказуемым интерфейсом. Нажали кнопку, получили определенную операцию. Сделали 10-15 кликов, прошли известный маршрут и пришли к результату.

ИИ-агенты работают иначе. Пользователь ставит задачу обычными словами. Агент интерпретирует цель, составляет план, выбирает инструменты и выполняет последовательность действий.

Мы пишем одну фразу в чате. Дальше агент принимает множество промежуточных решений.

Чем проще становится интерфейс, тем важнее становится архитектура взаимодействия.

Сейчас мы вырабатываем правила этой новой рабочей парадигмы. Учимся ставить задачи, определять границы автономности, выбирать точки контроля и принимать результат. От этого зависит реальная польза ИИ.

ИИ снимает часть исполнительской нагрузки. Но у человека появляется другая работа. Нужно передать контекст, оценить план, дать доступы, проверить результат и исправить ошибки.

Я называю это налогом на надзор.

Если его не учитывать, возникает иллюзия ускорения. Агент отвечает за несколько секунд. Затем начинаются уточнения, повторные запуски и ручная проверка.

Реальный эффект можно представить простой формулой.

Чистый выигрыш = сэкономленное время исполнения − постановка − надзор − проверка − переделка

Главная метрика для меня звучит так: сколько времени прошло от постановки задачи до результата, который можно принять и использовать?

В ней уже учтены скорость, качество и стоимость проверки.

Модели быстро становятся сильнее. Поэтому полезнее смотреть на свежие исследования агентных систем и на результаты, которые можно объективно проверить.

В июне 2026 года исследователи UC Berkeley представили Agents' Last Exam [1]. В основу набора вошли 1 490 задач из реальной профессиональной практики в 55 областях. Агентам нужно было работать с файлами и программами и создавать готовый результат. Выполнение оценивали по заранее заданным критериям.

Авторы разделили задачи на три набора. Важно, что они сформированы по разным принципам.

Ближний горизонт, Near-Term. Сюда специально включили процессы, которые современные агенты уже способны выполнить хотя бы частично. Этот набор нужен для быстрых экспериментов и оценки ближайшего прогресса. Его нельзя считать случайной выборкой всей профессиональной работы.

Полный охват профессий, Full-Spectrum. Здесь принцип отбора другой. Исследователи взяли по одной задаче из каждой из 55 профессиональных областей. Этот набор показывает широту возможностей агента. Он не является просто следующим уровнем после Near-Term.

Самые сложные задачи, Last-Exam. В этот набор вошли наиболее трудные многоэтапные профессиональные процессы.

Codex с GPT-5.5 полностью выполнил 38,1% задач Near-Term, 22,7% задач Full-Spectrum и ни одной задачи Last-Exam. Полным успехом считалось выполнение всех требований. Частично готовый и убедительно оформленный результат в эту метрику не попадал.

Отдельный анализ неудачных запусков Claude Code с Opus 4.7 показывает, где именно ломается выполнение. 47% классифицированных сбоев были связаны с неверным подходом: в 30% случаев агент выбрал ошибочную стратегию, еще в 17% преждевременно остановился. 22% сбоев возникли на этапе исполнения из-за неправильного формата результата, ошибок реализации или проблем при работе с интерфейсом [1].

Поэтому сообщение агента о завершении нельзя считать критерием приемки. Наличие итогового файла, количество обработанных объектов, обязательные поля и соблюдение ограничений нужно проверять отдельно.

Эксперимент 2026 года с 2 234 участниками отвечает на другой вопрос: что меняется при совместной работе человека и агента [2]. Команды с ИИ создавали на 50% больше рекламных объявлений на одного участника. Текст получал более высокие оценки, изображения более низкие. Работы с ИИ получались более однотипными. Метрики реальной рекламной кампании по-разному реагировали на качество текста и изображения.

Рост объема описывает только одну часть эффекта. В рабочем процессе единицей измерения должен стать результат, который прошел приемку и может использоваться дальше.

Средняя стоимость одного принятого результата = совокупные затраты на серию запусков / количество результатов, прошедших приемку

В затраты входят время постановки, активное внимание человека, работа агента, проверка, повторные запуски, исправления и восстановление после ошибок. Такая метрика учитывает все пять неудачных версий, которые появились до шестого, принятого результата.

Для первичной оценки можно взять небольшой набор типовых задач с известным правильным результатом. Сначала выполнить их обычным способом, затем провести через агентный процесс. По каждой задаче стоит зафиксировать пять показателей:

Эти показатели нужно считать отдельно по типам задач. Среднее значение по всем запускам скрывает зоны надежной работы и процессы с высокой стоимостью проверки.

Дальше начинается главный цикл повышения эффективности. Каждая найденная ошибка превращается в один из четырех элементов:

Ошибка → проверка или ограничение → обновленный контур → повторный запуск → меньше ручного надзора

В зависимости от риска это может быть автоматический тест, новое ограничение, условие остановки или сценарий восстановления.

После обновления контура тот же набор задач запускается снова. Активное время человека должно снижаться, доля приемки с первой попытки расти, а ошибки после приемки сокращаться.

Каждая человеческая правка должна улучшать следующий запуск. Когда исправления превращаются в правила и тесты, надзор становится инфраструктурой, а накопленный опыт начинает экономить время.

Когда человек выполняет задачу сам, он постепенно формирует внутреннюю модель результата. Он помнит источники, сомнения, допущения и причины решений.

При делегировании агенту человек получает уже собранный результат и восстанавливает его логику задним числом. Исследователи называют это метакогнитивной нагрузкой. Пользователь одновременно оценивает задачу, возможности модели, качество запроса и достаточность собственной экспертизы для проверки [3].

Гладкая структура усиливает ощущение надежности. Подробное объяснение создает ощущение глубины. Точные числа создают ощущение достоверности. Эти признаки сами по себе не подтверждают результат.

В исследовании с участием 319 специалистов более высокая уверенность в ИИ была связана с меньшим объемом критического анализа. Уверенность человека в собственной предметной экспертизе была связана с более активной проверкой [4].

Поэтому вопросы и фразы "Ты уверен?" и "Перепроверь еще раз" дают слабый контроль. Модель может сформировать еще более убедительное объяснение прежнего вывода.

Для приемки нужны факты, существующие отдельно от объяснения агента: исходные документы, независимый расчет, автоматический тест, список обработанных записей, ссылки на строки таблицы, страницы документа или идентификаторы объектов.

Рассказ агента о выполненной работе остается рассказом. Для принятия результата нужны проверяемые следы работы.

Я использую контур из пяти шагов. Он переносит контроль в начало процесса и сокращает объем проверки после выполнения.

Исследование → план → критерии приемки → защитный контур → точки контроля

Сложную задачу полезно начинать в исследовательском режиме. Агент изучает материалы, предлагает подходы, ищет противоречия, перечисляет допущения и проводит what-if анализ. Рабочие данные пока остаются без изменений.

После выбора подхода начинается исполнение. К этому моменту определены результат, план, права агента и критерии приемки.

При объединении этих режимов первая правдоподобная идея быстро превращается в готовое решение. Отдельный этап исследования дает время заметить ошибочное понимание задачи.

Хороший what-if анализ заканчивается практическими правилами. Каждый найденный сценарий превращается в проверку, ограничение, условие остановки или способ восстановления.

Представим задачу по сопоставлению данных из Excel с записями в корпоративной системе. До запуска полезно выяснить, как агент обработает несколько соответствий для одной строки, разные форматы кодов и единицы измерения. Отдельно нужно определить поведение при повторном запуске, способ обнаружения посторонних изменений и порядок восстановления исходных данных.

Ответы должны попасть в план и правила выполнения.

План часто воспринимают как формальность. Его ценность гораздо выше.

План агента является самым дешевым прототипом будущего результата.

Пока выполнение не началось, исправление ошибки занимает несколько минут. После изменения рабочей базы, отправки письма или публикации отчета цена той же ошибки становится выше.

По плану нужно проверить:

Для рабочей задачи удобно использовать схему:

Такой план становится контрактом выполнения. При появлении ситуации, которой в нем нет, агент останавливается, описывает расхождение и предлагает обновление.

Способ проверки лучше определить до запуска. После получения красивого результата мозг уже склонен искать подтверждения его правильности.

До выполнения нужно зафиксировать:

Например, агент обновляет атрибуты записей в корпоративном реестре по данным из таблицы. Критерии можно собрать в компактную карту:

После этого специалист изучает итоговые проверки, исключения и записи с наибольшим риском. Проверка всего массива вручную уже не требуется.

Robert C. Martin, автор книги Clean Code и один из авторов Agile Manifesto, предлагает для агентной разработки сильный принцип. Уверенность в результате создается системой ограничений и испытаний: приемочными и модульными тестами, анализом сложности и зависимостей, проверкой покрытия и mutation testing [8, 9, 10].

Эту систему можно представить как забор вокруг рабочей зоны агента. Забор задает разрешенные действия, свойства результата и автоматические проверки. Все, что выходит за установленные границы, блокируется или передается человеку.

Внутри такого контура агент получает автономность. Человеку уже не нужно читать каждую строку, просматривать каждую запись и подтверждать каждый шаг. Уверенность создают независимые проверки:

Последний пункт особенно важен. В тестовую копию данных можно намеренно внести дефект: удалить обязательное поле, изменить единицу измерения, продублировать идентификатор или добавить запись за пределами заданного диапазона. Затем нужно убедиться, что проверочный контур нашел ошибку.

В разработке такой прием называется mutation testing. В работе с документами, таблицами и корпоративными системами он проверяет качество самой приемки.

Забор работает, когда непройденная проверка автоматически останавливает процесс, блокирует выдачу результата и запускает откат или разбор исключения. Сообщение агента об успехе не может отменить красный статус проверки.

Сначала мы строим забор, который блокирует известные классы ошибок. Затем внутри ограниченного контура агент может работать без постоянной ручной перепроверки.

Действия с высокой ценой ошибки остаются за пределами этого контура и требуют отдельного решения специалиста. Следующий шаг нужен именно для определения таких точек.

Подтверждение каждого действия кажется безопасным. Через некоторое время пользователь начинает нажимать кнопку разрешения автоматически.

Данные реального использования Claude Code показывают изменение стратегии по мере накопления опыта [5]. Новые пользователи включали полное автоодобрение примерно в 20% сессий. После 750 предыдущих сессий показатель превышал 40%.

Одновременно частота точечных вмешательств росла примерно с 5% до 9% ходов.

Опытные пользователи дают агенту больше свободы и точнее выбирают момент вмешательства. Подтверждение человека особенно важно перед действиями, которые:

Для остальных операций подходят ограниченные права, тестовая среда, журнал действий, автоматические проверки и возможность отката. Такой подход согласуется с рекомендациями NIST и OWASP [6, 7].

Фраза "Проверка выполнена" дает мало информации о качестве результата. Для приемки нужны три группы доказательств.

Источники. Список использованных файлов и их версий, ссылки на исходные строки, страницы и записи.

Действия. Журнал работы, перечень обработанных и пропущенных объектов, значения до и после.

Контроль. Результаты автоматических проверок, ошибки, предупреждения, реестр исключений, итоговые файлы и способ отката.

Результат должен быть видим и проверяем всегда.

Надзор требует предметной экспертизы. Ее тоже нужно поддерживать.

В эксперименте Anthropic 52 разработчика осваивали незнакомую Python-библиотеку [11]. Сначала они выполняли практическое задание с ИИ или самостоятельно. Затем исследователи проверили, понимают ли участники написанный код, умеют ли найти ошибку и могут ли объяснить основные принципы новой библиотеки.

Участники с ИИ в среднем набрали 50%, участники без ИИ 67%. Разница во времени составила около двух минут и не была статистически значимой. Самый важный вывод связан со способом работы. Люди, которые отдавали ИИ генерацию решения, осваивали материал хуже. Люди, которые задавали концептуальные вопросы, просили объяснить решения и продолжали думать самостоятельно, сохраняли понимание лучше.

Для надзора это принципиально. Если человек поручает агенту задачу в незнакомой области, он может получить готовый результат и не сформировать знание, которое понадобится для проверки следующего результата.

Качественный надзор возможен там, где у человека есть собственная модель задачи. ИИ можно использовать для ее построения, если просить объяснения, проверять гипотезы и разбирать ошибки.

Перед задачей полезно определить, какой результат нам нужен: готовая работа, понимание нового предмета, развитие навыка, проверка гипотезы или повторяемый процесс.

Знакомую и хорошо проверяемую задачу можно глубже делегировать агенту. При освоении нового метода или работе с критичным расчетом специалисту важно сохранять контакт с логикой. Здесь помогают собственная гипотеза до обращения к ИИ, концептуальные вопросы, разбор альтернатив и периодическая работа без агента.

Если задача выполняется регулярно, проверенный способ работы можно оформить как навык агента.

Навык агента хранит проверенный рабочий сценарий для определенного типа задач. В нем собраны требования к исходным данным, порядок действий, доступные инструменты, ограничения, правила проверки, условия остановки и формат результата.

Например, навык для обновления корпоративного реестра может содержать:

Так сотруднику не нужно каждый раз заново объяснять агенту весь процесс. Агент получает задачу, подключает подходящий навык и проходит по уже согласованному маршруту:

Входные данные → алгоритм → ограничения → проверки → отчет об исключениях → сравнение до и после → возможность отката

Навык стоит создавать после нескольких успешных запусков на реальных данных. Сначала специалист и агент отрабатывают процесс вручную. Затем фиксируют устойчивый алгоритм, проверяют его на обычных и редких случаях и добавляют правила остановки. При изменении процесса навык обновляют и снова тестируют.

После запуска сотрудник проверяет отчет, исключения и результаты обязательных тестов. Если хотя бы одна проверка не пройдена, агент останавливает выполнение и не выдает результат как готовый.

Так навык превращает удачный диалог с агентом в воспроизводимый рабочий процесс. Команда сохраняет методику, контроль становится предсказуемым, а налог на надзор снижается с каждым повторным запуском.

Работа с ИИ-агентами требует нового профессионального навыка. Специалист проектирует условия, в которых агент действует самостоятельно и остается управляемым.

Налог на надзор снижается, когда цена ошибки определена, план согласован, критерии приемки заданы заранее, точки вмешательства связаны с риском, а результат сопровождается доказательствами.

Так агент получает автономность там, где результат можно проверить. Критичные решения остаются под контролем специалиста. Скорость, безопасность, качество и рабочая нагрузка становятся частью одного процесса.

Именно эти процессы сейчас предстоит вырабатывать командам, внедряющим ИИ.

Я Дарья Гречишникова, кандидат физико-математических наук, технический директор ДАТАТИМ. Занимаюсь разработкой и внедрением ИИ-агентов в рабочие процессы и обучением команд эффективной и безопасной работе с искусственным интеллектом.