ИИ-агентам нужен оператор, а не волшебный промпт: шесть правил для бизнеса

В заметке на vc.ru об обновлении политики Anthropic главный акцент сделали на запрете систематического и бесцельного оскорбительного обращения с Claude. Для обсуждения это яркий заголовок. Но для предпринимателей в документе есть более важный сигнал: чем самостоятельнее становится ИИ, тем конкретнее должна быть ответственность человека, который контролирует его действия.

8 октября Anthropic опубликовала обновление правил, которое вступит в силу 12 ноября 2026 года. Компания уточнила требования для сценариев, способных повлиять на здоровье, юридические права, финансы, средства к существованию человека или доступ к жизненно важным услугам. В таких случаях требуется квалифицированный специалист, уполномоченный проверить и при необходимости изменить рекомендацию Claude; затронутому человеку также нужно сообщить, что при принятии решения использовался ИИ. Если модель подключена к оборудованию, которое автономно действует и может причинить физический вред, квалифицированный оператор должен иметь возможность наблюдать за оборудованием и остановить его, а при отключении Claude оборудование должно сохранять безопасное состояние.

Это правила одного поставщика, а не универсальный закон для всех ИИ-систем. Но это один из заметных рыночных сигналов: агенту мало дать хороший промпт. Нужны границы, контроль, журнал действий и человек с полномочиями сказать «стоп».

Я смотрю на это как предприниматель. В демонстрации многие агенты выглядят убедительно: собирают данные, пишут письма, меняют таблицы, создают документы. Настоящий вопрос начинается после демонстрации: кто заметит ошибку, кто отменит действие и кто ответит перед клиентом, сотрудником или контрагентом?

В простейшем чат-сценарии модель отвечает на отдельный запрос. Агентная система может выполнять многошаговую задачу с помощью инструментов и рабочей среды. OpenAI, например, описывает инфраструктуру, позволяющую агентам работать длительными сессиями, использовать файлы и код, сохранять промежуточные результаты и координировать субагентов.

Чем больше у системы возможностей, тем дороже становится неоднозначная инструкция.

Фраза «разбери входящие обращения и помоги менеджерам» звучит безобидно. Но за ней скрываются разные действия: прочитать персональные данные, определить приоритет, изменить карточку в CRM, подготовить ответ, отправить его клиенту или закрыть заявку. Ошибка в черновике исправляется за минуту. Ошибка в уже отправленном письме становится обещанием компании.

Поэтому «Оператор искусственного интеллекта» для меня — не человек, который знает десяток эффектных команд. Это функция внутри процесса. Оператор ставит задачу, определяет допустимые действия, проверяет результат и управляет исключениями.

Такой подход совпадает и с рекомендациями NIST: заранее определять роли человека и ИИ, соотносить строгость проверки с риском, фиксировать инциденты, предусматривать мониторинг, возможность отмены решения и критерии остановки системы.

Вот минимальная система, с которой я бы начинал внедрение.

У каждого агента должен быть короткий паспорт задачи:

Это можно уместить на одной странице. Важна не форма, а однозначность.

Например, агенту можно разрешить классифицировать обращения и готовить проекты ответов. Но менять цену, обещать срок, подтверждать юридическую позицию или отправлять сообщение без проверки — нельзя. Пока эти границы не записаны, автоматизация держится на догадках.

Не вся работа требует одинакового контроля. Удобно использовать три уровня.

Низкий риск: поиск открытой информации, расшифровка встречи, черновик внутренней заметки. Здесь часто достаточно выборочной проверки.

Средний риск: коммерческое предложение, изменение карточки клиента, публикация контента, обычный расчёт маршрута или подготовка договорного документа. Здесь нужен человек перед внешним действием либо чёткий набор автоматических проверок и возможность отката. Контекст важен: маршрут опасного груза уже нельзя автоматически относить к среднему риску.

Высокий риск: решения, влияющие на деньги, здоровье, права, найм, увольнение или безопасность. Здесь человек должен не формально «быть в контуре», а иметь знания, полномочия и время, чтобы действительно изменить решение.

Кнопка согласования сама по себе не создаёт контроль. Если сотрудник механически нажимает «одобрить», ответственность есть, а проверки нет.

Хороший агент не должен видеть всё только потому, что технически может.

Для пилота лучше отдельная папка, тестовая база, ограниченный набор записей и учётная запись без лишних прав. Отправку, удаление, оплату, подписание и публикацию разумно вынести в отдельные действия с подтверждением. Секреты и ключи не должны попадать в обычный текст задания или журнал, доступный всей команде.

Это базовый принцип: возможный ущерб определяется не красотой ответа модели, а тем, что она вправе сделать после ответа.

Фраза «сделай хорошо» не проверяется. Нужен лист приёмки.

Для письма это могут быть адресат, факты, сумма, срок, тон и отсутствие неподтверждённых обещаний. Для исследования — дата источника, первичность, ссылка и явное разделение факта, расчёта и гипотезы. Для публикации — защита от дубля, правильный аккаунт, обложка, рабочие ссылки и подтверждённый публичный URL.

Критерии стоит формулировать до запуска. Иначе оператор оценивает не соответствие задаче, а собственное впечатление от уверенного текста.

Если агент действует во внешней системе, команда должна видеть:

Особенно важна защита от повторов. Тайм-аут после нажатия кнопки не означает, что действие не состоялось. Повторная отправка может создать две публикации, два письма, две заявки или два платежа. Поэтому перед критическим действием нужны уникальный идентификатор операции и защита принимающей системы от повторной обработки, а после — проверка результата по этому идентификатору, а не новый клик.

Остановка тоже должна быть реальной. Если человек видит проблему, но не может быстро отозвать доступ, остановить сценарий или вернуть предыдущую версию, он наблюдатель, а не оператор.

Нельзя поручить агенту работу «в отдел» и надеяться, что кто-нибудь заметит ошибку. У процесса должен быть конкретный владелец.

Его задача — не перечитывать бесконечно каждый символ. Он настраивает правила, проверяет выборку, разбирает сбои и обновляет инструкции. Повторяющаяся ошибка должна превращаться в новый критерий, ограничение или тест. Иначе команда каждый день вручную исправляет одно и то же, а автоматизация лишь быстрее производит брак.

Полезно смотреть не только на скорость. Я бы контролировал четыре простых показателя: долю принятых результатов, число возвратов, долю внешних действий, завершённых без ручного исправления, и количество инцидентов. Экономия времени имеет смысл только вместе с качеством и управляемостью.

Лучшие первые процессы обычно имеют понятный вход, повторяемые шаги, проверяемый результат и обратимое действие. Например: собрать открытые источники, структурировать обращения, подготовить черновик, сверить документ по чек-листу, найти расхождения в таблице.

Худшие первые процессы — там, где цель звучит расплывчато, данные чувствительны, цена ошибки высока, а действие нельзя вернуть. Не стоит начинать с самостоятельных выплат, юридически значимых обещаний, медицинских рекомендаций или кадровых решений.

И ещё одно ограничение: правила, доступность и допустимые сценарии различаются у поставщиков и меняются. Перед внедрением нужно проверять актуальные условия конкретного сервиса, требования к данным и применимое право. Обновление Anthropic — полезный ориентир, но не замена юридической и информационной проверке вашего процесса.

Рынок долго учил сотрудников писать промпты. Следующий этап — учить людей управлять действиями ИИ.

Хороший оператор не соревнуется с моделью в скорости генерации. Он превращает задачу в регламент, ограничивает полномочия, задаёт проверку, фиксирует доказательства результата и умеет остановить процесс. Поэтому, на мой взгляд, функция оператора останется востребованной даже там, где модели становятся умнее: интеллект инструмента не отменяет ответственность бизнеса.

Если хотите освоить эту работу на практических задачах, программа курса «Оператор искусственного интеллекта» находится здесь: https://komexspo.ru/aioperator