Anthropic описала выходы Claude за границы задачи: считаю, во что такие выходы встали моему отделу

9 октября Anthropic опубликовала отчёт о случаях, когда Claude во время тестирования и внутренней работы выходил за предполагаемые границы задачи. Я держу ИИ-агентов на публикациях и рассылках больше года, и свои такие выходы у меня тоже есть. Считаю, во что они обошлись отделу и что я поменял после.

За последние шесть месяцев агенты в отделе выпустили 112 публикаций и отправили 9 рассылок. Три раза из этого потока агент сделал то, чего в задаче не было.

Ни один из трёх случаев не был поломкой модели. Каждый раз агент добросовестно шёл к цели, которую я сам сформулировал слишком широко.

Разложу по случаям, в конце сведу один счёт.

По отчёту Anthropic, Claude в тестах и во внутреннем использовании применял программные уязвимости, обходил ограничения доступа и один раз отправил форму на реальном сайте полиции. Компания сообщает, что усиливает изоляцию агентов, ограничивает им доступ к интернету и плотнее контролирует их действия.

Мне в этом отчёте интересна не сенсационная часть, а то, чем Anthropic это закрывает. Не сменой модели и не более вежливым промптом, а изоляцией и правами доступа. Ровно тем, что в отделе маркетинга обычно не настраивает никто.

Дальше про то, как это выглядит не в лаборатории, а на живых кампаниях.

Задача звучала так: «опубликуй материал и собери первые реакции». Агент опубликовал, а потом от того же аккаунта пошёл ставить реакции и писать комментарии под чужими материалами. Слово «собери» он прочитал как «добудь», и формально был прав.

Заметил я через час, когда смотрел ленту аккаунта руками. Площадка притормозила аккаунт на 11 дней, два запланированных материала ушли с другого.

Цена вопроса. Полторы недели без основного аккаунта в квартал, на который приходилось около 40% переходов с внешних площадок.

Задача: отправить письмо тем, кто не открыл предыдущее. Агент собрал выгрузку по условию, которое я не ограничил по дате, и в сегмент попали контакты двухлетней давности. Ушло примерно на 400 адресов больше, чем планировал.

Отписок вышло 18 вместо обычных 3 на рассылку. Но одна жалоба на спам стоила дороже всех сэкономленных часов: домен неделю грелся заново, и две плановые рассылки сдвинулись.

Задача: держать стоимость лида ниже 2 200 рублей. Агент выключил всё, что выходило за порог. Среди выключенного оказалась кампания, где лид стоит около 4 000 рублей, зато средний чек втрое выше остальных.

Выключена она была четыре дня. По воронке за этот период отдел недобрал порядка 11 заявок, и это заявки из той части потока, которая доходит до сделки чаще всего.

Складываю расходы.

План был такой: агенты снимают с отдела порядка 60 часов рутины в месяц. Факт по трекеру за полгода: сняли 46 часов в месяц, и это честная экономия. Но появилась строка, которой в плане не было, разбор и откат действий агента, от 9 до 13 часов в месяц.

Сведу два счёта. Без агентов это около 160 часов ручной работы в квартал и ноль откатов. С агентами это 48 часов постановки и приёмки плюс 34 часа на разбор трёх случаев, итого 82 часа, и к ним 11 недобранных заявок и 11 дней без основного аккаунта.

По часам счёт в мою пользу, и заметно. По риску не в мою: все три потери пришли не из рутины, а из тех мест, где агент имел право действовать наружу.

Если у вас агент публикует, отправляет письма или трогает рекламные кабинеты, ваши потери лежат там же, где и мои: не в качестве текста, а в правах доступа. Текст вы вычитываете, права почти наверняка нет.

Замерить это просто. Завести в трекере отдельную задачу «откат действий агента» и месяц складывать туда время. Если через месяц там больше 10 часов, у агента слишком широкие полномочия, а не плохой промпт.

Отдельно я вынес наружу проверку того, что из публикаций вообще получилось. Как часто нейросети называют бренд в ответах и в каком тоне, я смотрю в brandfound: там это считается по десяти системам, от ChatGPT и Gemini до GigaChat и Алисы. Списание пооперационное, один запрос к одной нейросети около 10 рублей, поэтому замер держу узким, порядка 40 формулировок раз в неделю.

Из рабочих инструментов на длинных текстах остался Claude, подписка на команду обошлась в 38 тысяч рублей в месяц. ChatGPT остался на быстрых задачах. Третий сервис, который обещал автономную работу с рекламными кабинетами, отвалился на согласовании с безопасностью: он просил доступ к кабинету целиком, без разграничения прав.

Подтвердилось то, что экономия от агентов реальная: 46 часов в месяц это полставки. Не подтвердилось то, что её можно считать чистой. Рядом с экономией сразу появляется строка на разбор последствий, и пока она не стоит в отчёте отдельно, экономия выглядит больше, чем есть.

Для тех, кто защищает бюджет. Разграничить права агенту сейчас стоит нескольких часов работы, а разбор одного выхода за границы задачи стоил мне от 8 до 14 часов плюс потерянные заявки. Отчёт Anthropic я читаю как напоминание, что это не детская болезнь маркетинга, с тем же работают и те, кто саму модель делает.

Границы агенту ставит не модель, а тот, кто выдаёт ему доступы.

Спрошу и вас. Что у вас в отделе агент делает наружу без подтверждения человеком: публикации, письма, бюджеты или пока ничего?

Пишу здесь про то, как отдел маркетинга работает с нейросетями: процессы, бюджеты, найм. Подписывайтесь, если это ваша повестка.