"Братва, стоп": как продавец ИИ-агентов проверяет их работу

В прошлой статье я шесть лет боялся подойти к собственному сайту, а потом починил его вместе с агентом, хотя я не программист. Закончил я её так: исполнителем теперь может быть не человек, и главной стала роль того, кто говорит «стоп».

Через месяц я сидел в зале и слушал человека, который говорит «стоп» в одном случае. Когда его агенты уже не могут ответить на письмо.

Сейчас я пишу магистерскую работу о том, как спортивные школы могут перенимать опыт работы с ИИ у других спортивных организаций, детских и взрослых. Речь об обычных российских спортшколах, где тренер между тренировками ведёт отчёты для федерации и родительский чат. Вопрос у меня приземлённый: помогает ли это и правда ли экономит время.

Поэтому я хожу туда, где этот опыт продают. В этот раз на конференцию «Как внедрить ИИ в бизнес и получить результат. Кейсы предпринимателей», секция стартапов. Один генерирует видео, другой подбирает рекламу, третий собирает коммерческие предложения в автоматическом режиме. Ещё одна команда делает инструкции для станков на заводе: пришла новая смена, ей надо быстро понять, как перенастроить станок под следующую деталь.

Запомнился один выступающий. Передаю близко к тексту.

«Я ни в чём не разбираюсь. У меня всё делают миньоны, я их так называю». В компании, по его словам, двадцать два сотрудника, все агенты, и он один. Компанию ему тоже открыли агенты: он долго жил за границей, как тут всё регистрируется, не знает. Сказал своим, они сделали. «Всё работает. Меня везде зовут».

Продаёт он ровно это. Настрою вам таких же, экспертиза больше не нужна, у агентов её больше, чем у людей, и ошибаются они меньше.

Я спросил, как он проверяет, что агенты сделали всё правильно. Ответ: «Смотрю, они там что-то обсуждают, на письмо ответить не могут. Говорю: братва, стоп. Прекращаем эту задачу».

Это и был весь фактчекинг.

Я успел задать второй вопрос: к чему, на его взгляд, всё это приведёт? К увольнениям, к замене людей? Он ответил, что вариантов два. Либо будет изобилие, либо, и это скорее всего, человечество врежется в бетонную стену.

Ещё он обещал, что миньоны освобождают время – чем человек будет занят в это свободное время, выяснить не удалось.

Уточнить, какую стену он имеет в виду и как в эту картину вписывается его собственный бизнес, я не успел – время вышло.

Рядом сидел человек, который каждому спикеру задавал один и тот же вопрос: что у вас под капотом? Внятного ответа он не получил ни разу. Самое подробное звучало так: иногда используем известные модели, а однажды ставили локально, клиенту было важно, чтобы данные не уходили наружу. Что ставили и как, не рассказали.

Тут я вспомнил разговор с хорошим другом, который делает стартапы. Он рассказывал про конференцию в Тбилиси, где выступала его подруга. Со сцены она сказала примерно так: по факту всё это обёртки над Claude, людям нужен результат, и они готовы за него платить, а делать сами никто не хочет. У друга есть своя такая обёртка: приложение, которое чистит фотографии в телефоне и он сам честно говорит: по сути это Claude, которому можно напрямую написать «вот мой телефон, разбери фотографии и делай это каждую неделю». Человек платит несколько сотен рублей в месяц за приятную оболочку и за то, чтобы не формулировать запрос самому.

В главном они оба правы– роутер тоже никто сам не паяет.

Я вышел оттуда задумчивым, слегка раздраженным и полдня крутил в голове едкий текст.

Раздражало слово «эффективность» – на конференции его повторяли так часто, что оно начало резать слух. Эффективность чего и для кого? Больница, которая сократила время приёма пациента, по отчёту станет эффективнее. Будут ли там лучше лечить, отчёт не покажет.

И раздражало, что я так и не понял, в чём ценность его стартапа, экспертиза, по его словам, не нужна ни в бухгалтерии, ни в чём-то ещё. Что тогда остаётся у него самого, кроме умения настраивать агентов? И что останется у клиента, который поверил и уволил тех, кто разбирался?

Потом я споткнулся о собственный пример.

Дома надо поставить десять светильников. Я позвал мастера. Почему? Потому что в электричестве я не разбираюсь и лезть туда не хочу. Я ровно тот клиент, который платит за отсутствие своей экспертизы. Инструкцию я прочитать могу – не хочу.

И сайт из прошлой статьи я чинил без профильного образования. Со стороны это та же история: человек без экспертизы, агенты, всё заработало.

А сегодня я сам оказался по ту сторону – друг ищет человека, который будет подбирать блогеров. Мы в шутку разбирали, как он описывает эту вакансию, и я поймал себя на мысли: разбираться в блогерах тут как будто и не нужно. Поиск можно поставить на автомат, настроить задачу в Codex и Claude, и пусть ищут. Так ему и написал: «Этот твой специалист, твой друг Codex». По сути та же маленькая компания с миньонами, только на этот раз схему придумал я.

Значит, разница в чём-то другом, но сформулировать её получилось не сразу.

Когда мастер ставит светильник и тот искрит, я знаю, кому звонить. У мастера есть квалификация, и он за неё отвечает. Когда мой агент уронил сайт, я заметил, откатил, и всё это было на мне: мой сайт и моя подпись под ответом на претензию. Человек со сцены продаёт третью конфигурацию. Квалификации нет ни у кого, и про ответственность никто ни с кем не договаривался.

Давайте доведём до конца – агент, настроенный по такой схеме, готовит налоговую декларацию для металлургического комбината. Декларация уходит с ошибкой, приходит штраф на миллионы.

- Дружище, ты не настроил своего миньона.

- Я тебе настроил агента. А бухгалтеров ты зачем уволил? Почему они не проверили?

- Так ты сам сказал, что проверять ничего не надо. Ты и сам не проверяешь.

- У меня компания маленькая, а у тебя комбинат.

Смешно, пока не откроешь договор, скорее всего, там написано, что результаты работы сервиса носят рекомендательный характер.

Станок – новая смена получила от системы настройку, настройка неверная, партия деталей уходит в брак или ломается узел. Кто отвечает? Мастер, который выставил, завод, который купил, стартап, который сделал инструкцию или компания, чья модель стоит у стартапа под капотом и про которую на конференции никто не сказал ни слова.

Тендер – инструмент заполнил документацию на закупку, в форме ошибка, заявку отклонили. Последствие тихое: упущенная выгода, которую трудно посчитать и почти невозможно с кого-то взыскать. Кто отвечает здесь: кто заполнял, кто проверял, кто подписал или кто придумал инструмент?

Спортшкола, мой случай – тренер берёт у системы готовую заявку на соревнования для группы двенадцатилетних. Заявка проходит по всем формальным полям, но в ней ребёнок, у которого истёк медицинский допуск – отвечает тренер. Юридически вопрос закрыт, по-человечески он только начинается.

Самое неприятное в этих сценариях почти не видно, чем чаще система отвечает правильно, тем реже человек проверяет. Первую неделю мастер сверяет каждую настройку, через месяц смотрит выборочно, через полгода нажимает «применить», через год уже не помнит, что там вообще можно что-то поменять.

Это нормальное и даже рациональное поведение. Проверять то, что сто раз было верно, кажется пустой тратой времени, то есть интегратор, который говорит «проверять не надо», просто ускоряет процесс, который и так идёт сам.

Я видел это на себе. В прошлой статье агент час перебирал гипотезы, а я не вмешивался, потому что каждый его отчёт выглядел осмысленным. Час – при том, что я прекрасно знал, что так бывает.

А когда что-то сломается, отвечать будет тот, кто нажал «применить». Вся цепочка над ним юридически растворится.

Готового ответа у меня нет, есть рабочая позиция. По факту ответственность в таких системах распределена между всеми звеньями, а по документам падает целиком на последнего человека. Это несправедливо и вдобавок нестабильно: люди быстро понимают, что крайние они, и начинают реагировать. Кто-то перестаёт пользоваться, кто-то перепроверяет всё вручную и теряет весь выигрыш во времени, кто-то делает вид, что проверил, кто-то тихо возвращается к бумаге. Для моего исследования это один из главных вопросов, которые я буду задавать в поле: какую форму реакции выберет тренер, если крайним окажется он.

Европа, кстати, больше двух лет обсуждала отдельную директиву об ответственности за вред от ИИ и в феврале 2025 года объявила об отзыве, потому что договориться не удалось, а летом отзыв подтвердила. Остался AI Act, где требование человеческого надзора есть, а вопрос «кто платит за ошибку» по-прежнему решают по общим правилам. Директива ЕС об ответственности за дефектную продукцию прямо относит к продукции программное обеспечение, включая ИИ, но она про дефект продукта, а не про то, кто должен был его проверить. Подпись под декларацией у нас тоже ставит человек, и модель субъектом права не становится.

Для тех, кому интересна теория: про то, что автоматизация оставляет человеку самые трудные задачи и разучивает его их решать, писала Лизанна Бейнбридж ещё в 1983 году («Ironies of Automation»). Про постепенное ослабление проверки есть обзор Парасурамана и Манцея (2010). А для человека, на которого в сложной системе сваливается вся вина, Мадлен Клэр Элиш предложила точный термин (статья 2019 года): moral crumple zone, моральная зона смятия, по аналогии с той частью кузова, которая сминается при аварии первой.

Вопрос к тем, кто продаёт настройку агентов, и к тем, кто её покупает. Что у вас написано в договоре на случай ошибки агента, именно в разделе про ответственность? Я хочу понять, где проходит черта между мной с моим сайтом и человеком с миньонами. Пока провести её у меня не получается.

полевые заметки про то, как организации (и я сам) осваивают ИИ, в канале