ИИ-агент молча игнорировал мои инструкции восемь недель. Как я это нашёл и как проверять свои
Я собираю себе команду ИИ-агентов. Они ведут задачи, пишут и проверяют документы, отчитываются. Чем больше работы я им отдавал, тем больше появлялось правил: как обращаться с чужими проектами, что проверить перед выкладкой на сайт, куда класть файлы. Правила лежат отдельными файлами и подключаются к агенту, когда он работает в нужной папке.
В сентябре я решил проверить их все подряд. Два правила оказались мёртвыми: в адресе папки, на которую они должны были реагировать, была ошибка в один символ. Создал я их в конце июля. Восемь недель агент работал без них.
Почему это не всплыло само
ИИ-агент не сообщает, что какое-то правило до него не дошло. Он работает с тем контекстом, который получил, уверенно и без жалоб. Отсутствие правила не даёт ни ошибки, ни предупреждения.
А у меня ещё и ничего не сломалось: те же требования я раньше продублировал в общей инструкции, и агент следовал им оттуда. Подстраховка спасла работу и заодно спрятала поломку.
Сделайте у себя: прогон инструкций за пять шагов
Подходит для инструкций в ChatGPT, Claude, для системного промпта бота и для правил агентов в любом редакторе.
- Выпишите правила списком. По одному требованию в строке. Если требование не помещается в строку, в нём несколько правил.
- Для каждого придумайте проверочный случай. Запрос или ситуацию, в которой правило обязано сработать. Правило «отвечай на русском» — задайте вопрос по-английски. Правило «перед публикацией проверь ссылки» — дайте текст с битой ссылкой.
- Прогоните и запишите результат. Сработало, не сработало, сработало частично. Смотрите на поведение, текст инструкции уже прочитан.
- Проверьте, что правило вообще доходит. Если правила подключаются по условию — к папке, к типу файла, к команде, — создайте это условие и спросите агента, какие правила он сейчас видит. Именно здесь были мои две ошибки.
- Найдите дубли. Правило, записанное в двух местах, может быть мёртвым в одном из них. Удалите дубль или проверьте оба места отдельно.
Прогон показывает состояние на сегодня: после обновления модели, смены инструмента или переезда папок его стоит повторить.
То же самое с людьми
Когда я разобрался с агентами, стало понятно, что механика не про ИИ. Регламент отдела продаж устроен так же. Его написали, подписали, на планёрке кивнули. Жалоб нет — значит, работает. Только жалоб нет и тогда, когда регламент лежит в папке: сотрудник, как и агент, не приходит сказать, что пункт не применяет.
Проверяется тем же приёмом. Правило «пропущенную заявку перезваниваем в течение часа» — оставьте заявку сами, с чужого номера, и засеките время. Правило «скидка выше порога — через руководителя» — выгрузите такие сделки за месяц и найдите согласование по каждой. Всё, что так проверить нельзя, держится на дисциплине, и об этом стоит знать заранее.
Итог
Инструкция, которую прочитали глазами, всегда выглядит работающей — и для агента, и для отдела. Узнать, работает ли она, можно только одним способом: подать на вход случай, который она обязана поймать.
Чек-лист прогона для регламента отдела — семь шагов, как отделить проверяемые правила от тех, что держатся на дисциплине, — лежит в моём Telegram-канале: https://t.me/by_ridzel
Напишите в комментариях одно правило из вашей инструкции для ИИ или из регламента отдела — предложу проверочный случай, на котором его стоит прогнать.