Попросил ИИ-агента починить упавшие тесты в проекте на 40 модулей: сколько это стоило в рублях и времени

Что значит «агент», а не «чат»

Чат отвечает текстом: вы копируете код туда-сюда. Агент работает прямо в проекте: читает файлы, составляет план, вносит правки, запускает тесты и смотрит на результат. Разница примерно как между советом по телефону и коллегой, севшим за ваш компьютер. Именно поэтому нужны правила.

Правила, без которых я не запускаю

1. Одна чёткая цель одной фразой. Например: «после обновления зависимостей упали тесты, сделай так, чтобы все прошли».
2. Тесты трогать нельзя. Самый частый способ «починить» красный CI, это поправить тест, а не код. Условие должно быть явным, а проверка механической: агент не должен иметь права менять каталог с тестами.
3. Проверка, которой можно верить. Тесты или линтер. Агент гоняет их сам, пока не станет зелено. Без такой проверки результат придётся читать целиком.
4. Лимит шагов и времени. Если агент ходит по кругу, он должен остановиться и сказать об этом, а не молча жечь время и деньги.
5. Весь результат в виде diff. Принимаете вы, а не агент.

Как проходит работа

Агент сначала читает структуру проекта и падающие тесты, потом формулирует общую причину. В проектах на десятки модулей она обычно одна: изменилась сигнатура функции или формат данных в обновлённой зависимости. Дальше он правит места использования, запускает тесты, смотрит на следующую ошибку и повторяет. Вам остаётся читать краткие отчёты по шагам и смотреть итоговый diff.

Главный выигрыш не в скорости набора кода, а в том, что вы перестаёте быть «циклом запуск-правка-запуск». Ваше время уходит на проверку результата, а не на механику.

Что может пойти не так

  • Лишние правки. Агент любит заодно «улучшить» соседний код или переформатировать файл. В diff это видно сразу, и такие правки просто откатываются.

  • Правка под тест. Если хоть где-то тесты доступны для записи, агент может подогнать их. Поэтому защита каталога с тестами, а не просьба «пожалуйста, не трогай».

  • Зависший прогон. Долгий тест без лимита времени способен заблокировать всю сессию. Таймаут на команду обязателен.

  • Потеря нити на длинной задаче. Чем больше модулей и файлов, тем важнее, чтобы агент вёл список сделанного и не пропускал пункты. Я проверяю это счётом: сколько модулей затронуто и сколько должно быть.

Деньги и учёт

Для российской команды важная деталь не только цена задачи, но и способ оплаты. Когда сервис принимает рубли и не требует VPN или зарубежной карты, затраты проходят обычным порядком: счёт, акт, отчётность. Для фрилансера и небольшой студии это экономит больше времени, чем кажется. Стоимость задачи полезно считать заранее по тарифу и записывать рядом с оценкой «руками».

Выводы для тимлида

1. Агент хорош на рутине с чёткой проверкой: тесты, линтер, типизация. Без проверки результат нужно читать глазами целиком.
2. Требуйте diff и защищайте тесты технически, а не просьбой.
3. Ставьте лимиты на шаги, время и стоимость до запуска, а не после.
4. Считайте не «часы разработчика», а «часы до зелёного CI» и время на ревью результата.
5. Начинайте с задач, откат которых стоит одну команду git, и расширяйте доверие постепенно.

Мы используем для таких задач Syntro, десктопного агента для программирования, но схема выше работает с любым инструментом: важны правила, а не бренд.

Как у вас устроено ревью результата, который принёс агент: смотрите весь diff или выборочно? Напишите в комментариях, интересно сравнить практики.

11