Smirnoff Sergei
AI

Почему 90% AI-агентов умирают в первый день продакшена (и чек-лист, чтобы ваш не умер)

Почему 90% AI-агентов умирают в первый день продакшена (и чек-лист, чтобы ваш не умер)

Волна хайпа вокруг AI-агентов нахлынула стремительно — и не менее стремительно пришла волна скептицизма. "Поиграли и забыли", "дорогая игрушка", "не работает в реальности". Знакомо? Но правда в том, что агенты уже вышли на новый уровень — они работают автономно, принимают решения без участия человека. И тут каждый призадумался: а безопасно ли это вообще?

Спойлер: безопасно, если знаете, что делаете.

Главный тезис: Без системного подхода агент — просто дорогая игрушка.

Три способа угробить AI-агента (реальные истории)

История #1: Запустили без guards — потратили $10K за ночь

Стартап из Кремниевой долины запустил AI-агента для обработки заявок клиентов. Всё работало отлично на тестах. Запустили в прод вечером в пятницу (да, классика). К утру субботы счёт от OpenAI был на $10,387.

Что пошло не так? Агент попал в бесконечный цикл размышлений. Один запрос → LLM думает → вызывает инструмент → снова думает → снова инструмент → снова думает. За 8 часов один запрос сделал 847 итераций. При средней стоимости $0.024 за итерацию... Математика жестока.

Решение: Guards — ограничение количества итераций агента. Максимум 5-10 вызовов LLM на один запрос пользователя. Всё. Простое правило спасло бы $10K.

История #2: Забыли про rate limiters — DDoS чуть не обанкротил проект

EdTech-стартап сделал AI-репетитора. Классный продукт, студенты в восторге. Через неделю после запуска кто-то написал скрипт, который слал 500 запросов в минуту к их API "для исследования".

Результат: за 6 часов сгорело $4,200 на LLM-запросах. А ещё векторная база данных легла под нагрузкой, потому что каждый запрос дёргал поиск по документам.

Решение: Rate Limiters — лимиты по пользователям. 10 запросов в минуту на пользователя. 100 запросов в час. $5 бюджета на пользователя в день. Превысил — извини, приходи завтра. Это не жадность, это здравый смысл.

История #3: Не настроили HITL — агент отправил 500 писем не тем людям

Агентство недвижимости автоматизировало общение с клиентами через AI-агента. Агент мог сам назначать встречи, отправлять информацию о квартирах, создавать заявки в CRM.

Однажды агент решил, что 500 человек из базы заинтересованы в конкретной квартире (они когда-то спрашивали про похожую). Разослал всем приглашения на просмотр. На один и тот же день. В одно и то же время.

Менеджеры провели выходные, разруливая это. Репутация пострадала. Клиенты ушли к конкурентам.

Решение: HITL (Human-in-the-Loop) — человек подтверждает критичные действия. Создать заявку? Агент спрашивает пользователя: "Всё верно?" Назначить встречу? "Подтверждаете?" Отправить письмо 500 людям? "Вы уверены?" (и правильный ответ: НЕТ).

Чек-лист для продакшена: 5 вещей, без которых агент — бомба замедленного действия

Хватит страшилок. Вот что реально нужно, чтобы агент работал, а не разорял вас:

✅ Guards — контроль содержания

Что проверяем:

  • Максимум итераций агента (5-10 вызовов LLM на запрос)
  • Максимум вызовов инструментов (не больше 3-5 на запрос)
  • Фильтрация персональных данных (имена, телефоны, паспорта не утекают)
  • Токсичность контента (агент не хамит клиентам)

Как внедрить: Большинство AI-фреймворков (LangChain, CrewAI) имеют встроенные Guards. Если нет — пишете простой счётчик итераций. 20 строк кода.

✅ Rate Limiters — контроль затрат

Что ограничиваем:

  • Запросов в минуту на пользователя (10-50)
  • Токенов на пользователя в час (100K-500K)
  • Бюджет на пользователя в день ($1-5)
  • Общий бюджет системы в день ($50-500)

Как внедрить: Redis + счётчики. Или используйте готовые решения типа Upstash Rate Limiting.

Реальные цифры: Один диалог из 5 реплик = $0.05-0.15. При 100 диалогах в день = $150-450/мес только на LLM. Лимиты = спокойный сон.

✅ HITL — контроль необратимых действий

Когда обязательно нужен:

  • Финансовые операции (перевод денег)
  • Отправка сообщений (email, SMS)
  • Изменение критичных данных (удаление записей)
  • Массовые действия (рассылка 100+ людям)

Когда не нужен:

  • Поиск информации
  • Ответы на вопросы
  • Чтение истории взаимодействий

Как внедрить: Перед выполнением действия агент возвращает пользователю: "Я собираюсь сделать X. Подтверждаете?" Кнопка "Да" / "Нет". Просто? Да. Работает? На 100%.

✅ Observability — видим каждый шаг

Что логируем:

  • Какой промпт использовался
  • Сколько токенов потрачено
  • Сколько стоил запрос
  • Какие инструменты вызывались
  • Сколько шагов сделал агент
  • Где произошла ошибка

Зачем: Когда агент косячит (а он будет), вы должны понять почему. За 2 минуты, а не за 2 часа.

Инструменты: LangSmith (платный, удобный) или Langfuse (open-source, ставите себе).

✅ Evaluation — мерим качество

Что мерим:

  • Отвечает ли агент на вопрос (релевантность)
  • Галлюцинирует ли (фактическая точность)
  • Вежлив ли (тональность)
  • Быстро ли отвечает (время ответа)

Как: Два подхода:

  1. Offline: Готовите 50-100 тестовых вопросов с эталонными ответами. Прогоняете агента, смотрите метрики.
  2. Online: Кнопка "👍 / 👎" после каждого ответа. Реальные пользователи оценивают качество.

Цель: Знать, что агент становится лучше (или хуже) с каждым обновлением.

Сколько это стоит на самом деле?

Быстрая математика для реальности:

  • Один запрос к агенту = $0.008 (LLM)
  • Агент делает 2-3 итерации = $0.024
  • 5 реплик в диалоге = $0.05-0.15
  • 100 диалогов/день = $150-450/месяц (только LLM)
  • Инфраструктура (БД, хостинг, мониторинг) = +$100-300/мес
  • Итого: $250-750/мес для небольшого проекта

Итого: чек-лист из 5 пунктов

  • [ ] Guards: Фильтрация контента и лимиты на итерации агента (5-10 макс)
  • [ ] Rate Limiters: Бюджет на пользователя
  • [ ] HITL: Подтверждение для необратимых операций
  • [ ] Observability: Логируем всё (промпты, токены, ошибки)
  • [ ] Evaluation: Тестируем качество (offline + online)

Всё остальное — технические детали. Эти 5 пунктов = разница между "работает в проде" и "$10K слили за ночь".

P.S. Без системного подхода агент — просто дорогая игрушка. С системным подходом — инструмент, который экономит время и деньги.

Если хотите глубже разобраться в production-ready агентах, понять нюансы архитектуры и научиться запускать AI-системы правильно — welcome в наш Telegram-канал. Там мы разбираем реальные кейсы, делимся практическими гайдами и честно обсуждаем, что работает, а что нет.

11