Как мы сократили ручную проверку операторов на 70%. И почему AI начал ловить все критичные ошибки
Знакомо?
Запустили AI на оценку диалогов — и он то ставит «отлично», то «провал» за один и тот же разговор. Руководители перестают верить цифрам. Проект умирает.
У нас было ровно так. Пока мы не перестали уговаривать модель «быть умнее» и не начали её жёстко привязывать к реальности.
Что было
Один большой промпт. Надежда на «магию».Результат — хаос. Доверять системе было нельзя.
Что сделали
Перестали давать модели свободу:
- Структурированный вывод вместо свободного текста
- Жёсткая валидация на бэкенде
- Сначала рубрика и правила — потом промпт
- AI только там, где он реально нужен. Всё, что можно посчитать кодом — считали кодом
Результат
На выборке в сотни тысяч диалогов система стала уверенно определять 70% диалогов так, что их можно больше не смотреть вручную.
При этом все действительно проблемные случаи агент находил на 100%.
То есть мы не просто получили «точность 70%». Мы получили возможность автоматически пропускать 70% работы и смотреть только то, что действительно требует внимания.
Почему это сработало
Потому что узкая задача + жёсткие рамки почти всегда бьют «более умную модель».
AI оставили только на то, что требует понимания контекста. Всё остальное ушло в обычный код. Стало стабильнее, дешевле и предсказуемее.
Что дальше
Система уже достаточно надёжная, чтобы двигаться к следующему шагу — подсказкам оператору в реальном времени прямо в CRM.
Если вы тоже упирались в нестабильность AI при контроле качества — напишите в комментариях, на каком этапе застряли.
А если хотите посмотреть, как это выглядит вживую — подписывайтесь. Буду показывать реальные кейсы и разборы.