AI-агент в поддержке: как RAG-бот закрыл 41% тикетов без потери CSAT

AI-агент в поддержке не заменил операторов — он их разгрузил ровно на скучные 40%, и это оказалось лучшим сценарием. Все ждали «уволим саппорт», а вышло иначе.

Мы поставили LLM-агента на первую линию в стартапе на 900 обращений в неделю. Первую версию я собрала на GPT-4o с RAG по базе знаний. Провал: агент уверенно врал про тарифы, которых нет. Клиенты злились сильнее, чем без бота.

Инсайт, которого я не ждала: проблема была не в модели, а в том, что база знаний писалась для людей, а не для retrieval. Куски текста по 3000 символов, дубли, устаревшие статьи. Модель тонула в мусоре. Починили данные — качество ответов подскочило без смены модели.

Как мы это вытащили:

1. Порезали статьи на чанки по 300–500 токенов, один смысл — один чанк.

2. Добавили жёсткое правило: нет источника в контексте — отвечай «передаю оператору», не выдумывай.

3. Завели eval-набор из 120 реальных вопросов, гоняем при каждом изменении промпта.

4. Логируем каждый ответ с оценкой оператора, раз в неделю дообучаем базу.

5. Оставили человека на всё, что про деньги и отмены.

Итог: 41% тикетов закрывает агент, CSAT не просел. А вы дали своему боту право говорить «не знаю»?