AI в клиентском сервисе: как прокачать чат-бота с LLM?
За последние десятилетия чат-боты прошли путь от простых сценарных ботов до сложных систем на основе LLM. В этой статье мы сравнили боты на базе GenAI с классическими и рассказали о преимуществах и ограничениях ботов на генеративках. В качестве бонуса делимся гайдом для тех, кто хочет перевести свои боты на LLM.
От простых скриптов к нейросетям
По данным агентства Data Insight, к началу 2025 года 65% крупных компаний в России уже внедрили чат-ботов для поддержки клиентов. Это помогло снизить нагрузку на колл-центры на 30–50% и сократить расходы на обслуживание.
Все начиналось со сценарных ботов с классификаторами, которые подходят для выполнения конкретных, рутинных и чётко определённых задач.
Отличный пример сценарного решения — чат-бот с добрым именем Катюша для мобильного приложения одного из самых популярных банков в России. Бот закрывал на первых тестах только 12% диалогов, а после улучшения логики и функциональности, дошёл до 60%. Сейчас чат-бот обрабатывает более 1 млн обращений в год, разгружая сотрудников клиентской поддержки.
Классические решения были и остаются надёжным и эффективным инструментом автоматизации работы с клиентами. Но и у них есть недостатки — трудности в разработке и поддержке гибких сценариев и высокие затраты на поддержание актуальности данных.
Всё изменилось на рубеже 2022-2023, когда LLM научились вести разговор почти как настоящий человек. В отличие от классических решений такие чат-боты не были ограничены заранее прописанными сценариями, научились определять смысловую окраску текста и различали пассивную агрессию, сарказм и радость. Чат-боты с генеративным AI стали не просто трендом, а обязательным элементом эффективного взаимодействия с клиентами.
Это продемонстрировал наш опыт разработки бота на LLM для компании КНАУФ. После подключения AI к сценарному чат-боту количество обрабатываемых вопросов увеличилось с 50 до 4 000, время на их обработку сократилось на 50%, а точность ответов достигла 89%. К тому же, повысилось и качество взаимодействия: бот начал общаться как живой сотрудник техподдержки.
Преимущества ботов на LLM перед сценарными ботами
1. Повышенная чувствительность к тонкостям языка
Современные LLM способны понимать и обрабатывать естественный язык на уровне человека, благодаря чему боты на их основе способны использовать разные формулировки, в отличие от сценарных ботов с заранее прописанными ответами.
2. Возможность работы с внутренними базами знаний
RAG-подход объединяет большие языковые модели (LLM) с механизмами поиска информации, позволяя им обращаться к базам данных, документам и другим хранилищам. Это повышает точность и релевантность ответов.
Также с помощью RAG LLM может использовать корпоративные знания (технические характеристики, рекомендации, отзывы) и давать персонализированные советы. Без RAG ответы получаются более общими и менее полезными.
При создании классических ботов необходимо превращать данные в вопросно-ответные пары. Сейчас всё проще. Например, наша платформа Jay Knowledge Hub позволяет загружать и использовать документы в изначальном варианте.
3. Сокращение объёма ресурсов на создание ботов
LLM-модели умнее: боту достаточно указать сферу, область запроса и объяснить, как правильно реагировать на вопросы. Основная часть логики решения исполняется в LLM, а время на дообучение сокращается.
К тому же упрощается процесс разработки там, где важна мультиязычность. LLM-боты поддерживают множество языков, а значит нет необходимости в реализации отдельных решений для каждого из них.
4. Уменьшенная вероятность ошибок и более точное понимание вопросов
LLM-боты обучены на огромных объемах текстов, благодаря чему лучше понимают контекст. Это помогает более точно выявлять намерения пользователя и минимизировать ошибки в ответах. Столкнуться с «галлюцинациями», конечно, можно, однако это решается с помощью грамотного промптинга и специальных архитектур агентов.
Ограничения ботов с генеративным AI
1. Необходимость периодического включения человека
Особенно когда речь идет об эмоциях клиента. Ни один алгоритм не сможет заменить тёплый человеческий контакт в критические моменты.
2. Вероятность передачи личной информации и чувствительных данных
При использовании облачных LLM компании должны гарантировать защиту личной информации пользователей при работе с ботами.
3. Выбор между облачным или on-premise решениями
Облачное решение ускорит запуск проекта и снизит затраты, но требует учёта рисков передачи данных. Для on-premise понадобятся большие затраты и ресурсы, однако оно позволит лучше защитить данные.
4. Нет гарантии отсутствия галлюцинаций
При тестировании ботов важно тщательно проверять сценарии, особенно те, которые касаются корпоративной политики, финансов, безопасности жизни или соответствия законодательным требованиям. Такие кейсы лучше делать в виде сценариев с чётким алгоритмом действий.
5. Потребность в квалифицированных кадрах
Нужны люди, которые смогут создавать LLM-ботов в соответствии с требованиями заказчика. К тому же нужно закладывать время на эксперименты, иначе результат может не соответствовать ожиданиям.
Гибридное решение
Летом 2024 года мы провели эксперимент, чтобы убедиться, что новое решение чат-ботов на LLM лучше сценарной версии. За основу взяли кейс нашего клиента и переделали его из классической реализации в решение на LLM: заменили сценарный FAQ на LLM-базу знаний и сравнили два бота с одинаковым функционалом, но разной начинкой.
Для тестирования готового решения собрали фокус-группу, чтобы оценить скорость выдачи ответа, актуальность и достоверность информации, «красоту» ответов, проактивность и доброжелательность бота, а также его умение управлять контекстом диалога и отсутствие технических ошибок.
Генеративное решение оказалось выигрышнее и успешно прошло проверку на сохранение контекста и понимания общих вопросов. Однако были и критерии, которые занизили его показатели: скорость и стабильность LLM-бота оценены на 3.8 из 5, а достоверность — на 3.7. Классический бот лучше справился с навигацией и лаконичностью, тогда как LLM-версия была излишне многословна и менее чётко описывала функционал.
Так мы пришли к идее комбинировать классический и LLM-подходы: использовать код для упрощения навигации, а LLM — для нестандартных ситуаций без чёткого сценария. Но важно понимать, что точечные вызовы к LLM из сценария не дают нам возможность пользоваться всей гибкостью моделей. Поэтому мы планируем интегрировать в сценарных ботов не только LLM, но и мультиагентные системы.
Есть ещё несколько причин комбинировать подходы, и вот некоторые из них:
LLM может допускать ошибки, и в некоторых ситуациях, таких как обсуждение табуированных тем, требуется полная определённость. Поэтому на входе иногда всё ещё необходимо использовать классический алгоритм.
Возможность использования наших наработок с генеративным искусственным интеллектом с платформы разговорного AI для классических чат-ботов, например подключение каналов, аналитика, телефония с перебиванием.
Использование LLM может быть затратным. Для некоторых задач, таких как приветствие или прощальные сообщения, стандартные сценарные подходы могут оказаться более экономически эффективными.
«В будущем ожидается усиление тренда на переход к мультиагентным схемам с LLM в промышленных условиях. Архитектура мультиагентных чат-ботов может быть разнообразной, но зачастую включает главного мета-агента, который распределяет задачи среди других агентов.
Основное преимущество такого подхода в том, что агенты способны работать без строго заданных, предопределённых путей, так что они могут принимать решения и адаптироваться под запрос, что выгодно отличает его от детерминированных сценариев старых чат-ботов»
Важно не забывать, что подходы в области внедрения LLM ещё развиваются и формируются, поэтому нужно двигаться итеративно, собирать обратную связь и следить за метриками для улучшения решений!