Доверили AI-боту все вопросы из чата: что из этого вышло, как реагировали клиенты и сотрудники
Спойлер: AI-бот от Carrot quest самостоятельно решает 40% всех вопросов из чата и заменяет двух операторов. Рассказали, как настраивали бота и за счет чего сократили количество неверных ответов в 20 раз.
AI-бот от Carrot quest — это чат-бот на основе искусственного интеллекта. AI-бот обучается за 1 день на базе знаний, формирует ответ за 1 минуту и консультирует пользователей круглосуточно.
Контекст. Руководитель отдела сопровождения клиентов в компании BotHelp, Татьяна Карпикова, обратилась в Carrot quest, чтобы внедрить AI-бота на сайт. Дальше Татьяна расскажет о своем опыте использования AI-бота:
- почему решили подключить,
- как реагировали на бота клиенты,
- как изменилась работа операторов после внедрения бота,
- сколько получается экономить каждый месяц с помощью бота.
О компании BotHelp
BotHelp — это удобная платформа для рассылок, автоворонок и чат-ботов в мессенджерах и соцсетях. Целевая аудитория — специалисты, которые используют инструменты BotHelp для автоматизации онлайн-продаж.
Мы подключили Carrot quest в 2022 году. Инструменты сервиса помогают собирать и прогревать лидов, а также отвечать на вопросы пользователей.
Почему решили подключить AI-бота
База клиентов BotHelp увеличивается, и количество запросов в отдел сопровождения растет. Мы хотели автоматизировать ответы на простые повторяющиеся вопросы пользователей. Таких вопросов около 30–40%.
С помощью AI-бота мы планировали:
- сэкономить на найме новых сотрудников,
- ускорить ответы пользователям,
- сфокусировать операторов на решении более сложных вопросов.
Почему выбрали AI-бота от Carrot quest
Мы рассматривали вариант AI-бота, который будет написан специально под нас. Но отказались, потому что не устроили стоимость и сроки такого решения: 2–3 млн рублей на старте проекта плюс ежемесячная подписка, длительность внедрения около 3 месяцев.
Выбрали готовое решение от Carrot quest, потому что это:
- дешевле — мы можем 4,5 года использовать AI-бота Carrot quest на сумму, которая требовалась для разработки уникального бота под нас;
- быстрее — AI-бот обучается за 1 день на базе знаний;
- удобнее — не пришлось привлекать программистов, все вопросы решали через поддержку Carrot quest и с помощью настроек AI-бота в личном кабинете;
- надежнее — не нужна была интеграция AI-бота с чатом, потому что все инструменты находятся внутри одного сервиса.
Дальше расскажу про этапы внедрения AI-бота, которые мы прошли:
1. Проверили качество ответов бота с помощью тестовой выгрузки.
2. Улучшили качество ответов: доработали базу знаний и докрутили настройки в личном кабинете.
3. Протестировали AI-бота на одной ветке welcome-бота.
4. Перевели на AI-бота все вопросы из чата.
Проверили качество ответов бота
Вместе с командой Carrot quest мы обучили AI-бота на основе нашей базы знаний, которая опубликована в Carrot quest. А затем попросили бота ответить на частые вопросы из чата и выгрузили его ответы.
В первой выгрузке почти 50% ответов AI-бота были неверными. Но с каждой итерацией количество некорректных ответов уменьшалось. Сейчас бот дает около 2,5% неверных ответов на 4 000 вопросов, для нас это приемлемый показатель.
Улучшили качество ответов AI-бота
Чтобы в 20 раз сократить количество некорректных ответов мы доработали базу знаний и скорректировали tone of voice.
Доработка базы знаний. AI-бот показывает источники данных, которые он использовал для ответа. Мы отредактировали статьи из базы знаний, на основе которых он формировал неверные ответы. Также AI-бот не может считывать информацию со скриншотов, поэтому мы добавили текстовые описания в статьи.
AI‑бот обучается на данных из базы знаний конкретной компании, поэтому дает ответы с той же точностью, что и операторы поддержки.
Скорректировали tone of voice. Изначально бот давал ответы неформально, но нам это не подходило, потому что бот мог не поздороваться с пользователем или отвечать панибратски. В настройках бота изменили стиль общения на нейтральный: бот стал отвечать дружелюбно, но вежливо.
Определились, как бот будет обращаться к пользователям:
Наши пользователи привыкли получать развернутые ответы, поэтому в настройках установили подходящую нам длину ответов бота:
В первых итерациях было много неточных ответов, потому что бот был слишком «креативным»: он по-своему интерпретировал данные из базы знаний, если не мог найти нужный ответ. Поэтому мы уменьшили его «креативность» в настройках. Теперь он отвечает в соответствии с базой знаний, а если не нашел информацию, то зовет оператора.
Вместе с командой Carrot quest доработали бота так, чтобы он не использовал слово «проблема» в своих ответах. Хотели, чтобы бот отвечал более позитивно.
Протестировали AI-бота, но одной ветке welcome-бота
Чтобы проверить работу AI-бота в деле, мы добавили его на одну из веток welcome-бота. Выбрали вопрос про оплату и закрывающие документы, потому что этот раздел в базе знаний был максимально подробно описан.
Мы не знали, как наши пользователи отнесутся к общению с AI-ботом, потому что они привыкли к живому общению с операторами. Но решили быть честными с клиентами и сразу предупреждали, что отвечать им будет AI-бот.
Результаты теста AI-бота. Негатива от пользователей не получили. Наоборот, клиенты были рады, что могут получать ответы круглосуточно, не приходится ждать, когда операторы начнут работать. На некорректные ответы бота реагировали спокойно, потому что бот сразу предлагал позвать оператора, если не находил нужную информацию.
Нас устроили ответы AI-бота на одной ветке welcome-бота, поэтому мы решили сделать его оператором первой линии поддержки и переводить на него все вопросы из чата.
Перевели на AI-бота все вопросы из чата
На все вопросы из чата сначала отвечает AI-бот, а если не находит нужную информацию, то зовет оператора.
Мы используем генеративную модель искусственного интеллекта, она понимает свободные формулировки. Поэтому пользователь может написать вопрос так, как ему удобно, AI-бот поймет его и найдет ответ в базе знаний.
Существует интентная модель — она работает по заданным паттернам. Это означает, что для каждого ответа интетной модели нужно прописать возможные варианты вопроса от пользователей. Если вопрос будет сформулирован не так, как он прописан, то модель его не поймет.
Бот самостоятельно решает около 40% вопросов из чата:
Уровень удовлетворенности пользователей не снизился после внедрения AI-бота. Средняя оценка качества работы отдела сопровождения — 4,8, в июне 2024 года AI-бот получил оценку 4,83.
Перед внедрением AI-бота операторы переживали, что он будет некорректно отвечать. Мы объясняли, что если они помогут доработать бота, он освободит их от однотипных вопросов. Поэтому операторы активно участвовали и продолжают участвовать в обучении бота: находят неверные ответы, предлагают доработать статьи из базы знаний.
Сейчас AI-бот самостоятельно решает практически все повторяющиеся вопросы. Операторы занимаются сложными кейсами, где нужен творческий подход. Это помогает не выгорать от рутины.
С AI-ботом улучшилось качество работы операторов, поскольку теперь мы можем больше времени уделять сложным кейсам, прорабатываем их до логического завершения. Также в освободившееся время помогаем младшим коллегам и отправляем оповещения клиентам по другим задачам через Carrot quest.
Как оплачиваем AI-бота: система тарификации
Стоимость подписки зависит от количества диалогов, которые попадают на AI-бота.
Диалог — это неограниченное количество сообщений в рамках одного разговора в чате. Например, пользователь задает вопрос, AI-бот отвечает, пока у пользователя не останется вопросов. Если после установленного тайм-аута пользователь не вернулся с вопросом, диалог считается закрытым — это один диалог. Если бот не нашел ответ и позвал оператора, это тоже считается диалогом. Минимальный пакет — 1 000 диалогов.
Нам удобна такая система тарификации, потому что не нужно высчитывать, на какое количество вопросов ответил бот в каждом диалоге.
Результаты
AI-бот самостоятельно решает простые повторяющиеся вопросы, поэтому операторы уделяют больше времени сложным кейсам. Уровень удовлетворенности вырос, потому что пользователи быстрее получают ответы на свои вопросы, даже в нерабочее время операторов.
Сервис BotHelp — довольно сложный продукт. У нас ушло около 2 месяцев на то, чтобы AI-бот корректно решал 40% вопросов. С более простым продуктом обучение, скорее всего, займет меньше времени.
Подробнее об AI-боте и его возможностях здесь.