Как не разозлить пользователя чат-ботом. Измеряем эффективность Леонида

Разбираемся, почему чат-бот должен стать полноправным членом сервиса клиентской поддержки, если вы хотите, чтобы он экономил деньги и не бесил пользователей.

Больше года назад мы задумались, как увеличить индекс удовлетворённости клиентов «Ленты Онлайн», обращения которых обрабатывает чат-бот. Итак, знакомьтесь: чат-бот Леонид, который закрывает четверть обращений.

Что умеет Леонид

1. Предоставлять информацию о заказах, программе лояльности.

2. Снимать нагрузку в пиковые периоды. С пятницы по воскресенье, а также по праздникам чат-бот закрывает 25–30% обращений, тогда как с понедельника по четверг — 20–24%. В периоды пиковой нагрузки чат-бот становится полноценным инструментом для операторов поддержки. Он отвечает на самые популярные вопросы.

3. Сокращать финансовую нагрузку на ФОТ клиентской поддержки. Один диалог, закрытый чат-ботом, обходится почти в два раза дешевле, чем закрытый оператором поддержки.

4. Полноправно участвовать в работе клиентской поддержки. Перед ним стоят те же задачи, что и перед оператором. Если мы даём новые скрипты или новые правила, то Леонид получает их одновременно с операторами. Поэтому Леонид производит впечатление настоящего сотрудника. У него нет роботизированного или специального Tone of Voice.

5. Отвечать быстро. У оператора несколько открытых чатов, и для получения информации нужно посмотреть в разные источники. У бота информация подтягивается автоматически по API. Он может одновременно отвечать в нескольких диалогах и передавать подтянутую информацию из базы данных. Таким образом, AHT (среднее время обработки чата) бота в два раза меньше, чем AHT оператора.

Прежде всего мы считаем автоматизированным диалог, который закрыт чат-ботом без помощи оператора, даже если бот получил некоторую вспомогательную информацию для поддержки.

Сегодня автоматизация Леонида составляет 25% от всех обращений, поступающих в поддержку. Когда мы только внедряли чат-бот, целевая автоматизация составляла 10% от всех обращений. Но оказалось, что есть несколько факторов, которые влияли и влияют на автоматизацию. Это популярные динамические сценарии и сценарий «Статус заказа».

Как повысить автоматизацию

1. Работать над теми сценариями, которые приносят 80% автоматизации. Лучше всего у бота получается закрывать такие обращения:

1) где находится и в каком статусе заказ (34%);

2) редактировать заказ (17%);

3) вопросы по программам лояльности (9%);

4) стоимость сборки и доставки (5%);

Чат-бот закрывает и нецелевые обращения, например, сценарий «Благодарность» (5%). Так он разгружает работу операторов: им не нужно тратить время на простые задачи, появляется время на решение действительно сложных кейсов.

2. Развивать динамические сценарии.

Самые популярные сценарии — динамические: «Статус заказа» (34%), «Добавить или удалить товары в заказ» (13%), «Стоимость доставки» (4%), «Почему не применился промокод» (4%), «Изменить время доставки» (3%), «Отмена заказа» (2%). Поэтому back-end-разработка API — ключевая составляющая в автоматизации. Ключом для API может быть номер заказа или идентификатор (id) клиента. По API бот подтягивает из базы данных информацию, которая интересует клиента. Это может быть время доставки заказа, стоимость доставки, номер курьера, размер скидки, ссылка на чек, ссылка на отслеживание курьера и т. д.

Если оставить только статичные сценарии, то, по нашим прогнозам, чат-бот закрывал бы не 25% обращений, а лишь 5–8%.

3. Самый популярный сценарий не должен переводить на оператора.

В нашем случае самый популярный сценарий — «Статус заказа». Ответ чат-бота должен настолько удовлетворять клиента, чтобы у него не осталось потребности в подключении оператора в диалог.

Сначала в сценарии «Статус заказа» Леонид отвечал так: «Актуальный статус заказа можете узнать в приложении «Лента Онлайн» в разделе «Профиль» во вкладке «История заказов», нажав на номер нужного вам заказа».

Когда мы поняли, что сценарий приносит большую долю автоматизации, решили стараться не переводить чаты по этой теме на оператора, применив API. Тогда чат-бот начал отвечать клиентам так:

Клиент: «Где мой заказ?»

Чат-бот: «Напишите, пожалуйста, номер заказа для уточнения информации».

Клиент: «0123».

Чат-бот: «Ваш заказ в пути. Приедет 00:01».

Леонид какое-то время работал по такому сценарию, пока мы не заметили, что многие клиенты не вводят номер заказа при просьбе чат-бота. Тогда мы попросили разработку сделать такое API, которое по id клиента доставало бы информацию о заказе, если он авторизован на сайте или в приложении:

Клиент: «Где мой заказ?»

Чат-бот Леонид: «Ваш заказ сейчас собирается. Приедет к вам в 00:01»

С таким ответом бота увеличилась автоматизация. Но этот ответ был некорректен, когда речь шла о задержках. Когда доставка задерживалась, чат-бот в 15:30 отвечал, что заказ приедет в 15:00. Тогда мы внедрили проверку: если доставка заказа задерживается, то чат-бот отвечает так: «Ваш заказ уже едет и будет доставлен, но с задержкой. Сделаем всё, что от нас зависит, чтобы привезти заказ как можно скорее».

Так мы закрывали много обращений, но клиентов такой ответ не устраивал. Мы решили внедрить в ответ бота информацию о курьере: «Ваш заказ в пути. Приедет к вам в 00:01. Номер курьера: +7 (999) ХХХ-ХХ-ХХ. Отследить местоположение курьера можете по ссылке».

Сейчас доля сценария «Статус заказа» составляет 34% от всех сценариев чат-бота. Средняя оценка «Статуса заказа» — 4,1. Это значит, что самый популярный сценарий автоматизирован количественно и качественно.

За февраль 2024 года CSAT (индекс удовлетворённости клиента) чат-бота Леонида составляет 3,82. CSAT оператора поддержки — 4,4.

Как улучшить показатель Индекса удовлетворённости клиентов (CSAT)

1. Корректно сформулировать просьбу об обратной связи.

Важно корректно запросить обратную связь у клиента. Например, чат-бот Леонид спрашивает: «Я ответил на ваш вопрос?», а не «Я вам помог?» или «Мой ответ был полезен?». Если бот сообщает, что доставка задерживается, а затем спрашивает: «Я вам помог?», то такая формулировка обратной связи может вызвать негатив.

2. Увеличить количество клиентов, оставляющих обратную связь.

Мы сформулировали гипотезу: чем больше клиентов поставят оценку, тем выше она будет.

Мы предположили, что клиенты, получившие удовлетворительный ответ, закрывают чат и не ставят оценку. А когда клиенты недовольны ответом, они ставят низкую оценку. Таким образом, наша цель — собрать непоставленные высокие оценки.

Чем больше людей поставят оценку, даже если она низкая, тем быстрее мы сможем узнать наши слабые места и поправить их. Мы предполагали, что, если обработаем чаты с низкими оценками, показатель CSAT чат-бота станет выше.

60 секунд

Бот даёт ответ, и чем быстрее он просит оценить его ответ, тем выше вероятность, что клиент поставит оценку. Мы поставили таймер на 60 секунд. Через 60 секунд после своего ответа бот задаёт вопрос: «Я ответил на ваш вопрос?» и предлагает 3 варианта ответа: «Да», «Нет», «Задать другой вопрос». Если клиент нажмёт «Да», то появятся пять сердечек. Нажимая на сердечки, клиент оценивает удовлетворительность ответа. Если раньше обратную связь оставляли 8–10% клиентов, то сейчас — 10–15%.

10 минут

Если клиент не нажимает ни на одну из трёх кнопок («Да», «Нет», «Задать другой вопрос»), то через 10 минут в чате появляется опросник с пятью сердечками и просьбой оценить ответ бота. Опросник не исчезает даже спустя какое-то время — он остаётся в чате.

3. Обозначить, когда обратная связь не требуется.

Просьбу оценить ответ бот отправляет, если последняя фраза в чате давала какую-либо информацию для клиента. Если же последней фразой бота был запрос информации от клиента («Напишите номер заказа/ промокод», «Нажмите на одну из кнопок»), то бот закрывает чат через 60 минут с сообщением, что мы ждём от клиента обратную связь и оценку диалога сейчас можно пропустить.

4. Работать с низкими оценками.

Клиент поставил «1»

Если клиент нажал на «Да, бот ответил на мой вопрос», перед ним появились пять сердечек для оценки ответа, и клиент нажал на одно сердечко, то мы подключаем оператора. Естественно, оценка «1» засчитывается боту.

«Бот не ответил на мой вопрос»

Если клиент нажал на кнопку «Нет, бот не ответил на мой вопрос», то бот подключает оператора и не выводит опросник с просьбой оценить ответ, что вполне логично.

5. Точечно проработать сценарии с низкими оценками.

Мы делаем рейтинг сценариев по оценкам клиентов. Так мы можем увидеть самые проблемные сценарии. По таблице видно, что сценарий с самой низкой оценкой — «Начисление баллов». Важно учитывать не только оценку, но и количество поставленных оценок. Сценарий «Начисление баллов» получил только одну оценку, это непрезентативная выборка. Поэтому нас больше интересуют сценарии с низкими оценками и с достаточным количеством оценок. В нашем случае это сценарии «Промокод не работает» и «Стоимость доставки».

Оценка сценария «Промокод не работает» — 3,4. Количество клиентов, поставивших оценку, — 22, что является более репрезентативной выборкой. В этом случае можем поменять скрипт ответа чат-бота. Возможно, пересмотрим промокоды, которые мы отправляем. Возможно, у нас неясные условия промокодов для клиента или мы отправляем недействительные. Всё это мы берём в проработку совместно с операторами поддержки.

По результатам 2023 года Леонид окупил себя и, более того, сэкономил. Один диалог, закрытый чат-ботом, стоит почти в два раза дешевле, чем закрытый оператором поддержки. А если считать по закрытым счетам, то содержание чат-бота обходится дешевле оператора в три раза.

Что в итоге

1. Чат-бот обрабатывает четверть обращений, поступивших в канал клиентской поддержки. Диалог считается закрытым чат-ботом, если он закрыт без помощи оператора поддержки.

2. Можно разными способами улучшать показатель Индекса удовлетворённости клиента (CSAT). Это может быть и точечная работа над скриптами бота, и правильный сбор обратной связи от клиентов.

3. Чат-бот Леонид с экономической точки зрения выгоден для бизнеса. Один диалог, обрабатываемый чат-ботом, стоит в два раза дешевле, чем тот же диалог, обработанный оператором клиентской поддержки.