Чат-бот на миллион: как мы автоматизировали контакт-центр «Додо-пиццы»

От «соедините с императором» и «тупого бота» до полноценного помощника крупнейшей сети пиццерий в России.

Привет! Меня зовут Роман Доронин, я СЕО в EORA. С 2017 года мы помогаем бизнесу, создавая решения на основе машинного обучения. У нас накопился неплохой опыт разработки ML-сервисов для крупных клиентов, и я хотел бы им поделиться.

Этот текст об одном из самых ярких и больших проектов — автоматизации контакт-центра «Додо-пиццы». Проект стартовал в 2018 году и длится до сих пор. Благодаря нам к 2021 году компания стала экономить на обработке входящих звонков свыше 1 млн рублей в месяц, а клиенты стали меньше висеть на трубке, когда звонят в контакт-центр.

Но обо всём по порядку.

Ежемесячно в контакт-центр «Додо-пиццы» поступает 450 тысяч звонков  EORA

Исходные данные. «Додо» в цифрах

«Додо-пицца» — крупнейшая сеть пиццерий в России. По собственным данным, в России у «Додо» 577 ресторанов в 266 городах. В марте 2021 года выручка всех ресторанов сети в России превысила 2,6 млрд рублей.

Ежемесячно в российскую «Додо-пиццу» поступает около 450 тысяч звонков. В контакт-центре компании трудятся более 150 операторов. Средняя продолжительность разговора с клиентом составляет 2 минуты. По статистике «Додо», средняя загруженность операторов на линии — 80%.

Количество пиццерий растёт каждый месяц, а с ним и количество обращений. Например, в 2019 году в «Додо» поступало около 250 тысяч звонков в месяц (в 1,8 раза меньше, чем в 2021 году). Чтобы сократить время ожидания, компании приходилось нанимать ещё больше операторов.

«Додо» решили «разгрузить» операторов и автоматизировать обработку части звонков. По нашим оценкам, до 15% обращений можно было передать боту.

Весь контакт-центр «Додо-пиццы» работает на удалёнке. «Додо-пицца»

Большие ожидания

Мы взялись за проект с энтузиазмом. Думали, что закончим его за три месяца. В итоге на подготовку и запуск пилота ушло около года. При этом мы смогли автоматизировать лишь малую часть звонков.

Мы начали с узкой категории обращений — от пользователей, которые уже оформили заказ. Это 15-20% от общего числа. Нужно было автоматизировать обработку следующих тем:

— Жалоба на опоздание курьера;
— Желание изменить способ оплаты;
— Изменение способа доставки;
— Отмена заказа;
— Жалоба на качество продукции.

На одной из презентаций проекта руководитель ИТ-направления контакт-центра «Додо пиццы» Алексей Медведовский признался: «Мы понятия не имели, что такое чат-боты и искусственный интеллект». А мы в EORA понятия не имели, как работает контакт-центр «Додо»: как они классифицируют запросы, как распределяют звонки между операторами, какие скрипты для операторов есть.

Для подготовки мы использовали всю справочную информацию «Додо»: инструкции для операторов, записи телефонных разговоров, внутреннюю статистику. Компания дала нам в помощь сотрудников контакт-центра — кто, как не они, знали, как общаются клиенты. Но оказалось, что для создания хорошего сервиса этого мало.

«Соедините с императором»

Как работает голосовой бот? Когда человек начинает говорить, сервис Speech-to-text превращает его речь в текст. С помощью технологии процессинга и обработки естественного языка система (в случае с «Додо» наша собственная разработка на платформе zDialog) извлекает из текста смысл и понимает, чего человек хочет. Затем система формулирует текстовый ответ и с помощью технологии синтеза речи озвучивает его пользователю.

Так работает голосовой бот. EORA

Чтобы бот понимал, о чём говорят клиенты «Додо», нужно было обучить его на словах и фразах из мира пиццерии. Нам требовался большой массив специфических текстов. Готовой базы, конечно, не было.

Чтобы собрать данные, мы могли пойти двумя путями. Первый — транскрибировать телефонные звонки и вручную сделать разметку текста, чтобы на ней обучать сервис. Второй вариант — попросить опытных операторов написать типовые запросы клиентов по ключевым словам, чтобы использовать для обучения парафразы.

Вариант с разметкой текста вручную был долгим, сложным и дорогим. Мы пошли вторым путём. Это была ошибка.

— Во-первых, парафраз оказалось недостаточно. Одну и ту же просьбу можно сформулировать десятком разных предложений. Вариантов ответа было намного больше, чем могли придумать операторы.

— Во-вторых, с ботами люди общаются иначе. Меняется структура предложения, иногда появляется снисходительный или заигрывающий тон.

Технология распознавания речи, которой мы пользовались, оказалась несовершенной и не была адаптирована под информационный домен пиццерий. В результате бот делал ошибки в 46% случаев. К примеру, вместо «Соедините с оператором» он однажды услышал «Соедините с императором».

Первый блин

Для распознавания речи мы использовали платформу Yandex SpeechKit. Чтобы получить релевантную базу данных для обучения бота, мы рискнули запустить сервис «сырым», чтобы собрать логи переговоров человека и бота.

В первые месяцы голосовой бот приносил мало пользы. По словам Алексея Медведовского, фидбек от пользователей пошёл практически сразу же после запуска. Было много негатива: мол, что у вас за тупой робот. Но чем больше диалогов «человек — бот» у нас появлялось, тем лучше работала программа.

Мы мониторили статистику бота в режиме реального времени в собственном сервисе аналитики OneDash. Нас интересовали, в частности, процент нераспознанных сообщений, доля переводов на оператора, активность клиентов в течение дня, стабильность работы системы и другие.

Анализируя логи звонков, мы обнаружили двух пользователей, которые оставили боту около 1000 пустых сообщений. Что это было, до сих пор остаётся загадкой.

В рамках пилотного запуска система обработала десятки тысяч звонков. 900 из них мы сами прослушали, проанализировали и разметили (чтобы бот распознавал «свою» тему обращения). Бот научился понимать тему обращения в 67% случаев. В 65% случаев он успешно отрабатывал весь сценарий беседы: понимал тему обращения и помогал пользователю решить проблему (либо переключал на оператора).

Статистика голосового бота «Додо» в рамках пилотного запуска:

887 звонков попало в тестовую выборку при обучении бота.
398 звонков отвечали тематике, которую он мог обработать.
— Темы 267 звонков бот определил правильно.
259 разговоров бот успешно провёл и завершил.

Второй блин

«Додо» были удовлетворены результатами пилота. Они решили расширить спектр тем, которые обрабатывает бот. Сейчас он учится отвечать на вопросы о минимальной сумме заказа; времени приготовления пиццы; графике работы пиццерии; наличии детской комнаты; даёт адреса пиццерий «Додо».

Чтобы быстрее улучшать систему, мы решили переводить на бота все звонки. Схема работы сервиса выглядела так:

— Если пользователь уже сделал заказ, бот первым делом сообщает статус заказа или доставки.

— После этого, а также если пользователь ещё не сделал заказ, бот спрашивает, чем может помочь. Включается распознавание речи.

— Если ответ относится к теме, которую бот знает, он обрабатывает звонок сам. Если нет — переключает на оператора. Реплику пользователя бот записывает: мы её используем для дообучения бота при добавлении новых сценариев.

У «Додо-пиццы» есть собственная информационная система — Dodo IS. Наше решение интегрировано с этой системой. Сервис использует данные Dodo IS, когда звонит клиент «Додо». К примеру, бот «знает», что человек заказывал, какой выбрал способ оплаты.

Чтобы ускорить разработку и отладку сервиса, мы перешли на собственные инструменты и платформы. У нас в EORA есть собственный фреймворк для создания сложных диалоговых систем — zDialog. Он расширяет функциональные возможности ботов благодаря простому языку описания сценариев и легкой интеграции моделей машинного обучения.

Например, нам нужно было настроить оповещение о работе пиццерий в выходные и праздники. Как правило, компании записывают звуковую дорожку и включают/выключают её вручную. Наш бот включает и отключает это сообщение самостоятельно, в привязке к календарю.

А где миллион-то?

За полтора года после запуска мы собрали огромный массив текстов диалогов, и наш бот сильно «поумнел». Точность распознавания темы обращения выросла с 67% до 85%. Доля обращений, которые отвечают тематике бота и которые он успешно отрабатывает без переключения на оператора, увеличилась с 65% до 80%.

Самые свежие данные: ваш бот распознаёт тему в 85% случаев. Не знаю, как вы это сделали, но это офигенный результат!

Алексей Медведовский, Руководитель ИТ-направления контакт-центра «Додо-пиццы»

По нашим подсчётам, наш бот на момент запуска экономил компании около 500 тысяч рублей в месяц. К концу 2020 года автоматизация снизила траты «Додо-пиццы» более чем на 1 млн рублей в месяц. Эта цифра постоянно растёт.

Сейчас бот принимает все входящие звонки. 35% он обрабатывает без перевода на оператора, то есть на бота приходится около 150 тысяч звонков в месяц. «Додо» планируют довести эту долю до 40%.

Мы научим бота распознавать фразы, описывающие проблемы в заказе. Такие звонки будут перенаправлять на отдельную группу операторов — тех, кто хорошо отрабатывает негатив.

В этом нам поможет другой сервис, который также создавался для «Додо». В 2020 году мы сделали классификатор отзывов в мобильном приложении «Додо-пиццы». Мы исходили из того, что чтобы постоянно читать и фильтровать отзывы, нужно много людей. Бот справляется с этой задачей в одиночку.

Наш классификатор научился распознавать свыше 180 типов жалоб и определять, какие продукты упомянуты в отзыве (название пиццы, додстер, салат, соус). В каждом отзыве бот проставлял соответствующие теги и отправлял его в тикетную систему «Додо». Если хотите почитать о классификаторе, мы рассказали о нём на своём сайте.

Работая со звонками, бот будет передавать эту информацию оператору — чтобы тот задавал меньше вопросов клиенту и сразу решал проблему. «Додо» решили, что бот может принимать жалобу, а вот отрабатывать её всё же лучше человеку.

Снимаем видео про проект для «Додо». Если интересно, вот что получилось. EORA

To be continued

«Додо-пицца» — большая компания со сложной структурой и сотнями разных бизнес-процессов. Несмотря на это, нам легко с ними работать. Мы вместе экспериментируем, ошибаемся и, главное, находим эффективные решения. Задачи нетривиальные, и наш клиент понимает связанные с этим риски.

Мы давно следили за «Додо», нам очень импонировала их открытость. Самое приятное в этой истории — то, что «изнутри» они оказались такими же дружелюбными и простыми, какими выглядят в медиа.

Для нас проект «Додо» — это множество сложных и амбициозных задач. У компании много данных, с которыми интересно было бы поработать. Думаю, в будущем мы сможем вместе создавать ещё более крутые системы и сервисы.

Это моя первая статья на vc.ru. Если о чем-то рассказал недостаточно подробно — пишите, с удовольствием поясню. И вообще буду рад вопросам о проекте и вообще обо всём, что мы делаем!

0
30 комментариев
Написать комментарий...
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Doronin Roman

Робот обычно активируется в определенных сценариях, когда заказ уже создан. В такие моменты звонят, когда что-то нужно, например изменить способ оплаты или узнать где курьер - и робот делает это эффективнее человека 

Еще благодаря роботу вам не приходится висеть на линии в ожидании оператора

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Георгий Карасёв

Колхозная логика

Ответить
Развернуть ветку
Доронин Роман
Автор

Почему?

Ответить
Развернуть ветку
Stepan Ustinov

Круто! А расскажите побольше про OneDash

Ответить
Развернуть ветку
Sergey

Привет! это наш сервис аналитики для чатботов. Позволяет из коробки следить за всеми критичными метриками, кластеризировать сообщения для дообучения бота и поиска его слабых мест и еще много полезного))

У нас есть бесплатный тариф, где можно попробовать всё самому здесь: https://app.onedash.cc/

Ответить
Развернуть ветку
Алексей Шерченков

Я для своего бота в телеге юзал, смотрел в какие интенты заходят и нераспознанные сообщения. Но там вообще дофига всего есть, мне не надо было))
Есть библиотека для питона, я через нее подрубил

Ответить
Развернуть ветку
Eugene Yuryev

Маркетолог доды, перелогинься.

Ответить
Развернуть ветку
Аккаунт отморожен

«Мы понятия не имели, что такое чат-боты и искусственный интеллект»
<><><><><><><><>
Якобы «IT-компания»,  в которой больше сотни разрабов🤣

Ответить
Развернуть ветку
Доронин Роман
Автор

Машинное обучение - очень отдельная часть IT

Ответить
Развернуть ветку
Доронин Роман
Автор

Кстати, про этот проект у нас есть видео, если лень читать:

https://youtu.be/kREA0FbpeUs

Ответить
Развернуть ветку
zelenov aleksey

Очень люблю Додо пиццу, не знал что у них такой крутой чатбот

Ответить
Развернуть ветку
Doronin Roman

Робот живет в голосовом канале, но в будущем возможна и работа в чатах

Ответить
Развернуть ветку
Theodoro Karalenka

А зачем тогда в заголовке про "чат-бот"?

Ответить
Развернуть ветку
Анастасия Козлова

Последнее время действительно ровно работает 

Ответить
Развернуть ветку
Doronin Roman

Система улучшается на регулярной основе + сейчас технологии нашего партнера из Яндекса позволяют ускорить скорость ответа, за счет быстрого распознавания и быстрого синтеза речи

Ответить
Развернуть ветку
Kirill Dranovsky

Роман с командой молодцы.
Увы, сама Додо пицца на вкус по-прежнему ужасна

Ответить
Развернуть ветку
Lexx Andr

Ну, не везде. Заметил что качество пиццы отличается от города к городу. И почему-то в маленьких городах оно выше. Пробовал Додо в Таганроге - шикарно. В Питере - ну вообще ничего примечательного

Ответить
Развернуть ветку
Black Jack

В Питере — специально сравнивал: «Додо» ничем не лучше, чем «Два берега», «Оллис» и «Достаевский». А за тот оверпрайс, что они просят, можно заказать пиццу по итальянскому рецепту в Cafe Italia или аналогичных, например.

Ответить
Развернуть ветку
Eugene Yuryev

Да и владелец — русофоб.

Ответить
Развернуть ветку
Lexx Andr

Роман, спасибо за статью! Интересно, а экономия в миллион получилось с учётом затрат на ваши услуги? Или оплата ваших услуг не входила в расчет экономии?)

Ответить
Развернуть ветку
Доронин Роман
Автор

Да, экономия с учетом нашей работы и поддержки. 
На самом деле она на текущий момент значительно выше в чистом выражении + мы не учитываем расходы на оптимизацию HR, потому что на масштабировании не нужно расширять штат

Ответить
Развернуть ветку
Игорь Маркелов

«Для подготовки мы использовали...записи телефонных разговоров» — в соглашении прописано, что аудиозапись с колл-центром может быть передана посторонним людям без согласия собеседника? Или это не тот случай?

Ответить
Развернуть ветку
Doronin Roman

Да, система предупреждает, что все разговоры записываются и могут быть использованы

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Andrés Díaz Coty

These can be the same robots used on sites like http://swingua.com The use of AI is on the rise.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
An Ar

неужели челикам влом самим испечь пицуху? самое простое блюдо на свете. раскатать тесто, намазать оливковым маслом, томат пастой, положить что есть - колбаса, бекон, оливки, засыпать тертым сыром и поставить в духовку на 15 минут. цена вопроса 100-200р. и по вкусу самая лучшая будит.

Ответить
Развернуть ветку
Доронин Роман
Автор

Иногда влом 🥴

Ответить
Развернуть ветку
27 комментариев
Раскрывать всегда