Чат-бот на миллион: как мы автоматизировали контакт-центр «Додо-пиццы»

От «соедините с императором» и «тупого бота» до полноценного помощника крупнейшей сети пиццерий в России.

Привет! Меня зовут Роман Доронин, я СЕО в EORA. С 2017 года мы помогаем бизнесу, создавая решения на основе машинного обучения. У нас накопился неплохой опыт разработки ML-сервисов для крупных клиентов, и я хотел бы им поделиться.

Этот текст об одном из самых ярких и больших проектов — автоматизации контакт-центра «Додо-пиццы». Проект стартовал в 2018 году и длится до сих пор. Благодаря нам к 2021 году компания стала экономить на обработке входящих звонков свыше 1 млн рублей в месяц, а клиенты стали меньше висеть на трубке, когда звонят в контакт-центр.

Но обо всём по порядку.

«Додо-пицца» — крупнейшая сеть пиццерий в России. По собственным данным, в России у «Додо» 577 ресторанов в 266 городах. В марте 2021 года выручка всех ресторанов сети в России превысила 2,6 млрд рублей.

Ежемесячно в российскую «Додо-пиццу» поступает около 450 тысяч звонков. В контакт-центре компании трудятся более 150 операторов. Средняя продолжительность разговора с клиентом составляет 2 минуты. По статистике «Додо», средняя загруженность операторов на линии — 80%.

Количество пиццерий растёт каждый месяц, а с ним и количество обращений. Например, в 2019 году в «Додо» поступало около 250 тысяч звонков в месяц (в 1,8 раза меньше, чем в 2021 году). Чтобы сократить время ожидания, компании приходилось нанимать ещё больше операторов.

«Додо» решили «разгрузить» операторов и автоматизировать обработку части звонков. По нашим оценкам, до 15% обращений можно было передать боту.

Мы взялись за проект с энтузиазмом. Думали, что закончим его за три месяца. В итоге на подготовку и запуск пилота ушло около года. При этом мы смогли автоматизировать лишь малую часть звонков.

Мы начали с узкой категории обращений — от пользователей, которые уже оформили заказ. Это 15-20% от общего числа. Нужно было автоматизировать обработку следующих тем:

— Жалоба на опоздание курьера;
— Желание изменить способ оплаты;
— Изменение способа доставки;
— Отмена заказа;
— Жалоба на качество продукции.

На одной из презентаций проекта руководитель ИТ-направления контакт-центра «Додо пиццы» Алексей Медведовский признался: «Мы понятия не имели, что такое чат-боты и искусственный интеллект». А мы в EORA понятия не имели, как работает контакт-центр «Додо»: как они классифицируют запросы, как распределяют звонки между операторами, какие скрипты для операторов есть.

Для подготовки мы использовали всю справочную информацию «Додо»: инструкции для операторов, записи телефонных разговоров, внутреннюю статистику. Компания дала нам в помощь сотрудников контакт-центра — кто, как не они, знали, как общаются клиенты. Но оказалось, что для создания хорошего сервиса этого мало.

Как работает голосовой бот? Когда человек начинает говорить, сервис Speech-to-text превращает его речь в текст. С помощью технологии процессинга и обработки естественного языка система (в случае с «Додо» наша собственная разработка на платформе zDialog) извлекает из текста смысл и понимает, чего человек хочет. Затем система формулирует текстовый ответ и с помощью технологии синтеза речи озвучивает его пользователю.

Чтобы бот понимал, о чём говорят клиенты «Додо», нужно было обучить его на словах и фразах из мира пиццерии. Нам требовался большой массив специфических текстов. Готовой базы, конечно, не было.

Чтобы собрать данные, мы могли пойти двумя путями. Первый — транскрибировать телефонные звонки и вручную сделать разметку текста, чтобы на ней обучать сервис. Второй вариант — попросить опытных операторов написать типовые запросы клиентов по ключевым словам, чтобы использовать для обучения парафразы.

Вариант с разметкой текста вручную был долгим, сложным и дорогим. Мы пошли вторым путём. Это была ошибка.

— Во-первых, парафраз оказалось недостаточно. Одну и ту же просьбу можно сформулировать десятком разных предложений. Вариантов ответа было намного больше, чем могли придумать операторы.

— Во-вторых, с ботами люди общаются иначе. Меняется структура предложения, иногда появляется снисходительный или заигрывающий тон.

Технология распознавания речи, которой мы пользовались, оказалась несовершенной и не была адаптирована под информационный домен пиццерий. В результате бот делал ошибки в 46% случаев. К примеру, вместо «Соедините с оператором» он однажды услышал «Соедините с императором».

Для распознавания речи мы использовали платформу Yandex SpeechKit. Чтобы получить релевантную базу данных для обучения бота, мы рискнули запустить сервис «сырым», чтобы собрать логи переговоров человека и бота.

В первые месяцы голосовой бот приносил мало пользы. По словам Алексея Медведовского, фидбек от пользователей пошёл практически сразу же после запуска. Было много негатива: мол, что у вас за тупой робот. Но чем больше диалогов «человек — бот» у нас появлялось, тем лучше работала программа.

Мы мониторили статистику бота в режиме реального времени в собственном сервисе аналитики OneDash. Нас интересовали, в частности, процент нераспознанных сообщений, доля переводов на оператора, активность клиентов в течение дня, стабильность работы системы и другие.

В рамках пилотного запуска система обработала десятки тысяч звонков. 900 из них мы сами прослушали, проанализировали и разметили (чтобы бот распознавал «свою» тему обращения). Бот научился понимать тему обращения в 67% случаев. В 65% случаев он успешно отрабатывал весь сценарий беседы: понимал тему обращения и помогал пользователю решить проблему (либо переключал на оператора).

Статистика голосового бота «Додо» в рамках пилотного запуска:

— 887 звонков попало в тестовую выборку при обучении бота.
— 398 звонков отвечали тематике, которую он мог обработать.
— Темы 267 звонков бот определил правильно.
— 259 разговоров бот успешно провёл и завершил.

«Додо» были удовлетворены результатами пилота. Они решили расширить спектр тем, которые обрабатывает бот. Сейчас он учится отвечать на вопросы о минимальной сумме заказа; времени приготовления пиццы; графике работы пиццерии; наличии детской комнаты; даёт адреса пиццерий «Додо».

Чтобы быстрее улучшать систему, мы решили переводить на бота все звонки. Схема работы сервиса выглядела так:

— Если пользователь уже сделал заказ, бот первым делом сообщает статус заказа или доставки.

— После этого, а также если пользователь ещё не сделал заказ, бот спрашивает, чем может помочь. Включается распознавание речи.

— Если ответ относится к теме, которую бот знает, он обрабатывает звонок сам. Если нет — переключает на оператора. Реплику пользователя бот записывает: мы её используем для дообучения бота при добавлении новых сценариев.

У «Додо-пиццы» есть собственная информационная система — Dodo IS. Наше решение интегрировано с этой системой. Сервис использует данные Dodo IS, когда звонит клиент «Додо». К примеру, бот «знает», что человек заказывал, какой выбрал способ оплаты.

Чтобы ускорить разработку и отладку сервиса, мы перешли на собственные инструменты и платформы. У нас в EORA есть собственный фреймворк для создания сложных диалоговых систем — zDialog. Он расширяет функциональные возможности ботов благодаря простому языку описания сценариев и легкой интеграции моделей машинного обучения.

Например, нам нужно было настроить оповещение о работе пиццерий в выходные и праздники. Как правило, компании записывают звуковую дорожку и включают/выключают её вручную. Наш бот включает и отключает это сообщение самостоятельно, в привязке к календарю.

За полтора года после запуска мы собрали огромный массив текстов диалогов, и наш бот сильно «поумнел». Точность распознавания темы обращения выросла с 67% до 85%. Доля обращений, которые отвечают тематике бота и которые он успешно отрабатывает без переключения на оператора, увеличилась с 65% до 80%.

По нашим подсчётам, наш бот на момент запуска экономил компании около 500 тысяч рублей в месяц. К концу 2020 года автоматизация снизила траты «Додо-пиццы» более чем на 1 млн рублей в месяц. Эта цифра постоянно растёт.

Сейчас бот принимает все входящие звонки. 35% он обрабатывает без перевода на оператора, то есть на бота приходится около 150 тысяч звонков в месяц. «Додо» планируют довести эту долю до 40%.

Мы научим бота распознавать фразы, описывающие проблемы в заказе. Такие звонки будут перенаправлять на отдельную группу операторов — тех, кто хорошо отрабатывает негатив.

В этом нам поможет другой сервис, который также создавался для «Додо». В 2020 году мы сделали классификатор отзывов в мобильном приложении «Додо-пиццы». Мы исходили из того, что чтобы постоянно читать и фильтровать отзывы, нужно много людей. Бот справляется с этой задачей в одиночку.

Наш классификатор научился распознавать свыше 180 типов жалоб и определять, какие продукты упомянуты в отзыве (название пиццы, додстер, салат, соус). В каждом отзыве бот проставлял соответствующие теги и отправлял его в тикетную систему «Додо». Если хотите почитать о классификаторе, мы рассказали о нём на своём сайте.

Работая со звонками, бот будет передавать эту информацию оператору — чтобы тот задавал меньше вопросов клиенту и сразу решал проблему. «Додо» решили, что бот может принимать жалобу, а вот отрабатывать её всё же лучше человеку.

«Додо-пицца» — большая компания со сложной структурой и сотнями разных бизнес-процессов. Несмотря на это, нам легко с ними работать. Мы вместе экспериментируем, ошибаемся и, главное, находим эффективные решения. Задачи нетривиальные, и наш клиент понимает связанные с этим риски.

Мы давно следили за «Додо», нам очень импонировала их открытость. Самое приятное в этой истории — то, что «изнутри» они оказались такими же дружелюбными и простыми, какими выглядят в медиа.

Для нас проект «Додо» — это множество сложных и амбициозных задач. У компании много данных, с которыми интересно было бы поработать. Думаю, в будущем мы сможем вместе создавать ещё более крутые системы и сервисы.

Это моя первая статья на vc.ru. Если о чем-то рассказал недостаточно подробно — пишите, с удовольствием поясню. И вообще буду рад вопросам о проекте и вообще обо всём, что мы делаем!

#чатботы #додопицца #автоматизация