80 операторов, 40 000 звонков, 100% контроль, +3% к выручке и +0 супервайзеров: как прокачать колл-центр нейросетью

Если в вашей сети медцентров работают операторы колл-центра, то вы знаете, что проконтролировать всех не получится: даже на 10% записей разговоров уйдет много часов супервайзера (контроль качества). Добавьте сюда 80 человек, 40 000 звонков в месяц, личные отношения между операторами и супервайзерами, — и получите плохо управляемую машину со скачущими показателями эффективности.

Так совпало, что совсем недавно HBR написал отличную статью о том, как энтерпрайзы, имеющие огромные массивы данных, используют AI для усиления продаж и решают такие же проблемы, которые мы умеем решать с небольшим количеством данных и для SMB. 🤟🏾

Этот кейс не об интерпрайс-клиенте с морем данных и кучей денег на эксперименты. Он о среднем бизнесе с data driven подходом, который считает деньги и требует от инвестиций стопроцентной окупаемости. Как мы получили ROI 328% уже на этапе пилота, приглашаем вас узнать из кейса.

Пока NDA и все дела, но кое-что рассказать можем.

Действующие лица

Заказчик — сеть МЦ с филиалами в Москве, Санкт-Петербурге и Великом Новгороде. Разработчик — SalesAI. Наш сервис понимает контекст разговора, оценивает диалоги операторов и выгружает аналитику руководителям.

Точка А

Личные отношения между сотрудниками мешают оценивать качество звонков, прослушиваются только 0,5% разговоров, разброс конверсии — от 10 до 20%.

Мы начали работу с МЦ в июле 2022 года. На тот момент у ребят было 80 операторов, которые принимали 40 000 звонков в месяц, и 5 супервайзеров для контроля.

Скрипт оператора состоял из двух частей: жестко регламентированной части и фреймворка. В регламенте прописаны конкретные вопросы: например, при записи на МРТ уточняют вес. Фреймворк состоял из этапов: собрать анамнез, проконсультировать, обработать возражения… Формулировки подбирал оператор по ситуации. От жесткого скрипта отказались, потому что он отрицательно влиял на конверсию.

Гипотезы

Чем больше первичных посещений клиники, тем больше МЦ продаст услуг с высокой маржинальностью.

Если мы увеличим количество посещений и продаж маржинальных услуг, прибыль начнет расти нелинейно.

Конверсия из звонка в посещение зависит от разговора оператора. Если оператор пройдет 10 этапов фреймворка, конверсия кратно вырастет. При этом оператор не должен превращаться в машину, которая зачитывает вопросы по жесткому скрипту: человечность, раппорт, эмпатия — конкурентные преимущества МЦ.

Проблемы

Прослушивать и обучать 80 операторов — сложно и дорого. Один менеджер стоит минимум — 100 000 рублей в месяц. Вся команда — 500 000. Без учета оверхедов и накладных расходов. При этом ребята успевают выборочно прослушать 0,5% записей. Ну конечно, никто не даст денег, чтобы это масштабировать.

Нет дашборда со статистикой ошибок, а значит невозможно отследить, где конкретно ошибаются все операторы и отдельно взятый.

Конверсия из звонка в запись на приём прыгает от месяца к месяцу. Выручка, соответственно, тоже.

Требовалась система, которая автоматически оценивает все звонки и дает объективную оценку по всем разговорам.

Что хотели получить от SalesAI

  • Понять, как работают операторы. От SalesAI хотели получить анализ каждого разговора каждого оператора по 10, а затем и 20 параметрам. Каждый звонок оценивается по 10 (20) балльной системе и на нашей внутренней BI системе мы выводим дашборды с цифрами по каждому оператору, на котором показывается правильно ли он поздоровался, собрал анамнез, проконсультировал, обработал возражения, записал на приём, предложил допуслуги, проговорил детали записи и тд. Это позволяет оценить каждого оператора по этим 20 параметрам и максимально быстро произвести правильное корректирующее воздействие, прямо в конце дня. Система работает в реалтайме.
  • Сэкономить на контроле. Сократить время на анализ звонков и не раздувать штат в отделе контроля качества.
  • Заложить фундамент. Создать минимальный продукт, на который можно наращивать нужные фичи, например, онлайн-подсказки операторам во время разговора с клиентом или автозаполнение карточки в CRM по итогам созвона.

Ну а конечная цель всего этого мероприятия, максимально эффективно влиять на конверсию продаж, без раздувания бюджета.

Пилот

В пилотной версии ребята из МЦ хотели видеть, проговаривают ли операторы важные для конверсии 10 фраз/предложений/этапов.

Упрощенная схема интеграции SalesAI

Как мы определяли, что говорит оператор

На каждом этапе фреймворка операторы произносят похожие фразы, которые отличаются разными переменными, в зависимости от контекста. Чтобы определить, какие именно, мы присвоили этим фразам лейблы. Например, «Здравствуйте, вы позвонили в клинику МЦ, — это лейбл «Приветствие». «Записала вас на 22 ноября», — лейбл «Запись пациента». Презентация подарка по акции, — лейбл «Промо».

Задача лейблов — отследить, какие стадии забывает проходить оператор, и как это влияет на конверсию. Например, очень важно проконтролировать вес пициента, потому что машина, которая обслуживает пациентов более 120 кг только одна и надо записывать только на нее. Очень важно проговорить ковидные ограничения. И важно сделать презентацию оборудования, потому что оно реально новое и крутое, поэтому должно отбивать свою амортизацию максимально быстро.

Размеченных данных для такой бизнес-задачи нет, поэтому разметку делали сами. Так мы разделили фразы оператора на 10 обязательных лейблов:

  • представился и узнал имя
  • собрал анамнез
  • проконсультировал перед посещением
  • обработал возражения
  • назвал противопоказания
  • предложил доп услуги
  • записал на приём
  • сказал про стоимость услуги
  • проговорил детали записи на приём
  • сделал презентацию оборудования.
SalesAI определил лейбл «Приветствие»
Оператор задал обязательный вопрос на этапе сбора противопоказаний к МРТ, SalesAI определил лейбл «Противопоказания» с вероятностью 0,939

Сложность обработки живой русской речи

В английском языке для расшифровки текста можно использовать язык регулярных выражений. Например, мы можем научить программу распознавать порядок слов в предложении или сказать: «Найди мне все предложения, которые начинаются на слово “записал”».

В нашем случае у этого подхода есть четыре минуса:

  • в русском языке порядок слов может быть любым: «Записал вас на десятое число» и «На десятое число вас записал»;
  • собеседники используют междометия, англицизмы и сленг, что засоряет результаты обработки;
  • если оператор использует близкие по смыслу выражения, система путается в лейблах;
  • язык регулярных выражений проверяет текст по символам, поэтому такие системы очень медленные.

Учитывая все минусы, мы использовали методы обработки естественного языка и рекуррентные нейронные сети — LSTM.

Коротко о том, как SalesAI понимает контекст. Допустим, оператор сказал о противопоказаниях: «Перед МРТ брюшной полости не ешьте ничего шесть часов, то есть с девяти утра». Чтобы понять эту фразу, SalesAI не просто ищет по ключевым словам, а запоминает и учитывает предыдущие фразы в разговоре.

Если бы SalesAI искал только по ключевым словам, то присвоил бы неверный лейбл «Запись на прием».

Тут надо немного объяснить, что все решения Речевой аналитики первого поколения работают по ключевым словам. Поэтому вылавливают мат и требуют головняка с семантическим ядром. Да и стоят как самолет. РА 2.0 работает по контексту. То есть распознает смыслы.

Для обучения нам хватило всего 100 звонков

Раньше, чтобы нейронка научилась точно определять лейблы, необходимо было разметить тысячи звонков и скормить их нейронной сети. Но у нас не было ни времени, ни такого огромного количества ресурсов, ни желания боттлнечить из-за этого. Поэтому нашим датасаентистам пришлось поломать голову, как выкручиваться. За счет использования экспериментальной технологии, для обучения первых 10 лейблов, нам хватило всего 100 хороших звонков. В процессе разметки мы вынуждены были заодно оценить качество работы штатных супервайзеров компании. Наши разметчики обратили внимание заказчика на несоответствие реальных лейблов оценкам в чек-листе. То есть, лейбла на самом деле в разговоре не было, а в чек-листе супервайзера он стоял. Когда ребята из МЦ раскрутили эту историю, оказалось, что между некоторыми супервизорами и операторами возникли неформальные отношения, в результате, по понятным причинам, им завышали оценки, которые влияют на мотивацию… Случайно нашли еще одно преимущество нейросетей перед человеком).

Люди и время

На разработку, обучение и отладку ушло два месяца. С нашей стороны на проекте работало 5-10 человек и со стороны заказчика - трое. Если бы не затупы на первом этапе с разметкой, сделали бы гораздо быстрее.

Плюс пришлось очень много делать доработок на бэке, чтобы появилась интеграция с IP-телефонией и разными сервисами клиента. И конечно, на этапах отладки ловили кучу багов и делали перенастройки, чтобы работало все в онлайне как часы.

Следующие пилоты идут уже гораздо быстрее.

Результаты МЦ спустя три месяца

  • У МЦ появилась система, которая понимает контекст разговора и оценивает все диалоги. Если раньше супервайзеры выборочно отслеживали до 0,5% звонков, то теперь под контролем 100%. Результаты диалогов с разными фильтрами выводятся на дашборд и дают нам огромное количество данных для принятия управленческих решений.
  • До внедрения конверсия в запись на приём прыгала с 10% до 20%, теперь держится на уровне 20%. А для заказчика каждый процент - это миллионы руб в месяц. Наша следующая цель вырастить ее до 25% за ближайшие 3 месяца. В среднем, за время пилота конверсия уже увеличилась на 3%. Это дало ROI в размере 328% еще только на этапе пилота. Вот как работают нейросети.
  • Было опасение, что сотрудники начнут жаловаться на некорректную работу системы и возникнет отторжение, но этого не произошло. Первая причина — точность определения фраз. Вторая — МЦ использует аналитику, чтобы обучить оператора, а не наказать.
  • Сейчас у МЦ работает несколько сайтов со сквозной аналитикой. Когда мы объединим источники трафика, конверсии и аналитику звонков, то сможем увидеть каналы рекламы, которые не приносят деньги и более эффективно управлять пользовательским путем на основе данных.

Что в планах

Мы планируем развивать систему и дальше. В ближайших итерациях добавим подсказки для операторов в реальном времени и научим SalesAI определять настроение клиента. Короче, будем делать все, чтобы увеличить конверсию у клиента и принимать решения на основе данных.

0
68 комментариев
Написать комментарий...
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Роман Магдаленко
Автор

а так можно было? блин!
а если серьезно: вы так делали? вот так вот, чтобы неделю слушать звонки, отмечать каждый лейбл в чек-листе?
Или просто теоретизируете?

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Роман Магдаленко
Автор

к сожалению, на больших объемах операторов, так не работает. все понимают, что 80 человек прослушать качественно маленькой командой невозможно. Про остальное написано выше

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Роман Магдаленко
Автор

спасибо :)

Ответить
Развернуть ветку
65 комментариев
Раскрывать всегда