80 операторов, 40 000 звонков, 100% контроль, +3% к выручке и +0 супервайзеров: как прокачать колл-центр нейросетью

Если в вашей сети медцентров работают операторы колл-центра, то вы знаете, что проконтролировать всех не получится: даже на 10% записей разговоров уйдет много часов супервайзера (контроль качества). Добавьте сюда 80 человек, 40 000 звонков в месяц, личные отношения между операторами и супервайзерами, — и получите плохо управляемую машину со скачущими показателями эффективности.

Так совпало, что совсем недавно HBR написал отличную статью о том, как энтерпрайзы, имеющие огромные массивы данных, используют AI для усиления продаж и решают такие же проблемы, которые мы умеем решать с небольшим количеством данных и для SMB. 🤟🏾

Этот кейс не об интерпрайс-клиенте с морем данных и кучей денег на эксперименты. Он о среднем бизнесе с data driven подходом, который считает деньги и требует от инвестиций стопроцентной окупаемости. Как мы получили ROI 328% уже на этапе пилота, приглашаем вас узнать из кейса.

Пока NDA и все дела, но кое-что рассказать можем.

Действующие лица

Заказчик — сеть МЦ с филиалами в Москве, Санкт-Петербурге и Великом Новгороде. Разработчик — SalesAI. Наш сервис понимает контекст разговора, оценивает диалоги операторов и выгружает аналитику руководителям.

Точка А

Личные отношения между сотрудниками мешают оценивать качество звонков, прослушиваются только 0,5% разговоров, разброс конверсии — от 10 до 20%.

Мы начали работу с МЦ в июле 2022 года. На тот момент у ребят было 80 операторов, которые принимали 40 000 звонков в месяц, и 5 супервайзеров для контроля.

Скрипт оператора состоял из двух частей: жестко регламентированной части и фреймворка. В регламенте прописаны конкретные вопросы: например, при записи на МРТ уточняют вес. Фреймворк состоял из этапов: собрать анамнез, проконсультировать, обработать возражения… Формулировки подбирал оператор по ситуации. От жесткого скрипта отказались, потому что он отрицательно влиял на конверсию.

Гипотезы

Чем больше первичных посещений клиники, тем больше МЦ продаст услуг с высокой маржинальностью.

Если мы увеличим количество посещений и продаж маржинальных услуг, прибыль начнет расти нелинейно.

Конверсия из звонка в посещение зависит от разговора оператора. Если оператор пройдет 10 этапов фреймворка, конверсия кратно вырастет. При этом оператор не должен превращаться в машину, которая зачитывает вопросы по жесткому скрипту: человечность, раппорт, эмпатия — конкурентные преимущества МЦ.

Проблемы

Прослушивать и обучать 80 операторов — сложно и дорого. Один менеджер стоит минимум — 100 000 рублей в месяц. Вся команда — 500 000. Без учета оверхедов и накладных расходов. При этом ребята успевают выборочно прослушать 0,5% записей. Ну конечно, никто не даст денег, чтобы это масштабировать.

Нет дашборда со статистикой ошибок, а значит невозможно отследить, где конкретно ошибаются все операторы и отдельно взятый.

Конверсия из звонка в запись на приём прыгает от месяца к месяцу. Выручка, соответственно, тоже.

Требовалась система, которая автоматически оценивает все звонки и дает объективную оценку по всем разговорам.

Что хотели получить от SalesAI

  • Понять, как работают операторы. От SalesAI хотели получить анализ каждого разговора каждого оператора по 10, а затем и 20 параметрам. Каждый звонок оценивается по 10 (20) балльной системе и на нашей внутренней BI системе мы выводим дашборды с цифрами по каждому оператору, на котором показывается правильно ли он поздоровался, собрал анамнез, проконсультировал, обработал возражения, записал на приём, предложил допуслуги, проговорил детали записи и тд. Это позволяет оценить каждого оператора по этим 20 параметрам и максимально быстро произвести правильное корректирующее воздействие, прямо в конце дня. Система работает в реалтайме.
  • Сэкономить на контроле. Сократить время на анализ звонков и не раздувать штат в отделе контроля качества.
  • Заложить фундамент. Создать минимальный продукт, на который можно наращивать нужные фичи, например, онлайн-подсказки операторам во время разговора с клиентом или автозаполнение карточки в CRM по итогам созвона.

Ну а конечная цель всего этого мероприятия, максимально эффективно влиять на конверсию продаж, без раздувания бюджета.

Пилот

В пилотной версии ребята из МЦ хотели видеть, проговаривают ли операторы важные для конверсии 10 фраз/предложений/этапов.

Упрощенная схема интеграции SalesAI

Как мы определяли, что говорит оператор

На каждом этапе фреймворка операторы произносят похожие фразы, которые отличаются разными переменными, в зависимости от контекста. Чтобы определить, какие именно, мы присвоили этим фразам лейблы. Например, «Здравствуйте, вы позвонили в клинику МЦ, — это лейбл «Приветствие». «Записала вас на 22 ноября», — лейбл «Запись пациента». Презентация подарка по акции, — лейбл «Промо».

Задача лейблов — отследить, какие стадии забывает проходить оператор, и как это влияет на конверсию. Например, очень важно проконтролировать вес пициента, потому что машина, которая обслуживает пациентов более 120 кг только одна и надо записывать только на нее. Очень важно проговорить ковидные ограничения. И важно сделать презентацию оборудования, потому что оно реально новое и крутое, поэтому должно отбивать свою амортизацию максимально быстро.

Размеченных данных для такой бизнес-задачи нет, поэтому разметку делали сами. Так мы разделили фразы оператора на 10 обязательных лейблов:

  • представился и узнал имя
  • собрал анамнез
  • проконсультировал перед посещением
  • обработал возражения
  • назвал противопоказания
  • предложил доп услуги
  • записал на приём
  • сказал про стоимость услуги
  • проговорил детали записи на приём
  • сделал презентацию оборудования.
SalesAI определил лейбл «Приветствие»
Оператор задал обязательный вопрос на этапе сбора противопоказаний к МРТ, SalesAI определил лейбл «Противопоказания» с вероятностью 0,939

Сложность обработки живой русской речи

В английском языке для расшифровки текста можно использовать язык регулярных выражений. Например, мы можем научить программу распознавать порядок слов в предложении или сказать: «Найди мне все предложения, которые начинаются на слово “записал”».

В нашем случае у этого подхода есть четыре минуса:

  • в русском языке порядок слов может быть любым: «Записал вас на десятое число» и «На десятое число вас записал»;
  • собеседники используют междометия, англицизмы и сленг, что засоряет результаты обработки;
  • если оператор использует близкие по смыслу выражения, система путается в лейблах;
  • язык регулярных выражений проверяет текст по символам, поэтому такие системы очень медленные.

Учитывая все минусы, мы использовали методы обработки естественного языка и рекуррентные нейронные сети — LSTM.

Коротко о том, как SalesAI понимает контекст. Допустим, оператор сказал о противопоказаниях: «Перед МРТ брюшной полости не ешьте ничего шесть часов, то есть с девяти утра». Чтобы понять эту фразу, SalesAI не просто ищет по ключевым словам, а запоминает и учитывает предыдущие фразы в разговоре.

Если бы SalesAI искал только по ключевым словам, то присвоил бы неверный лейбл «Запись на прием».

Тут надо немного объяснить, что все решения Речевой аналитики первого поколения работают по ключевым словам. Поэтому вылавливают мат и требуют головняка с семантическим ядром. Да и стоят как самолет. РА 2.0 работает по контексту. То есть распознает смыслы.

Для обучения нам хватило всего 100 звонков

Раньше, чтобы нейронка научилась точно определять лейблы, необходимо было разметить тысячи звонков и скормить их нейронной сети. Но у нас не было ни времени, ни такого огромного количества ресурсов, ни желания боттлнечить из-за этого. Поэтому нашим датасаентистам пришлось поломать голову, как выкручиваться. За счет использования экспериментальной технологии, для обучения первых 10 лейблов, нам хватило всего 100 хороших звонков. В процессе разметки мы вынуждены были заодно оценить качество работы штатных супервайзеров компании. Наши разметчики обратили внимание заказчика на несоответствие реальных лейблов оценкам в чек-листе. То есть, лейбла на самом деле в разговоре не было, а в чек-листе супервайзера он стоял. Когда ребята из МЦ раскрутили эту историю, оказалось, что между некоторыми супервизорами и операторами возникли неформальные отношения, в результате, по понятным причинам, им завышали оценки, которые влияют на мотивацию… Случайно нашли еще одно преимущество нейросетей перед человеком).

Люди и время

На разработку, обучение и отладку ушло два месяца. С нашей стороны на проекте работало 5-10 человек и со стороны заказчика - трое. Если бы не затупы на первом этапе с разметкой, сделали бы гораздо быстрее.

Плюс пришлось очень много делать доработок на бэке, чтобы появилась интеграция с IP-телефонией и разными сервисами клиента. И конечно, на этапах отладки ловили кучу багов и делали перенастройки, чтобы работало все в онлайне как часы.

Следующие пилоты идут уже гораздо быстрее.

Результаты МЦ спустя три месяца

  • У МЦ появилась система, которая понимает контекст разговора и оценивает все диалоги. Если раньше супервайзеры выборочно отслеживали до 0,5% звонков, то теперь под контролем 100%. Результаты диалогов с разными фильтрами выводятся на дашборд и дают нам огромное количество данных для принятия управленческих решений.
  • До внедрения конверсия в запись на приём прыгала с 10% до 20%, теперь держится на уровне 20%. А для заказчика каждый процент - это миллионы руб в месяц. Наша следующая цель вырастить ее до 25% за ближайшие 3 месяца. В среднем, за время пилота конверсия уже увеличилась на 3%. Это дало ROI в размере 328% еще только на этапе пилота. Вот как работают нейросети.
  • Было опасение, что сотрудники начнут жаловаться на некорректную работу системы и возникнет отторжение, но этого не произошло. Первая причина — точность определения фраз. Вторая — МЦ использует аналитику, чтобы обучить оператора, а не наказать.
  • Сейчас у МЦ работает несколько сайтов со сквозной аналитикой. Когда мы объединим источники трафика, конверсии и аналитику звонков, то сможем увидеть каналы рекламы, которые не приносят деньги и более эффективно управлять пользовательским путем на основе данных.

Что в планах

Мы планируем развивать систему и дальше. В ближайших итерациях добавим подсказки для операторов в реальном времени и научим SalesAI определять настроение клиента. Короче, будем делать все, чтобы увеличить конверсию у клиента и принимать решения на основе данных.

0
68 комментариев
Написать комментарий...
Roman Dmitriev

А зачем вообще определять настроение клиента?
Даже в вашем кейсе, с клиниками, даже если клиент злой, он запишется на мрт.

Ответить
Развернуть ветку
Роман Магдаленко
Автор

нам нужна стратегическая победа: в условиях высокой конкуренции положительный опыт, дающий положительные эмоции принесет 10х к выручке, потому что сработает рефералка. А кост на рекламу =0

Ответить
Развернуть ветку
6 комментариев
xVRVx

С таким развитием через пару лет и операторы не нужны будут, возьмете на аутсорс другую нейронку - разговорную и одна нейросеть будет контролировать показатели другой, чтобы не повадно было) ...

Ответить
Развернуть ветку
Alexander

главное чтобы между нейронками не возникло неформальных отношений

Ответить
Развернуть ветку
1 комментарий
Роман Магдаленко
Автор

Крутая идея! :) Поставлю в бэклог!))

Ответить
Развернуть ветку
Алиса Агеева

такое развитие не только операторов коснётся..

Ответить
Развернуть ветку
1 комментарий
Кирилл Артюхов

у ваших операторов должна быть хорошая зп с таким контролем

Ответить
Развернуть ветку
Роман Магдаленко
Автор

конечно должна быть!

Ответить
Развернуть ветку
9 комментариев
Роман Рабочий

Господи, в трибуне таки бывают нормальные проекты ))
Ребят меньше техники в текстах, она важно но убивает вашу целевую аудиторию на этапе чтения.
Не знал что кто то еще работает по ключевым словам, как по мне так это лажа какая то, но динозавры видимо существуют...
Вообще конечно жутко узкая ниша с речевой аналитикой. Но зато если нашли вашего клиента, то копать можно будет бесконечно )

Ну и главный гвоздь, это же не облако???

В любом случае удачи!

Ответить
Развернуть ветку
Роман Магдаленко
Автор

Спасибо, вы не представляете, как много клиентов думают, что возможно определение только по ключевикам)
Про контекст пока, к сожалению, мало кто в теме)

Ответить
Развернуть ветку
5 комментариев
Роман Сухарь

сколько времени занял процесс именно доработки системы?

Ответить
Развернуть ветку
Роман Магдаленко
Автор

Доработки до сих пор идут. Общение началось, когда еще продукта не было. Пилот начался на высокой степени готовности продукта. Разработка продолжается, потому что бэклог, как известно только пухнет)

Ответить
Развернуть ветку
Валерий Гинак

Спасибо за интересную статью!

Ответить
Развернуть ветку
Роман Магдаленко
Автор

не за что )

Ответить
Развернуть ветку
Tric Gor

неплохо, спасибо автору за статью

Ответить
Развернуть ветку
Роман Магдаленко
Автор

вам спасибо, за оценку)

Ответить
Развернуть ветку
Чужиков Данил

Годнота!)

Ответить
Развернуть ветку
Роман Магдаленко
Автор

спасибо :)

Ответить
Развернуть ветку
Роман Магдаленко
Автор

спасибо :)

Ответить
Развернуть ветку
Антон Мирный

Крутой кейс!

Ответить
Развернуть ветку
Роман Магдаленко
Автор

спасибо)

Ответить
Развернуть ветку
Аккаунт заморожен

Комментарий недоступен

Ответить
Развернуть ветку
Роман Магдаленко
Автор

правильный вопрос. решили не нагнетать, поэтому запихнули этих людей в "оверхеды". Если посчитать точнее, то ROI будет слишком космический, и кто нам поверит тогда? ;)

Ответить
Развернуть ветку
Александр

Отличный инструмент для адаптации отдела продаж и принятия решений в это непредсказуемое время! Продолжайте и удачи

Ответить
Развернуть ветку
Роман Магдаленко
Автор

Спасибо, Александр :)

Ответить
Развернуть ветку
Вячеслав Полтавец

Насколько я знаю, сейчас даже самые продвинутые нейросетки не умеют идеально переводить речь в текст. Не поверю, что текст не очень хорошего качества можно ещё и проанализировать и выдавать какие то подсказки)

Ответить
Развернуть ветку
Роман Магдаленко
Автор

так надо обучать НС на таком же качестве текста. в целом Яндекс выдает нормальный WER, этого достаточно для работы

Ответить
Развернуть ветку
Sergei Borodin

Шикарный кейс. Брать всем, срочно.

Ответить
Развернуть ветку
Роман Магдаленко
Автор

золотые слова, Сергей! )

Ответить
Развернуть ветку
sasak sasak

Круть

Ответить
Развернуть ветку
Роман Магдаленко
Автор

спасибо )

Ответить
Развернуть ветку
Stanislav Podchezertsev

Познавательное чтиво. Спасибо, что поделились идеями

Ответить
Развернуть ветку
Роман Магдаленко
Автор

спасибо!

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Роман Магдаленко
Автор

а так можно было? блин!
а если серьезно: вы так делали? вот так вот, чтобы неделю слушать звонки, отмечать каждый лейбл в чек-листе?
Или просто теоретизируете?

Ответить
Развернуть ветку
4 комментария
under construction

сколько средств и времени люди вкладывают, что бы клиенты их начали сходу петь им одну песню шнура

Ответить
Развернуть ветку
Роман Магдаленко
Автор

какую именно?

Ответить
Развернуть ветку
1 комментарий
Роман Магдаленко
Автор
Ответить
Развернуть ветку
Роман Магдаленко
Автор
Ответить
Развернуть ветку
Роман Магдаленко
Автор
Ответить
Развернуть ветку
Роман Магдаленко
Автор
Ответить
Развернуть ветку
65 комментариев
Раскрывать всегда