Почему конверсия и автоматизация не растут сразу: опыт улучшения голосового помощника

Конверсия сервисов и автоматизация потока — два важных показателя работы робота. Часто после внедрения улучшений цифры не растут сразу, а иногда даже падают. Почему так происходит, и что с этим делать? Рассказываем, как мы улучшали голосового помощника: какие новшества внедрили, какие цифры получили, и какие уроки вынесли.

Если простыми словами, то…

Конверсия — это успешность прохождения каждого сценария, доступного в роботе.

Автоматизация — это то, сколько звонков робот смог обработать без обращения к оператору.

Кажется, что рост конверсии должен обязательно увеличивать автоматизацию, но на практике это не всегда так.

Допустим, у робота есть 2 сервиса: запись на прием и отмена записи на прием. Конверсия записи на прием за предыдущую неделю составила 16%, отмены записи — 27%, автоматизация — 24%. На следующей неделе конверсия по отмене записи на прием выросла на 3%, но автоматизация упала на 1,5%.

Оказалось, что за неделю сократилось число обращений к отмене записи, а именно этот сценарий робот обрабатывает лучше. Зато количество записей на прием, с которыми робот справляется хуже, наоборот, значительно выросло. За счет этого и упала автоматизация.

Была и обратная ситуация: автоматизация выросла, хотя конверсия на всех сервисах упала. Это произошло из-за того, что пользователи стали чаще прерывать диалог с роботом: например, если человек сбрасывает звонок, не дождавшись оператора, система фиксирует успешную автоматизацию. Однако конверсия падает, так как услуга не была завершена.

Одним словом, при оценке работы виртуального ассистента важно смотреть не на один критерий, а на комбинацию автоматизации, конверсии и общего количества звонков — так вы получите наиболее объективную картину.

При улучшении сценария конверсия сервиса может почти не расти в течение достаточно долгого времени. Расскажу о ситуации, с которой столкнулась наша команда пару лет назад.

На одном из проектов перед нами стояла задача повысить конверсию сервисов записи на прием к врачу, отмены записи на прием и вызова врача на дом. Оценив сценарии и технические возможности интеграционной шины заказчика, мы поняли, что сценарий отмены записи существенно не улучшить. Поэтому сфокусировались на записи на прием и вызове врача на дом.

В апреле 2023 года мы зафиксировали показатели и наметили планы по изменениям, чтобы повысить конверсию сервисов:

1. Добавить выбор врача по фамилии;

2. Перейти с синтеза на гибрид: часть фраз генерируется роботом, часть – предзаписана диктором;

3. Установить адаптер ГАР, чтобы продиктованные адреса переводились в нужный формат.

В июне 2023 года мы ввели функционал выбора врача по фамилии. Теперь, если абоненту не подходил предложенный врач, он мог выбрать из нескольких доступных или назвать фамилию необходимого врача. Это должно было в первую очередь помочь пациентам попасть именно к своему лечащему врачу.

После внедрения конверсия в моменте не только не поднялась, но немного просела. Пользователям было непривычно взаимодействовать с новым функционалом. К тому же, понадобилось время на корректировки текстовок и поведения робота после первых запусков. Со временем конверсия выровнялась и поднялась, но не так сильно, как хотелось бы.

В середине октября 2023 года мы перевели систему на предзаписи и новый синтез. Мы ожидали сильный прирост по конверсии, так как более приятный голос должен располагать к себе абонентов по телефону, а человеческие интонации создавать ощущение разговора с живым оператором. Живой оператор подсознательно внушает больше доверия, чем робот.

И эта гипотеза сработала не совсем так, как мы ожидали. Конверсия и автоматизация долго колебались в привычных диапазонах, и стабильный прирост по записи на прием пошел только спустя несколько недель. В первые дни люди сбрасывали чаще, испугавшись, что попали не на того робота.

В январе 2024 года мы подключили адаптер ГАР для вызова врача на дом не по адресу из карточки пациента. Адаптер помогает найти произнесенный в свободном формате адрес проживания в государственном адресном реестре.

После внедрения адаптера конверсия выросла быстрее и значительнее: сразу на 5% за неделю, а в течение месяца на 10%. Это стало большой победой команды, которая боролась за каждый процент конверсии и автоматизации.

Уже к концу 2024 года конверсия стала выходить на плато и «жить» в диапазонах 45-60% для вызова врача на дом, 35-40% — для записи на прием, а автоматизация составила 50-55%. Вносить новые изменения с учетом технических ограничений было уже трудно, поэтому мы решили оставить робота в покое и посмотреть, что будет.

На сегодняшний день средние значения конверсии сервисов и автоматизации все еще плавно подрастают или колеблются на том уровне, что был достигнут в конце 2024 года. Абоненты уже научились взаимодействовать с роботом, привыкли к нему и с большей охотой стали доверять. Фишки, которые были внедрены, активно используются, за счет чего выхлоп от внесенных изменений мы получаем до сих пор.

Понаблюдав за значениями показателей и диалогами абонентов с роботом, мы пришли к следующим выводам.

1. Абонентам нужно время на адаптацию к изменениям. То, что было очевидно и удобно для одних, — неочевидно и неудобно для других. Плюс к этому, новые функции могут вызывать отторжение: «я привык, как раньше, не хочу ничего менять».

2. Не все варианты поведения пользователя можно предсказать на этапе проектирования и тестирования изменений, как бы мы не старались. Поэтому первые дни запуска могут уходить на отшлифовку, особенно, если это сложный функционал.

3. У робота тоже есть сезонность. Внесение правок в тихий сезон может не дать того самого быстрого роста, просто потому что поток абонентов — возможно, как раз целевых — меньше, чем мы предполагали.

Словом, на вопрос «Стоит ли переживать, если конверсия не растет сразу?» отвечу: нет. Если вы внесли правки, дайте пользователям время к ним привыкнуть — хотя бы неделю-две после стабильного запуска в продакшн. Только спустя время вы сможете четко понять, действительно ли правки приносят ожидаемый результат.