Как мы сравнивали роботов-обзвонщиков

Одно время подтверждением вводных уроков по телефону у нас занимались Антон, Влада и Захар. Все они были роботами, вышедшими на помощь колл-центру.

Привет, я Оксана Речинская, аналитик в Skyeng. В один момент мы подумали, что посадить за телефон робота будет отличной идеей. Но попробовав поняли — на самом деле все не так уж круто.

У нас в Skyeng есть бесплатные вводные занятия. Люди на них записываются, но мы знаем, что часть из них передумает. Поэтому, например, на 10 преподавателей в слоте записываем 13 учеников. Преподаватель ищет себе ученика ближе к уроку и обзванивает записавшихся — получить у них подтверждение. Каждый раз нужно обзвонить несколько контактов, подсказанных системой.

Это съедало время, которое преподаватель мог потратить на урок или на отдых. И мы решили — пусть звонит робот!

Глобально роботы делятся на два типа: с машинным обучением и без него. Первый тип поглощает данные, учится на них и становится всё лучше и лучше. Второй тип проще — он работает на готовых пакетах распознавания слов. Система слышит голос, распознает, переводит аудио в текст, и слова сверяются с прописанным текстовым сценарием. Грубо говоря, если в ответе ученика есть слово «да» — произнеси один текст, если «нет» — другой.

Наш робот был как раз таким — простой, без ИИ, со встроенным пакетом для распознавания от стороннего подрядчика и синтезатором речи.

На мой вкус — у него был самый противный голос из стандартных: мужской-скрипучий-роботизированный.

Этим голосом он напоминал день и время, когда состоится урок, спрашивал, готов ли студент к занятию, и принимал два ответа: «да» или «нет», а потом направлял их в соответствующие ветки разговора.

Мы запустили тест на большой трафик, и это все только испортило. Пропущенных вводных занятий было много. Тогда мы стали слушать записи разговоров, чтобы понять, в чем проблема. Она оказалась на поверхности — люди бросали трубку только услышав первые слова.

В скрипучем голосе робота Антона, естественно, было мало приятного. Мы подумали: сейчас сделаем голос красивее, люди будут слушать робота до конца и конверсия заживет.

Ей дали голос реального человека — сотрудницы Skyeng, девушки-оператора из отдела продаж. Звучало потрясающе, очень красиво. Всем нравилось.

Ликовали мы недолго. Люди не отваливались от звонка сразу, но переводов на оператора стало кратно больше. Потому что теперь, слыша голос живого человека, не все понимали, что это робот. И отвечали витиеватыми фразами — как в разговоре с настоящим оператором. А не короткими ответами-командами, которые хотелось бы услышать роботу. Слишком подробно для нашей Влады. Процент успешного распознавания просел, это сказалось на конверсии.

Еще один минус живого голоса — Влада могла произносить только заранее записанные сэмплы. Обычный робот синтезировал любой текст, это давало нам гибкость и возможность быстро перенастраивать сценарии. А Влада не могла даже проговорить, когда состоится занятие. Мы не записали сэмплы всех возможных комбинаций дат и времени — их очень много. Она просто говорила — «ваш урок скоро состоится», что тоже вносило путаницу.

Тогда мы взяли третий вариант — робот Захар, не такой противный как Антон, но и не такой живой как Влада. Захар — просто норм. Не так раздражает, но и не вводит в заблуждение.

Плюс, после опыта с Владой мы расширили Захару словарь. К примеру, мы научили его распознавать популярные ответы — «КОНЕЧНО» и «НЕ». Но это привело к новым проблемам. Например, слово «КОНЕЧНО» робот отправлял в ветку «НЕТ». Потому что часто при произношении в слове «коНЕчно» четко слышился слог «НЕ». С распознаванием ничего не сделаешь. Словарь не помог.

Хуже того — когда робот делал ложно-отрицательный вывод, он отвечал: «Спасибо, менеджер с вами свяжется». Человек думал, что вводное занятие подтверждено, а потом ему звонил менеджер и предлагал назначить вводный урок на другое время. Возникала неловкое путаница.

Мы заморочились: стали менять тексты, которые произносил робот. Увеличили количество развилок в разговоре. Добавили тоновый набор вместо распознавания слов. Подумали, что так ответы станут точнее, и это поднимет конверсию в подтверждение. Доля ложных отказов и правда снизилась. Зато ухудшилось все остальное. Оказалось, испортить метрики может даже время года.

Мы тестировали робота зимой. Представьте — человек идет по улице в перчатках и слышит телефонный звонок. Отвечает через наушники и доходит до момента с тоновым набором. Снимает перчатки, разблокирует телефон, идет искать нужную цифру для ответа. Ошибается и нажимает не туда, либо нажатие не срабатывает, и он не успевает ответить.

Поэтому мы вернули распознавание голоса, но и тоновый набор убирать не стали. Если робот не распознал голос, мы ставили блок с таким текстом: «Я вас не понял, нажмите единичку, если вы придете…»

Число ошибок и правда упало до прежнего уровня, зато нам стали чаще отвечать «нет». А «да» — реже. Что тоже было плохо.

Самые лучшие результаты получились, когда мы стали подсказывать людям, как отвечать. «Если вы придете на вводный урок, скажите "да"». Америку мы не открыли, так делают многие роботы. Человек слышал четкий инструктаж, как ответить, но это тоже не панацея.

Мы выстроили такую цепочку. Сначала говорит Захар и произносит инструкции, как ответить. Студент отвечает, а если робот не понимает — подключается блок с тоновым набором ответов, максимально короткими вопросами и инструкциями. Затем вторая тоновая попытка — для подтверждения. А уж если и тоновые не вывозят — переводим на оператора.

Так мы, наконец, снизили нагрузку на операторов и получили сильное снижение числа ошибок — но росли как ответы «да», так и ответы «нет». Мы оставили этот вариант, так как получили рост ключевой сквозной метрики. На этом история с тестом робота завершилась. Она была долгой и мучительной для всех участников процесса.

Мы часто думали об этом в ходе эксперимента. В звонках нет привычных метрик: кликов на кнопки, переходов по страницам, проведенного на них времени. В звонки невозможно вставить виджет с просьбой оценить удобство интерфейса — есть только голос человека и тикающие секунды разговора.

Когда запускаешь гипотезу, собираешь данные и выясняешь, что работает плохо — это неприятно. Хочется просто взять и больше никогда в жизни не заниматься никакими звонками. Просто выкинуть их как явление и перевести все на интерфейсы.

Но так не работает. День, когда условный Apple выпустит айфон без функции звонков, вряд ли наступит скоро, если вообще наступит. Как бы ни поумнели наши девайсы, сколько бы ядер ни было в их процессорах, и сколько бы камер ни было на задней панели — это все еще телефоны, по которым люди друг другу звонят.

Что там будет дальше — вообще неизвестно. Сегодня интерфейсы кажутся проще и понятнее, а завтра дети, выросшие на разговорах с колонкой, опять вернутся к голосу. А потом к чему-то еще.

Но пока звонки — все еще часть мира, их надо автоматизировать так, чтобы всем было удобно и хорошо. Через тернии и скрипучие голоса.

#автоматизация