Кейс: заменили на Black Friday колл-центр KupiVIP роботом, и только 5 человек из 5000 поняли, что общаются с нейросетью
Этой осенью мы попробовали заменить сотрудников колл-центра KupiVIP голосовым роботом Neuro.net. Но решили поставить его не для отработки шаблонных ситуаций вроде сбора NPS или уточнения адреса доставки, а бросить в довольно непростой кейс.
Такой, где нужно уточнить причину, по которой человек не заходил на сайт, отработать возражения, а затем рассказать про скидки на Black Friday и ответить на дополнительные вопросы и комментарии. Расскажем, как нам удалось с голосовым роботом обойти по результатам реальных сотрудников колл-центра.
Как всё началось
Проект Neuro.net мы запускали вместе с партнерами в прошлом году, когда один из наших сооснователей Николай Кравчук переехал жить в Калифорнию. В штатах роботы звонят еще чаще, чем в России (например, такой канал информирования, как SMS, в США почти не используется, и вы скорее получите обычное письмо по почте или звонок с предложением).
Однако американские голосовые роботы, используемые для обзвона клиентов, очень ограничены: они не могут ответить ни на один вопрос, постоянно выдерживают долгие паузы, и максимум, что могут — назвать твое имя.
В России ситуация была не сильно лучше, по сути, все создавали IVR-прозвонщика по примеру: «Вы имеете право на бесплатную юридическую консультацию. Если интересно — нажмите 1». Тогда мы и задумались об идее идеального голосового робота. Спустя год с момента идеи, мы стали запускать первые коммерческие проекты, один из которых — кейс с KupiVIP.
О себе мы рассказали KupiVIP еще летом, и сразу начали реализовывать идею. Процесс запуска робота выглядит так: мы собираем у клиента аудиозаписи звонков, которые делал их прежний колл-центр. Затем расшифровываем их, анализируем, размечаем данные для нейросети и линкуем семантику текста с ИТ-частью.
Выгрузка звонков для обучения робота — самое сложное в крупных компаниях. Из-за закона о персональных данных записи звонков передаются третьей стороне через кучу разных бюрократических проволочек и необходимость очистки каждого звонка от этих самых персональных данных. В нашем случае обеим сторонам было интересно поучаствовать в пилоте, поэтому процесс передачи аудио (мы получили около 500 записей) занял всего пару недель.
После этого команда Neuro.net два месяца работала без перерывов: айтишники писали софт, аналитики и лингвисты изучали записи, на основе записей выстраивали систему правильного принятия решений и делали разметку для нейросети. Параллельно в студии мы записывали по созданной структуре разговора фразы для робота.
Уже в августе мы запустили внутренний пилот и начали тестирование на сотрудниках KupiVIP. И мы быстро поняли, что это было ошибкой: когда люди знают, что общаются с роботом, они начинают всеми способами ломать логику разговора. Это полезная «прокачка мускул», но она удаляла нас от решения реальных задач и работы с реальными диалогами.
Тогда мы перешли на тестовые звонки клиентам, на объеме около 200 звонков. После нескольких итераций доработок мы увидели, что робот уже справляется с диалогами очень и очень хорошо.
Доработка проекта совпала с приближением Black Friday, коллеги из KupiVIP видели, что им нужна помощь на огромный обзвон перед распродажей. Нам предстояло обзвонить за два дня сразу 5 тысяч клиентов. Но мы контролировали работу, отслеживали звонки, выборочно их прослушивали и понимали, что все идет хорошо.
Нейросеть вместо скриптов
Главная причина успеха проекта в том, что мы использовали не типовые скрипты, а полноценную нейросеть, которая и дала такие впечатляющие результаты. Вместо типовых паттернов, мы задавали вектор, по сути, мы работали с созданием глубокой логики на стыке лингвистики и программирования.
Нейросеть помогает роботу принимать похожие на правильные решения. Есть 100 слов, похожих на «да»: «давайте», «окей», «хорошо» и прочее, то нейросеть может сказать, что новое для нее слово, например, «ну ок», скорее похоже на согласие, так как она обучалась на предыдущих согласиях.
Увы, люди говорят совсем не так, как мы ожидали: в процессе анализа реальных данных мы натыкались на самые неожиданные повороты. Когда клиент говорит что-то вроде «ой, я не думала об этом, возможно да, но не знаю», робот получает такой поток разных смыслов, что просто не понимает о чем речь. Легендарное российское «да нет» тоже вначале стало непростым вызовом для логики робота.
В ходе анализа реальных звонков мы с помощью нейросети получили огромный массив данных по самым разным сценариям диалога. Теперь робот уже знает все возможные варианты, которые в этом звонке могут быть, и даже если человек говорит что-то совсем экстраординарное, мы понимаем, с какой вероятностью он закладывает в свою фразу один смысл или другой.
Почему робот справился лучше «живого» колл-центра
На это есть, на наш взгляд, минимум три причины.
Первое. Мы работали не по скриптам, а создали нейросеть. Вместо тысячи вариантов логичного проведения диалога, мы получили миллионы, и людям стало в разы сложнее понять, с кем они общаются.
Второе. Мы смогли уменьшить паузу в разговоре до 500-700мс, что как раз соответствует паузе в реальном человеческом общении. Если голосовой робот общается с паузами в несколько секунд, собеседнику сразу становится ясно, что что-то идет не так. Может показаться, что решение проблем с паузами — простая задача, но нет: только на настройку протоколов для распознавания речи в потоковом режиме и приведение в порядок всего зоопарка технологий, мы потратили больше полугода.
Третье. Робот звучит живо и не устает. Это хоть и банальный факт, но тоже немаловажный. Интересно, что мы пробовали сделать версию робота, когда он говорил голосами профессиональных дикторов — и люди быстро поняли, что таким красиво поставленным голосом с ними едва ли говорит живой человек, который делает сотни звонков в день. Тогда мы поменяли подход: голосом робота стали обычные люди - эффективные менеджеры по продажам, без наигранных интонаций и даже с некоторыми артефактами в речи. И в итоге получили звонки, практически неотличимые от обычного оператора колл-центра.
Послушайте пару примеров наших звонков:
Плюсы для компаний и возможные риски
Несмотря на то, что создание такого проекта — это дорогая разработка, робот все равно получается в обслуживании как минимум в два раза дешевле, чем типовой региональный колл-центр. А эффективность получается та же или даже выше: в наших тестах с KUPIVIP, где людям предлагали воспользоваться промокодом, количество активаций промокода у голосового робота доходило до 8% против 6% у реальных сотрудников колл-центра.
Второй плюс — возможность мгновенного масштабирования. Используя облачные сервера, можно за час обзвонить любой объем клиентов.
Но есть тут и риски. Например, в той же Калифорнии голосовому роботу уже запрещают притворяться реальным человеком. В начале разговора он должен представиться и дать понять, что он — робот. Но я уверен, что, когда технология получит массовое применение, то несмотря на законодательное регулирование, спрос на продукт останется.
Главное для пользователя, который отвечает на звонок — общаться и получать информацию на родном языке. С «умным» роботом пользователю не придется запоминать и использовать специальные команды вроде «привет, Siri». Клиент будет разговаривать естественно — так же, как он делает это с живым оператором.
Наверное, в таком кейсе не обойтись и без этической составляющей: гуманно ли лишать работы сотрудников региональных колл-центров? Мы смотрим на пример KupiVIP, и видим, что ребята на обзвоне сами работают как роботы: по 100 раз в день повторяют одно и то же.
Хотелось бы нам, чтобы люди делали такую рутинную работу? Однозначно нет. Разбирать проблемы клиентов, отвечать на личные вопросы, получать знания в областях, где требуется большая интеллектуальная работа — всё это делает и жизнь самих операторов КЦ интереснее. Наша цель — не заменить человека роботом, а спасти его от рутинных задач.
Послушал записи - там же нет диалога и обратной связи. Задается вопрос и вне зависимости от ответа идет реклама: у нас акции. Где там нейросеть?
Это да, но с живыми консультантами часто та же фигня. Может поэтому так мало людей поняли разницу)
Написано же: человек в США переехал. С разу результат.
Fake it till you make it
Сложно ответить каждому, но все таки стоит сказать, что робот действительно слушает и дает ответ в зависимости от смысла сказанного клиентом. Суммарно веток, по которым может пойти разговор, более тысячи. И при всем желании мы не могли бы их привести все.
В действительности главная цель разговора - понять причину оттока и сделать предложение клиентам KupiVIP. А так как разговор идет натуральным языком, возможностей уйти от основного сценария множество. В основном, бОльшая часть дополнительных вопросов решалась прямо на линии. А сложные кейсы мы переводили на операторов.
Комментарий удален модератором
нейросеть вообще не способна в одиночку решать интеллектуальные задачи, нейросеть - тупой классификатор, для нее нужно выделение содержательных фич, иначе ничего не выйдет, но на юзеров и инвестроров слово нейросеть все еще действует хорошо) по сути согласен, примитив и манипуляция
В общем, комментарии в 80% случаев будут сводиться к критике самой идеи. А про сам кейс? Как 5 человек поняли, что говорят с роботом? Как Команда поняла, что эти 5 человек это поняли? Какие метрики были по оценке эффективности помимо процента активаций промокода?
5 человек из 5000 начинают разговор с фразы: "Алло, это ёбаный робот?".
похоже, что 5 человек на фразу"у вас есть вопросы?", ответили "Да, ............". И вот тут робот посыпался. Иначе как объяснить, что в примерах нам показали работу обычного прямолинейного робота. Максимум адаптивности было только в одном примере, где немного перефразировали вводную фразу перед промо.
У Варвары скорость разговора нечеловеческая, сразу слышно, кстати.
И тараторит без вздохов и выдохов
Да, хотелось бы больше деталей.
Робот должен сразу говорить о том, что он робот. Неумно и неэтично вводить в заблуждение клиентов, выдавая автоинформатора за живого сотрудника колл-центра. Законы Калифорнии, на фоне которой сооснователь неудачно сфотографировался, написаны не просто так.
Но российские предприниматели, как водится, решили такой херней не заморачиваться — и заспамили несколько тысяч подопытных кроликов.
Все могучие достижения нейросети, похоже, заключаются в коротких интервалах между фразами. Никакой особенной "работы с возражениями" в приведенных примерах я не услышал — просто автоинформатор пробубнивает скрипт.
А не отличили робота от человека потому что в колл-центрах операторов задрачивают до полной роботоподобности. Не нейросеть имитирует людей — люди имитируют нейросеть.
Еще прикольно когда звонят и тишина - ты такой: Здравствуйте..., а там... робот!
В этот момент чувствуешь себя ничтожеством.
Робот что ли не человек?
А где записи типа:
Робот: "Здравствуйте, мы заметили, что вы стали реже заходить на наш сайт. Причины личного характера или дело в нашей компании"?
Сантехник Василий: "Ептваю, вы чё б*ять следите за мной?".
Ага, тоже резанула эта фраза. Робот ещё и манипулятор
«Мы заметили, что вы стали реже заходить к нам на сайт» - эта фраза не очень-то к разговору располагает, очень мягко говоря)
А на порнохаб заходите исправно. Объяснитесь
мы заметили что вы еще ни разу не заходили на наш сайт, зайдите и купите новый стул всего за 399$
Согласен. Сразу хочется грубо и затейливо послать, если честно)
Комментарий недоступен
На самом деле, сейчас многие продажные/опросные скрипты настолько жесткие, что люди сильно походят на роботов. Отсюда и сложно отличить бота от человека.
Как то звонил парень со сбера, у нас с ним был 10-ти минутный разговор, он все время говорил, что с моим запросом нужно обратиться в ближайший офис, а я ему что мой запррс в том, что он тупой бот и у него ограниченный набор реплик.
Може вы с роботом и говорили? Все таки сбертех и все такое)))
Ребята проделали огромную работу. Я прослушал все записи и получил диджитальный экстаз от Варвары, которая реально понимала вопросы клиента (а ведь он невнятное что-то пробурчал), и адаптировалась под его запрос. Оч крутая работа. И статья легко читается. Спасибо!
P.S. А вот Олег в конце перебил пользователя и продолжил втирать ему =) Это значит, что вам еще есть над чем работать =)
ч0та не заметил никакого интеллектуального подхода, по факту, все говорили одно и то же. возможно, мало примеров?
В чём смысл мрачного фото на пустыре с заваленным горизонтом?
Комментарий удален модератором
Горизонт положительно, динамично направлен вправо и вверх, в сторону развития!
Где то с год назад покупал у них шмот. Оформил заказ, выскочила плашка "о поступлении в магазин сообщим смс/звонком".
Через пару дней звонит холодный кривой голос робо-бабы, сообщается что заказ в самовывозе, можете забирать. Поехал, говорю девушке номер заказа, она с жалостью спрашивает "вам робот звонил да? извиняйте, у нас тут проблемы и вашего заказа на самом деле нет." Попросил объяснений, она начала звонить по ОБЩЕМУ телефону купивипа где ее ставили в общую очередь). Не знаю что щас, но год назад по этой теме у них было очень сыро все
Комментарий недоступен
Стой, мы же здесь в комментариях все исключительно успешные предприниматели! Никаких кредитов, только инвестиции от венчурных фондов и ангелов!
Продайте своего робота Ростелекому. Их роботиха полный тормоз. Я перед звонком туда выполняю дыхательные упражнения.
Мне кажется такой скрипт как в примере мог бы гусь прокрякать и не спалиться что он гусь.
Можно ссылку нормальную на пример голоса запостить? В приложении это не ссылка, а набор символов.
Спасибо, что поправили ссылки.
не благодарите
Очень интересно! Действительно, было бы интересно взглянуть на не на столько идеальные примеры. Например, когда есть жалобы и комментарии. И когда робота раскрыли всё - таки.
Но ещё интереснее, за счёт чего у робота выше показатели по активации кодов. Что здесь повлияло на эффективность? Хотя 2% могут быть как связаны с выборокой, так и оказаться в рамках погрешности.
Выше показатели у робота так как в одну единицу времени делает больше звонков) и весь секрет
Нейросеть уже захватила разработчиков и написала эту статью, чтобы побольше людей зашло на сайт и она смогла их проанализировать! *шутки* А примеры и правда слабые даны, ни работы с возражениями, ни более-менее вменяемого диалога тут не имеется.
блин, в комментариях интереснее, чем в тексте, особенно после прослушанных примеров
Прослушка самих диалогов сильно убила весь смысл написания статьи, к сожалению.
https://soundcloud.com/daniil-dymshits/neuro-net-kupivip-oleg?in=daniil-dymshits/sets/neuronet-kupivip-black-friday
Какой-то, простите, хер Олег, простите, нейросеть, звонит клиенту и спрашивает, почему клиент стал реже заходить на сайт? Вы шутите?
Они просто задают вопрос, чтобы разговорить человека, а потом прокрутить рекламу. Можно было бы спросить "как у вас настроение" и выдавать "а у нас скидки!"
Мне нравится заключение.
Единственное, что я бы сначала нашла этим работникам работу на замену, потому что что теперь им делать, когда на их место пришел робот и будут приходить еще и еще?
хорошее замечание)
А им остается встречать робота у дверей и провожать до рабочего места XD
А эти работники такие маленькие дети, что сами себе работу не найдут? Хотя стоп... (
А есть примеры, где диалог после уточняющего вопроса продолжается?
Могу сэкономить вам на следующей разработке и 2-х месяцах мучительной работы и " разметке для нейросети."
Регистрируетесь в voximplant и используете их стандартную интеграцию с dialogfow от google
Но разговор настолько примитивный, что у вас будет избыточность в доступном функционале.
а мне можете сэкономить? настраивали такую штуку? пройдемте в личку (если тут такая есть)?
Тоже интересно, весьма.
Комментарий удален модератором
да особенно эфирчик, это так сказать апатьюнити.
Описано все гораздо красочнее, чем есть. По записям слышно, что разговор не может сильно отойти от темы, где сразу станет ясно что это робот. Кажется, на скриптах будет такой же процент "раскрывших робота". Пока что нейросети готовы только к таким применениям, очень узким и целенаправленным.
имхо как и с биткойном, люди со временем поймут, что нейросети не настолько крутые, как они есть. Пузырь сдуется, технология закрепится в нише. Все как и прежде - 3D телевизоры, VR и т.п.
Комментарий недоступен
" люди со временем поймут, что нейросети не настолько крутые,"
Да, у многих до конца жизни нейросети не настолько крутые, но есть индивиды с очень качественными нейросетями.
Заголовок кликбейт!
А вы заметили что люди как бы извиняются и оправдываются, им неудобно что они стали реже заходить на купивип)) Блеют что то: нет времени, нет денег, чуть ли не прощения просят)) Надесь там были настоящие бунтари, которые посылали сходу оператора на йух, с дисклеймером "не твое собачье дело", но думаю информация о черной пятнице даже таким человекам была донесена)
Комментарий удален модератором
Комментарий удален модератором
Звонят в последнее время боты все чаще. Но что-то я их сразу чувствую. Слышно же, что он никак не реагирует на твой ответ, а просто крутит записанный голос. Не знаю уж, то ли у них дебилы клиенты, то ли они считают неправильно - но как может быть, что распознал бота только 0,1 процент адресатов - загадка.
Так вот с чего начнется восстание машин.
В смысле начнутся протесты недовольного робо-меньшинства.
Роботы протолкнут своего представителя в парламент.
Через 100 лет выберут первого робота в президенты США.
Статья попала в ЦА, но на сайте такой фейл:
Напыщенно, но логика сбита. Этого робота не распознали не потому, что он продвинутый, а потому что сотрудники колл-центров сейчас чаще всего разговаривают по глупым роботским скриптам и ведут себя прямо как роботы: не слушают, что ты говоришь нет, не дают тебе слова сказать, пока не закончат свое двухминутное вступление и т.п.
Не зря я заблокировал все входящие с городских))
Последнее время успешно спамят с мобильных. Имеет смысл и их заблокировать.
Комментарий удален модератором
Даниил, спасибо за материал, написал вам fb с парой вопросов :)
"Алло, меня слышно?" .... CREEPS... привет GTD (ТК КИТ).
У нас нет никаких скриптов!!! У нас нейросеть заскрипиованная!
Молодцы, только было бы классно если в диалогах присутствовали свойственные человеку паузы и запинки. Иначе все же очевидно)
Это классно обыграли Гугл в презентации своего Дуплекса.
Индикатив по бюджету на подобный кейс можете сказать?
Ну так народ на сайт повалил или просто в удовольствие послушал?
Управляю и работаю в центре аутсорсинга продаж. С точки зрения it наверно это очень хорошая работа. С точки зрения продаж тональность и фразы записанного оператора - нет: наигранный тон, фразы, характерные для большинства банковских колл-центров. Надо точить и работать 👍💪
Идея хорошая, классный кейс!
Только весьма странно, что на сайте нет SSL сертификата и правовых документов определяющих политику в отношении обработки персональных данных.
Записи доставляют!)
Робот: Здравствуйте, давно не заходили на наш сайт, по какой причине...
Клиент: Да денег нет у меня пока...
Робот: Я вас понимаю...
И сразу предлагает халву, или еще какой кредитный продукт
Комментарий удален модератором
Мне так звонили в августе! Тогда я не признала, что это робот, меня просто удивило, что с таким вопросом вообще прозванивают - типа «почему вы к нам не заходите и не покупаете». Но было приятно и не было ощущения, что мне хотят что-то впарить, просто скидку дали.
олдин раз - лано. но поскольку это очень дёшево то скоро 99% ваших въодящих хвонков ьудет от роботов, как в email ящиках где со спамом не борются
Ну и да — как отследили, что догадались только пятеро? Обзвонили снова 5000 человек и спросили? Или маркером был ответ абонентов в конце разговора «ох уж этот грёбаный робот!». Ви-си, уже не первый раз такие пустопорожние истории публикуете, заканчивайте. Приводите заголовок в соответствие со статьёй. Не надо слишком уж прославлять своих рекламодателей (а если это бесплатный контент — тогда вообще страшно за вашу редакцию).
так вот кто двигает прогресс - барыги ))))))
Херота а не AI
А почему нет более сложных диалогов? Это же примитив.
Расписано красиво конечно.
Но после прочтения и прослушивания у меня сложилось впечатление, что новоиспеченная конторка, решил "поднять бабла, с витей АК и Гуфом", ну в общем нагнуть инвесторов, для привлечения инвестиций, надо быть на слуху.
Запилили несколько одинаковых диалогов на запись (в этих диалогах интеллектом и не пахнет) стандартные скрипты (сам когда-то как робот обзванивал:)
А может вовсе не робот это, а реальные люди базарят по скрипту, просто добавлено искажение звука, с миллисекундными вырезанными кусочками звука, потому что заикания происходят в некоторых моментах, где по логике их не должно быть.
Ну вот и давайте нам бабла, а мы подоим вас, совсем немного пару лет, а потом скажем "Ну не получилось" или до того времени технологии подрастут и может и получится что-то подобное сделать.
Конечно, я был бы очень рад, если бы это было на самом деле, и все было так круто как описано.
Если бы дали 3 разных разговора, на примере одной компании прозвона, а тут стандартная фигня, я могу свой голос записать на компе и так же клацать какие файлики запускать в ответ, немного заранее, что-бы не было паузы, этого ведь достигли перебивая клиента, на записях слышно уверенно, что бот не дослушал клиента и погнал свое тараторить, так многие на прозвонах тоже делают.
Прошу "какашками" не кидаться, высказал свои соображения по этому поводу!
Благословенен будь, черный список телефонных номеров. Давно уже не отношусь к операторам колл-центров, как к людям, и не зря.
Автор напишите мне , не могу к вам в друзья добавится, есть КП
ОЧУИТЕЛЬНО!
Комментарий удален модератором
Комментарий удален модератором