«Яндекс» улучшил качество письменной поддержки пользователей и сократил расходы более чем на 45%
С помощью технологий машинного обучения.
Почти каждый пользователь сервисов «Яндекса» хотя бы раз обращался в поддержку. Обрабатывать миллионы запросов вручную долго и дорого, а ещё люди допускают ошибки. Вот почему компания создала SupportAI — систему из сложных нейросетей и элементов машинного обучения, а также большого экспертного центра с аналитикой, командами автоматизации, обучения, операционного управления, контроля качества и тестирования.
С появлением SupportAI в поддержке «Яндекса» многое изменилось:
- До 80% обращений на первой линии пользовательской поддержки теперь обрабатывается автоматически, это позволило сократить расходы на более чем 45%.
- Средняя скорость ответа сократилась с нескольких часов до пяти минут.
- Люди не отказываются от сервиса, если служба поддержки может быстро решить их проблемы. Это тоже увеличивает прибыльность.
- Благодаря ml-оптимизации простых обращений сотрудники в поддержке начинают решать более сложные кейсы, задачи становятся интересней, это уменьшает отток персонала.
SupportAI пользуются отделы поддержки многих сервисов Яндекса — «Такси», «Музыки», «Драйва», «Директа», «Еды», «Лавки», «КиноПоиска», «Маркета», «Плюса», «Доставки» и «Станции». Ещё системой уже пользуются несколько сторонних компаний из сфер телекома, онлайн- и офлайн-ритейла, образования и финансов.
Что изменилось в «Яндекс.Такси» с появлением SupportAI
Простые вопросы и проблемы стали решать автоматически
Большинство обращений в поддержку «Яндекс.Такси» касаются работы сервиса или недопониманий между водителем и пассажиром. Ими занимается первая линия поддержки — там больше всего сотрудников.
Даже опытный сотрудник поддержки на первой линии раньше тратил несколько минут, чтобы найти нужный ответ, скопировать его в поле для текста, проверить и изменить по необходимости (например, подставить имя). Из-за этого страдали и скорость ответов, и качество.
Система SupportAI решает такие задачи за секунды. Алгоритмы нейросети определяют ключевые слова в обращении, находят подходящий ответ в базе знаний, адаптируют под конкретную ситуацию и отправляют. Если просто ответа недостаточно, система параллельно запускает другие процессы: например, корректирует стоимость поездки, отправляет сообщение водителю или обращение в банк. Большинство действий для шаблонных задач предпринимают алгоритмы — благодаря этому первая линия больше не «съедает» большую часть бюджета поддержки.
Нерелевантные обращения и спам стало легче отсеивать
Система научилась отсеивать сообщения, в которых помощь поддержки не нужна — с эмодзи, оскорблениями, нерелевантными вопросами.
Раньше обращение пользователя попадало к сотруднику поддержки только если пользователь после поездки нажимал на галочку «Свяжитесь со мной». Без неё обращение считалось комментарием, и сотрудники поддержки его не видели.
Сейчас за важностью обращений следит нейросеть. С тех пор на страницах «Яндекса» в социальных сетях почти перестали появляться жалобы на то, что служба поддержки пропустила сообщение.
Разбор нерелевантных обращений негативно влиял на сотрудников — это рутинная и неинтересная работа. Теперь сотрудники могут уделить больше внимания сложным и интересным задачам.
Стало меньше ошибок и опечаток, выросла скорость ручных ответов
Чтобы нейросеть работала правильно, ей нужны шаблоны — по несколько вариантов на каждую возможную реплику диалога. Основные шаблоны для SupportAI написали редакторы поддержки. Система случайно выбирает один из множества вариантов текста, а нейросеть его персонализирует.
Даже когда алгоритмам нужна помощь людей, служба поддержки все равно работает быстрее, чем раньше. Система подсказывает шаблоны ответов по ключевым словам и предлагают оптимальные варианты. Перепечатывать их тоже не нужно: количество опечаток снизилось до статистической погрешности.
Пользователи стали более удовлетворены качеством поддержки, а компания экономит средства на вычитках и поиске опечаток.
Создавать и менять логику ответов стало проще
Когда сотрудник решил сложную проблему клиента, он может автоматизировать решения для аналогичных ситуаций. Достаточно проработать логику общения с клиентом и написать правильные шаблоны вместе с редакторами. Система моментально начнёт решать похожие проблемы автономно. Можно внести изменения и в уже существующие кейсы — например, если появилось более простое решение. Достаточно обновить логику: это можно сделать без вмешательства разработчиков, и SupportAI сразу будет рассматривать обращения по-новому.
Как встроить SupportAI в бизнес
Со временем стало понятно, что SupportAI может помочь и другим бизнесам — систему легко встроить в уже существующие процессы. Сейчас ею пользуются уже 15 крупных сторонних компаний.
Внедрение происходит в несколько этапов:
- Алгоритмы SupportAI обрабатывают данные поддержки, группируют их и выделяют основные тематики.
- Экспертная группа продумывает сценарии, переносит их в интерфейс, показывает их руководителям и специалистам поддержки. Уже на этом этапе появляется аналитика по тематикам обращений, аномальным кейсам и структурированный контент.
- Система учится предсказывать тематики.
- Специалисты проверяют качество ответов.
- Дальше можно запустить эксперимент с автоответами или с помощью операторам и посмотреть, как изменятся оценки пользователей. После запуска дежурная группа регулярно отсматривает аномальные кейсы и оперативно исправляет логику ответов.
Алгоритмы SupportAI помогают искать курьеров, обзванивать должников и информировать сотрудников об изменениях в рабочих процессах.
Вот что специалисты из других компаний говорят о SupportAI:
Практически все пользователи на вопрос, какие характеристики определяют современную поддержку, отвечают так: эмпатия, решение проблем, скорость. Поддержка должна быть максимально технологичной, как и любой другой ИТ-отдел, и работать без сбоев. SupportAI обеспечивает связь человека и технологий и помогает добиваться качественных результатов.
«улучшил качество письменной поддержки пользователей» 🤣🤣🤣
А, так вот почему когда писали похвалу водителю - оператор отвечал, что водитель будет оштрафован.
Это шибко умная нейросеть, а не глупый оператор.
У меня была не похвала, но видимо тоже ответ нейросети. В общем на мой адрес в какой-то момент времени такси стало приезжать не туда. К соседнему дому по номеру, но там тупик. И либо писать водителю и ждать пока он развернется, либо пройтись. Я в поддержку написал, что такое уже 4-ый раз, у вас там что-то поломалось с геолокацией видимо. По сути адрес вбит всегда верный, но приложение считывает геолокацию и считает себя умнее. Ведет водителя на другой адрес в тупик, потому что "мне там ближе", а то что выход из дома на другой стороне не волнует. Мне упорно отвечали, что водитель ошибся и будет наказан. Хотел им помочь с багом, но не осилил пробиться через гениальный AI, который готов только карать водителей. А выставлять точку куда ехать водителю вручную каждый раз забываю, раньше само правильно определялось
Самое в этом печальное - что ведь действительно оштрафуют, а водитель потом ещё долго будет уговаривать ботов допустить его до живого сотрудника техподдержки чтобы отменили штраф...
Алексей, здравствуйте! Я из поддержки Яндекс Go. Спасибо, что цените труд водителей и не забываете похвалить за хорошую работу. Давайте проверим, кто так ошибся :( Пожалуйста, пришлите в ЛС ваш номер телефона из приложения и примерную дату обращения.
У бота инструкция, в любой непонятной ситуации штрафуй водителя и/или давай промокод.
Может вы писали в плохом настроении))) и система это поняла))
Как бесит тупая поддержка в виде ботов. После общения с ботами у меня сразу появляется желание просто не пользоватся данной компанией.
Мне кажется боты на проводе у 90% больших компаний, иначе по-другому просто не получается. Какое-то человеческое и сочувственное общение у микроребят, и то не всегда.
Шикарный результат, даже как-то не верится, что все цифры именно такие красивые.
- решаете проблемы клиентов?
- нет, просто показываем.
- красивое....
Ответы в "Приемной" на VC тоже AI пишет?
Я вроде живой, но тест Тьюринга пока не проходил :)
Оставил в такси YandexGo кошелек, попросил поддержку помочь связаться с водителем. Ответ поддержки: "Здесь лучше смогут помочь в бюро находок или полиции". Качество поддержки просто супер👍Интересно, это нейросеть такая умная или оператор?
Бывает, что водители не сразу выходят на связь, так как были заняты или отдыхали. Пожалуйста, подскажите в лс номер телефона из приложения. Будем разбираться, почему коллеги так ответили.
Нетривиально, что помимо болталки как у Олега, умеете ходить в базу и что-то узнавать перед ответом. Клёво
Расскажите про умный алгоритм продавцам Маркета, которым отвечают на элементарные вопросы по несколько дней или недель. Новые примеры ооооочень долгих ответов появляются в чатике селлеров каждые несколько минут
В Маркете тоже стараемся отвечать быстро. Подскажите, пожалуйста, номера обращений, где мы так затянули с ответом.
Как попасть на живого оператора, когда нейронка не понимает? Какое кодовое слово?
Типа «позовите человека»? :) У нас такого нет. Если вопрос не решается (умеем определять), то подключается живой человек.
Написать несколько раз одно и тоже
Как в ЯндексГоу открыть чат, а не тучу менюшек и подменюшек со стандартным перебором проблем?
Если ни один раздел не подходит, то можно зайти в «Оставить отзыв», а далее нажать внизу «Другой вопрос». Какая проблема была?
Я считаю, что общение с ботами тупиковый путь. Часто человеку не можешь сразу объяснить, в чем проблема, он тупит, а тут бот - вообще безнадежно. Давно уже пишут, что простые проблемы клиенты решают в основном сами через сайт или приложение, а в техподдержку идут, когда что-то посложнее. Подвергать человека удовольствию общаться с ботом - это издевательство над клиентами.
0+45% = ? @Яндекс Go, попробуйте решить уравнение, тогда вы поймете как выглядит ваша статья
Это не уравнение
Комментарий недоступен
Обязательно идут в дело, так что вы правильно делаете, что сообщаете о нарушениях. По поводу того, что создаётся другое впечатление — замечание приняли, проанализируем скрипты и будем исправляться. Спасибо за фидбек!
К
А сколько в итоге сэкономили то? А то может там расходы по 100 рублей, и особо экономить и нечего
так в отзыве написано - сотни миллионов
Я не знаю что и где они там улучшили... я каждые 2 дня хуячу письма в маркет, и в чат пишу, за 3 месяца ни одного ответа)
"Система случайно выбирает один из множества вариантов текста, а нейросеть его персонализирует."
Если раньше случайный ответ выбирал специально обученный человек, то теперь рандомный ответ будет выдавать алгоритм. П - прогресс.
Штаа??? Вы наконец-то признались что отвечает бот? Это чудо все-таки произошло. Но ответы вашего бота как был бред, так и остался бред. Пишешь детский стишок в поддержку и бот отвечает на первое ключевое слово которое увидел шаблоном. Чтобы решить Серьёзные вопросы и проблемы надо писать минимум 20 раз, по итогу проблема не решается и теряется драгоценное время. Яндекс овно.
Сергей, здравствуйте! Да, пока AI знает не все стихи. А вот сложные кейсы подхватывают живые люди, которые быстро разбираются в ситуации. Проверим ваши обращения, если подскажете в ЛС свой номер телефона.
Вопрос по разработке и аналитике - у вас есть система анализа работы бота, лучше он стал отвечать или хуже, есть деградация или нет? И если есть, то это только ручное маркирование хороший/плохой ответ или есть какие-то алгоритмы автоматического маркирования?
Сергей, у нас есть система, состоящая из порядка 40 критериев, которые определяются автоматически, по скорость, качеству и удовлетворенности пользователя. Например, различные пользовательские метрики (оценка, длина диалога) измеряются в аб-эксперименте. Похожими метриками можно измерять качество работы операторов и редактировать контент. Качество определения тематик рассчитываются на отложенном валидационном сете и при автоматическом дообучении моделей сравниваются с предыдущими замерами, а в случае успеха, идут в продакшн.
Хорошая статья, прямо с утра поржал от души, так настроение подняли 😁😁😁 Только опечатка во фразе "Средняя скорость ответа сократилась с нескольких часов до пяти минут" должно стоять до 5 дней, а ещё вернее до 5 недель...
Смешно, как только в Яндекс доставке вы отключили телефон- письменная поддержка вообще перестала работать. До сих пор висит куча неотработанных тикетов. Уже несколько месяцев вообще ничего не работает. Вам просто перестали звонить и писать партнеры, поэтому вам кажется что качество улучшилось. Классно сэкономили.
Никогда не обращаюсь в поддержку, если могу самостоятельно решить проблему.
Если уже никак — и понимаю, что проблема не у меня — пишу человеку. А там бот просит меня пять минут проделать всё то, что я уже делал. И так у каждого оператора, у каждого магазина, у Яндекса.
Можно добавить меня в базу людей, с которыми сразу человеки будут связываться?)
Пардон, но поддержка продуктов от Яндекс Такси ( Яндекс Еда, Яндекс Маркет) ужасная. Отвечают очень долго.
Поделитесь примерами в лс? Разберём внутри команды, почему так долго отвечали, это странно.
Так это давно было известно что там нет людей только Платонов это отрицал
Ахахахаха, спасибо поржал 😂😂😂
Мне звонил этот робот из доставки Магнита. Я не сразу понял, что это робот - до чего дошли технологии, конечно)) Но ладно опрос о качестве - больше всего порадовал заказ такси у них через звонок - сильно быстрее, чем с оператором и не переспрашивает адрес
Не читал.
Выкладывайте переписки, поржем.
Судя по моим наблюдениям, уже давно не к чему докопаться в приемной. Так, - х**сосят по привычке.
Комментарий удален модератором
Комментарий недоступен
Это как раз пример, когда у пользователя несколько заказов — AI это понимает и уточняет, о каком именно идёт речь.
Комментарий недоступен
Здравствуйте!
Я из поддержки партнёров Яндекс Go.
Здесь наш сотрудник ошибся, такое, действительно, иногда бывает. Уже ответили в посте и в приложении.
Так вот почему поддержка стала такой не качественной, но быстрой - да.
Клево! Вообще действительно поддержка стала сильно быстрее, хотя я думала, что это организовано, как было у Рокетбанка когда-то. А почему не пишете в ответе, что сообщение сгенерировано Роботом?
В нашей концепции робот — такой же сотрудник поддержки, и с ним пользователи сервиса уже успели познакомиться. Но мы постоянно думаем и тестируем другие точки зрения.
Теперь понятно. Пишешь в поддержку. Водитель был внимательный и вернул забытую вещь.
А в ответ. Спасибо за ваш комментарий, нам очень жаль что так получилось. Водитель будет наказан. Вот промокод чтобы загладить эту неприятность.
Комментарий удален модератором
Очень раздрожает когда ты знаешь весь функционал таксометра лучше любой службы поддержки но вдруг что то пошло не так. Например около двух месяцев подряд переодически не возможно было встать в очередь в аэропорту Домодедово. Писал, звонил а в ответ получаешь шаблон инструкцию как это должно работать🤦♂️ Обьясняешь ребята не работает после обновления и толку ноль. Мы зафиксируем и передадим разработчикам. Сейчас есть актуальная проблема с покупкой смен. Переодически по пятницам не даёт купить смену. Якобы у парка не достаточно средств на балансе. Это повторяется исключительно по выходным. В любой другой день эту же смену можно купить в минус🤷♂️.
В заключении хочу сказать что вся ваша поддержка в принципе ничего не решает(((( только фиксирует и куда то коллегам передает. Вообщем система выстроена таким образом что до человека который хоть что либо решает ты не доберешься. А оттуда летят ответы в смс опять таки шаблоны!
Здравствуйте!
Я из поддержки Яндекс Go. Иногда коллегам из поддержки нужна помощь разработчиков. Тогда специалисты передают им детали и сообщают об этом водителю.
Отправьте на почту [email protected] номер ВУ или номер телефона, который используете для входа в Яндекс.Про.
Найдём ваши диалоги с поддержкой о ситуации с очередью в Домодедово и покупкой смен.
Комментарий удален модератором
Смешно, как только в Яндекс доставке вы отключили телефон- письменная поддержка вообще перестала работать. До сих пор висит куча неотработанных тикетов. Уже несколько месяцев вообще ничего не работает. Вам просто перестали звонить и писать партнеры, поэтому вам кажется что качество улучшилось. Классно сэкономили.
Евгений, здравствуйте! Сможете, пожалуйста, написать в ЛС детали? Хотел бы разобраться, почему ваши обращения остались без ответа. Ведь такого быть не должно.
для справки: услуга "поддержка ИИ-чатботом" - это из той же серии, что и услуга "за свои $5 сделайте вон в тех кустах себе минет"
так и запишем: сократили 45% поддержки еще
Средняя скорость ответа сократилась с нескольких часов до пяти минут.так и запишем: выбрасываем в мусорную корзину запросы, на решение которых уходило несколько часов минус 5 минут
ахахаххах, лол)) зайдите ка в чат в "Чат партнёров маркетплейса Яндекс.Маркет" и узрите чудеса поддержки от Яндекса. 90% всех жалоб там именно на то, что поддержка ни на что никогда не отвечает месяцами и ни один вопрос не решается
Учитывая, что со мной случилось (посмотрите мой последний пост), у меня горький опыт общения с поддержкой
А! Вот почему я теперь как продавец на Яндекс.Маркете волосы рву от оперативности и компетентности работы поддержки. Они её просто разогнали. Браво.
Впервые я стал ловить себя на мысли, что хочу обругать матом собеседника в поддержке. Еле удерживаюсь иной раз. Думаю - не обидеть бы человека.
А там и не человек, оказывается, а дура-Алиса!
Комментарий удален модератором
2 недели назад мне посылку (LO-215825538) отправили. Отправитель сдал в пункте и посылка пропала. Так никуда и не едет.
Писал в вашу умную техподдержку - одни шаблонные отписки приходят. Потом вообще отвечать перестали. Полный игнор.
Заказ так и висит в приложении. В пункт позвонить невозможно, потому что указан московский номер телефона, по которому робот отправляет писать в техподдержку.
Первый раз попробовали переслать посылку и сразу провал с вашей стороны.