18+ Условия подписки: clck.ru/FMQND
Главные премьеры года. Уже в подписке
18+ Условия подписки: clck.ru/FMQND
Личный опыт
Selectel

Machine Learning с человеческим лицом. Кейс службы поддержки «ВКонтакте»

Создатели ML-моделей рассказали, почему не доверяют своих пользователей ботам.

Руководитель службы поддержки «ВКонтакте» Анастасия Фёдорова и продакт-менеджер AI Research Иван Самсонов выступили на конференции по Machine Learning, прошедшей в Selectel. В тексте — про первые попытки автоматизировать службу поддержки и целый ансамбль ML-моделей, которые заменяют 30 сотрудников.

Команде поддержки «ВКонтакте» исполнилось 10 лет. За это время ее сотрудники ответили на 43 млн вопросов и помогли 26 млн пользователей (примерно столько же человек живет в Австралии).

Но главное достижение в том, что 45 % этих ответов дал искусственный интеллект. Правда, не без помощи людей: во «ВКонтакте» любой автоматический ответ проходит через обработку сотрудника поддержки, или агента. Так соцсеть убеждается, что пользователь получил точный и полезный ответ.

У любой службы поддержки есть три основные точки контроля качества работы, рассказывает Иван:

  1. Время от первого ответа до решения проблемы. UX-исследования показывают, что качество ответа не окупает долгого ожидания.
  2. Содержательные и доброжелательные ответы.
  3. Время до первого ответа пользователю. Всем знакомо чувство раздражения, когда у вас какая-то проблема, а чат поддержки молчит. Нужно реагировать быстро, но ботов с их «Спасибо за обращение» во «ВКонтакте» использовать не хотят.

Очень не хочется, чтобы даже в далекой перспективе, когда это станет технологической нормой, пользователю отвечал робот. Мы максимально против ботов и переписки, где мы не контролируем общение с нашим пользователем. Потому что сохранять человеческое общение очень важно.

Иван Самсонов
продакт-менеджер AI Research «ВКонтакте»

С момента внедрения ML-моделей пользователи «ВКонтакте» стали получать первые ответы в 5 раз быстрее. Чтобы понять, как команда пришла к таким результатам, вернемся в 2011 год.

Что было до внедрения ML

В компании сразу поняли, что ответам службы поддержки нужна автоматизация. Большая часть вопросов связана с массовыми «поломками» соцсети — в таком случае в поддержку валятся тысячи сообщений на одну тему. Ответить нужно каждому, а в службе на тот момент было 30-50 человек.

В первую очередь внедрили скрипт, который позволял отвечать на однотипные вопросы одновременно. Сотрудникам не нужно было писать каждому отдельно, сформированное один раз сообщение отправлялось сразу нескольким десяткам пользователей. Другой скрипт распределял вопросы по ключевым словам: они сразу попадали к специалисту, который мог быстро разрешить проблему.

В 2017 году, когда «ВКонтакте» начала работать с платежными сервисами, ввели приоритизацию вопросов. На сообщения, связанные с вымогательством денег, мошенничеством, взломом аккаунтов, нужно было реагировать в срочном порядке. Поэтому они получали высший приоритет и направлялись специалистам «скорой помощи».

Все это повысило скорость ответа поддержки, но настоящим бустом для соцсети стала коллаборация с командой прикладных исследований.

Рождение Долорес

Первую модель машинного обучения для поддержки «ВКонтакте» создали в 2019 году. На тот момент технологии искусственного интеллекта уже были достаточно развиты, а соцсеть накопила большое количество данных для обучения модели — и вопросы пользователей, и классные ответы агентов.

Модель генеративная, то есть она учится генерировать данные на существующем массиве данных. Назвали Долорес — в честь героини сериала «Мир дикого Запада», который был популярен в то время.

Когда запустили модель, агентам было страшно, что вот, пришел искусственный интеллект, который лишит их работы. Но мы быстро поняли, что ИИ никогда не заменит живого человека. Он — помощник, который снимает часть работы с агентов, избавляет их от скучной рутины, позволяет сконцентрироваться на более важных задачах

Анастасия Фёдорова
руководитель поддержки «ВКонтакте»

Как работает модель

Пользователь отправляет в поддержку запрос с описанием проблемы. Модель «смотрит», как раньше реагировали агенты, и генерирует несколько подходящих, по ее мнению, ответов. Это не какие-то предзагруженные шаблоны.

Допустим, модель сгенерировала три ответа, как на картинке ниже, и агент должен выбрать наиболее подходящий.

Сотруднику поддержки не нужно руками вписывать ответ. Он просто выбирает корректный вариант и кликает «Использовать ответ».

Рядом есть кнопка «Передать». Ее агенты используют, если их компетенций не хватит, чтобы поддержать дальнейший разговор с пользователем. Юзер получает быстрый ответ, но модель переадресовывает переписку на «суперагентов», которые отвечают на сложные и специфические вопросы.

Бывают ситуации, когда сгенерированный ответ Долорес не подходит. Для этого есть две кнопки в интерфейсе: «Не подходит» и «Не подходит совсем». В первом случае модель правильно угадала направление мысли, но неправильно или неполно сформулировала. Агент может дописать или скорректировать ответ. «Не подходит совсем» дает понять, что ИИ сгенерировал какую-то дичь — сотрудник пишет ответ сам.

x5

во столько раз увеличилась скорость первого ответа пользователю с появлением ML-инструментов

Нео, Оби-ван и Ко

Долорес развивается не одна, внутри нее есть целый ансамбль моделей, которые закрывают разные задачи службы поддержки. Все они носят имена каких-то маскотов — Нео, Принцесса Лея и другие узнаваемые персонажи. Так разработчикам «ВКонтакте» проще и веселее общаться между собой.

Какие модели существуют

Антитролль-модель

Не всегда людям, которые пишут в поддержку, действительно нужна помощь. Чтобы агенты не тратили свое время и силы на таких пользователей, «ВКонтакте» внедрила систему антитроллинга. Модель оценивает семантику запросов и классифицирует их. Так, разделяются вопросы, где пользователь реально хочет закрыть свою боль, и ехидные замечания со сленгом, нецензурной лексикой, которые не связаны с продуктом «ВКонтакте». Последние идут в урну, куда иногда заглядывают агенты для домодерации.

Есть отдельная категория вопросов, которую во «ВКонтакте» называют «Life is». В таких запросах нет отсылки к продукту, но нет и токсичной составляющей. Например, пользователь пишет: «Слушайте, мне так здорово сидеть на своей страничке, слушать музыку, но захотелось вьетнамской еды. Может, посоветуете доставку?» На таких вопросах агенты поддержки отдыхают. Никаких сложных технических моментов, можно просто человечно ответить и порадовать пользователя.

Автотеги

Когда приходит запрос от юзера, он автоматически классифицируется на некоторое количество тегов. Это могут быть теги «платежи», «угон страницы» и другие маркеры, которые определяют дальнейший путь сообщения.

Распределение по языкам

Также есть модель, которая идентифицирует язык вопроса и отправляет агентам-носителям. За десять лет работы сотрудники поддержки ответили на запросы на 24 языках.

Семантический классификатор для поиска аномалий

Эта модель позволяет разработчикам «ВКонтакте» быстрее фиксить баги и находить проблемы в системах. Например, запустили новый продукт или выполнили маленькое или крупное обновление. Если что-то пошло не так, пользователи заметят это первыми. С помощью семантического анализа можно достаточно быстро из пачки странных запросов вычленить зерно смысла. Может, нужно докрутить UX продукта или дописать пояснение, как что-то работает?

Не обязательно быть «ВКонтакте», чтобы внедрять ML-инструменты в работу.

Используйте готовый докер-контейнер с установленными фреймворками и инструментами, чтобы снизить порог входа в разработку решений с ИИ.

Узнать больше →

Как все ломается

Не все модели, которые делают разработчики «ВКонтакте» живут долго и счастливо. Летопись некоторых довольно скоротечна: они быстро затыкают дыры в процессах, разгружая агентов поддержки, а потом идут в утиль. Абсолютно нормально, что не все модели эволюционируют. Команда AI Research постоянно экспериментирует с ними, чтобы делать поддержку более адаптивной и современной, снабжать ее новыми технологиями.

Натренировать идеальный ИИ для службы поддержки «ВКонтакте» практически нереально. Продукт постоянно обновляется, а генеративным моделям нужно «мясо» — база ответов от агентов по новому инструменту или фиче. Кроме того, сотрудники поддержки работают с людьми, а люди способны написать слово «верификация» тысячей и одним способом или задать вопрос так, что даже агент не сразу разберется.

Вот так по-разному можно написать слово «верификация».

«Но все это не безнадежные случаи. Да, люди задают вопросы в странных формулировках, но на них тоже находятся ответы. А значит, Долорес будет обучаться и в будущем поймет, что на самом деле хочет пользователь. Сейчас наша модель понимает: когда ее спрашивают, любит ли она “Группу крови”, имеют в виду песню, а не биологическую жидкость. И это здорово», — говорит Иван Самсонов.

0
15 комментариев
Популярные
По порядку
Написать комментарий...
Аполлон Степанов

Мне не нравится, что много подобных статей (и эта в том числе) поверхностные.

Нет каких-то количественных и качественных показателей, которым можно что-то оценить.

Нет мнения людей.

Я вот глубоко ненавижу ВСЕ подобные решения.

Я не уважаю компании, которые выстраивают заборы в виде ботов и прикрывают своё нежелание развивать качественную службу поддержки заботой о клиентах.

Ни разу не видел в своей жизни качественного бота. Всё боты взаимодействующие с клиентом просто глубокий мусор.

Хочется взять и выбросить как этого бота, так и компанию.

Ответить
2
Развернуть ветку
Игорь Петрашевский

Там есть аж 2 цифры и посыл:"вк хороший, теплый, ламповый и современный", технических подробностей копирайтеры не знают, стопудов, для них важно чтобы образ вк ассоциировался со свежим ароматным домашним хлебом)

Ответить
2
Развернуть ветку
Николай Сорокин

Я не уважаю компании, которые выстраивают заборы в виде ботов и прикрывают своё нежелание развивать качественную службу поддержки заботой о клиентах.

Когда поддержка массовая и в нее пишут каждый день несколько тысяч пользователей, то сколько людей ты не найми в штат, полностью на ручных ответах долго не протянуть. Проверено.

Ответить
0
Развернуть ветку
Аполлон Степанов

Да и вообще, проведите опрос, сколько людей скажет, что мол о да, я хочу разговаривать с роботом, а не человеком. Мол робот меня так понимает, и так хорошо решает мои проблемы, что век бы людей не видел. 1% хотя бы таких наберется??

Ответить
0
Развернуть ветку
Igor Kalashnikov

А это и не должно нравится людям, бот экономит деньги компании.

Ответить
1
Развернуть ветку
Аполлон Степанов

Чушь какую-то пишите. Есть такая вещь, как сервис. Вы слышали такое слово?? + Конкурентоспособность. + Удовлетворение потребностей клиента. И прочее. Взять любую компанию и любой бизнес. У клиента проблемы, а он их из за ТАКОЙ организации службы поддержки решить из не может. А если ему их нужно решить срочно?? Итог, злой клиент, не решённые проблемы, и человек уйдет. Будет разносить негатив другим клиентам. Компания будет терять людей, репутацию, деньги и так далее.

Максимально очевидные вещи.

Ответить
0
Развернуть ветку
Аполлон Степанов

А ещё есть такая вещь как клиентоориентированность.

Первый раз слышу, чтобы про клиентов говорили, что им не должно нравится. В службе поддержки, да и в бизнесе в целом метрики снимают, чтобы наоборот понять и сделать всё, чтобы клиентам нравилось. Такой дичи я в своей жизни не слышал. Много слышал, но такого я ещё не слышал.

Ответить
–1
Развернуть ветку
Igor Kalashnikov

Метрики снимают, чтобы получить максимальную прибыль с клиента, а это не всегда совпадает с тем, что клиенту "нравится".

Бот удешевляет поддержку, отсеивает стандартные проблемы экономя время оператора, да и клиента в том числе.
Именно так их продают бизнесу.

Для лучшей клиентоориетнированности, конечно, лучше живой человек.
Но повсевместное засилье ботов в последние годы только подтверждает тезисы выше.

Ответить
–1
Развернуть ветку
Аполлон Степанов

Пишите чушь какую-то. Я не про абстрактные метрики, а про метрики удовлетворённости клиента службой поддержки, ответом, сервисом, услугами и пр. Такое ощущение, что вы бизнеса в жизни не видели и пишите дичь какую-то, которую совершенно не понимаете

Ответить
0
Развернуть ветку
Александр Слепов

А потом окажется, что Аполлон - это бот, в основе которого нейросеть, обученная на фразах недовольных клиентов)

Ответить
0
Развернуть ветку
Аполлон Степанов

Что касается ботов, то я уже всё сказал. То что из везде внедряют, это не значит, что боты РЕШАЮТ проблемы клиентов. И отсутствие метрик того же ВК в данной статье показатель.

Боты это тупо забор между клиентов и компанией. Не более и не менее. У многих компаний огромное число проблем, и вместо из решения ставят ботов, которые замыливают процесс. Но как итог, проблема не решается, всё равно нужно выходить на оператора, да и про последствия я тоже сказал.

Ответить
–1
Развернуть ветку
Аполлон Степанов

Ну и что?? Введение ботов это не решение проблемы. Вот звоню я в какую-то поддержку, а там бот, который что-то хочет. Меня он не понимает. Проблемы не решает. Смысл?? Только злит пользователя. После этого бота, человек всё равно будет соединён с оператором (если оператор есть). И тогда в чём смысл всего этого?? Напрягать пользователя. Значительные расходы на ботов. А если оператора нет, то проблема не будет решена. С какой стороны не посмотри, всюду плохо.

Я могу понять, когда вы бы сказали, что боты РЕШАЮТ проблемы. Но это ведь не так.

Взять, например, эту статью. Вы видите доказательства или какие-то метрики, которые позволяют судить о ценности бота и полезности для клиента?? Я вот не вижу.

А исходя из опыта, всё боты просто кусок мусора.

Да, в массовых сервисах компании выгодно заменить людей на роботов, но это не выгодно клиентам.

Ответить
0
Развернуть ветку
Sasha Step

Может есть смысл подумать над продуктом если по нему нужна поддержка каждый день несколько тысяч пользователей,?

Ответить
0
Развернуть ветку
stivstivsti

Надеюсь что руководство ВК однажды понесёт заслуженную ответственность за то, что не защищает личные данные граждан.

Ответить
0
Развернуть ветку
Демид Московский

Долорес? Та блондинка из Мира Дикого Запада что ли?

Ответить
0
Развернуть ветку
Читать все 15 комментариев
Яндекс.Директ меняет формат работы корректировок в Конверсионных стратегиях. «Нас не просили, но мы сделали!»

В конце Декабря 2021-го года Яндекс.Директ анонсировал изменение формата работы корректировок ставок для кампаний с конверсионными стратегиями. Теперь выставленная корректировка будет влиять не на стоимость клика, а на конечную стоимость конверсии. Что это, и как это повлияет на эффективность и окупаемость рекламы — разберём сегодня в статье.

Как пандемия изменила рынок онлайн-страхования

Выяснили и рассказываем, как изменился онлайн-спрос на услуги страхования с начала пандемии.

Вы ВТБ или календарь праздников?

Зачем в мобильном приложении ВТБ каждый день показывают клиентам, какой сегодня день в истории? Нет, я очень уважаю Эйзенштейна, Сезанна и Винни-Пуха, но вам не кажется, что клиенты заходят совсем не за этим?

«Инновации — это поле для сражений»

Как фуд-ритейл внедряет новые технологии.

SMM-кейс: бар Сайгон (г. Санкт-Петербург, ул. Рубинштейна)

Бар Сайгон радует петербуржцев уже 5 лет. Часто его принимают за одноименный советский бар, который посещал еще сам Виктор Цой. Однако это, скорее, дань старому Сайгону.

Токсичная маркетинг-тусовка: как у номинального директора по маркетингу Самолета подгорело от нашего кейса

Наш c Digital Bands кейс про продажу квартир на PornHub завирусился после публикации на VC. По сути мы были первопроходцами: до нас никто не продавал недвижимость на порносайтах. Получили награду, опубликовали кейс — и хапнули негатива от коллег по цеху и приближенных к маркетингу. Но одно дело — комментарии среднестатистического спеца под…

Статус бота Veles
Рынок труда геймдизайнеров в России

Гейм-дизайн стал набирать огромную популярность в последнее время. Все мы должны понимать, что за каждой игрой, в которую нам доводилось играть, стоит гейм дизайнер, полностью спроектировавший концепцию от А до Я. Давайте попробуем разобраться с тем, на сколько эта профессия востребована в настоящее время и какие перспективы открываются перед…

В Москве появился фонд, инвестирующий в перспективные транспортные проекты

Фонд развития московского транспорта будет поддерживать стартапы, разрабатывающие прорывные технологии.

Как добиться перехода на электромобили? Спросите Норвегию

Две трети всех новых автомобилей, купленных норвежцами в прошлом году, были электрическими. Оказывается, вам просто нужно правительство которому можно подсказать.

Услуга «Дарите акции» от Тинькофф Инвестиции – когда брокер забирает 30% подарка
null