Уже почти год в поддержке приложения для карт лояльности «Кошелёк» трудится разговорный бот «Алина». Рассказываем, почему «Алина» живёт в почте, как ей удается справляться с 98% самых частотных вопросов и как лингвисты Just AI научили её понимать пользователей.
За несколько лет практически все наши пластиковые карточки — от банковских до дисконтных — незаметно перекочевали в смартфоны. Незаметно для нас. А вот команда приложения «Кошелёк» за три года оцифровала 85 млн карт лояльности, избавив пять млн своих пользователей от 400 тонн пластика.
Больше карт, больше партнёров, больше пользователей, больше функций — любой рост обязательно ощущают на себе сотрудники техподдержки. Год назад к команде «Кошелька» присоединилась «Алина», бот: она практически не допускает ошибок и даёт своим коллегам возможность заниматься более сложными и интересными задачами. Но начнём с того, как вообще «Кошелёк» пришёл к внедрению разговорного ИИ.
ИИ для модерации и хэлпдеска
В 2016 году, когда в «Кошельке» заработал сервис загрузки карт лояльности в приложение, оцифровкой их фото, то есть распознаванием названия магазина и статуса карты, команда занималась вручную. Первые несколько месяцев модераторами карт были сооснователи компании Кирилл Горыня и Филипп Шубин и один наёмный сотрудник.
Модерация карт отнимала массу времени: пользователи фотографировали всё подряд: новогоднюю ёлку, телевизор, себя вместе с картой. Объём данных рос, как снежный ком, карты выстраивались в очередь. Процесс обработки фотографий нужно было срочно автоматизировать.
Именно тогда «Кошельку» впервые объективно потребовалась помощь искусственного интеллекта. Прошло несколько лет, и сейчас из 200 тысяч фото, ежедневно поступающих в приложение, роботы разбирают порядка 70%.
Довольно быстро приложение стало показывать высокий процент вернувшихся пользователей: только за последний год постоянная аудитория «Кошелька» выросла в пять раз. Стало понятно: автоматизировать нужно всё, что вообще только можно автоматизировать, в том числе техподдержку — среднее число обращений в хэлпдеск приближалось к 500 в день.
С ростом аудитории выросло число партнёров, с которыми мы работаем, а вместе с тем и количество сложных вопросов, которые должна решать техподдержка. В случае «Кошелька» скорость и качество реакции на обращения пользователей влияют не только на их лояльность к нам, но и на отношение к брендам, которые представлены в приложении.
Яркий пример. Сертификаты сети супермаркетов «Перекрёсток» можно приобрести прямо в «Кошельке» с особой скидкой: продукт пользуется популярностью, и большая часть вопросов по сертификатам приходит нам, в техподдержку. Отвечая на них, мы формируем в глазах пользователей «Кошелька» имидж не только приложения, но и «Перекрёстка», а это большая ответственность.
Приложение устроено так, что пользователь может прямо из интерфейса отправить свой вопрос или сообщить о проблеме нам на почту: например, не приняли карту в магазине, карта изменила статус, изменился номер телефона у владельца и так далее.
Почему не в чат? Служба поддержки работает не круглосуточно: мы отвечаем пользователям каждый день с 10 до 22 часов. При этом часто приходится запрашивать обратную связь от ритейлеров-партнёров, проводить технический анализ ошибок и просматривать логи (системные файлы, содержащие информацию о действиях пользователя). Если поддержка не отвечает оперативно, пользователь нервничает. Задавая вопрос по почте, он не ждёт сиюминутной реакции: для клиента этот способ комфортнее с психологической точки зрения, а нам даёт возможность детально разобраться в возникшей проблеме и предоставить исчерпывающий ответ.
Поэтому когда возникла потребность разгрузить сотрудников техподдержки, Мария начала готовить базу знаний именно для email-бота — пока это оптимальный для «Кошелька» вариант. Разработкой бота занималась команда Just AI, у которой большой опыт в области разговорного ИИ. Для старта ребятам были нужны основные тематики вопросов, поступающих от пользователей, и логи.
В «Кошельке» оценили, какие темы может «закрывать» бот, и посчитали, как часто пользователи задают вопросы по этим темам. При выборе тем нужно было учитывать не только их частотность, но и сложность. Например, с просьбой сбросить пароль от приложения в поддержку обращаются часто, но пароли — тема щепетильная, и делегировать её боту нельзя.
Не упусти свой шанс, «Алина»
Отправляя свой вопрос по почте, пользователь нервничает меньше, чем во время онлайн-беседы в чате. Но и риск вызвать досаду тут выше. Если бот ответит на письмо невпопад или неточно, человек будет раздражен вдвойне.
Во-первых, он уверен, что по почте наверняка будет отвечать специалист, а не бот. Во-вторых, разговор с техподдержкой идёт не в реальном времени и пользователь ожидает, что у компании есть время разобраться с проблемой как следует и дать точный исчерпывающий ответ.
Так что у почтового бота есть практически единственный шанс понять запрос пользователя и дать верный ответ, поэтому лингвистам Just AI было важно предугадать, что пользователь может спросить и как именно.
Сложность проекта заключалась не в навороченном сценарии диалога, а в том, чтобы бот мог с первого раза правильно понять сообщение пользователя, классифицировать его и ответить без ошибок. Изначально стояла задача добиться 95% верных ответов, но, по правде говоря, нам казалось, что достичь такого уровня просто нереально.
Мы получили от команды «Кошелька» список тем, по 30-40 вопросов к каждой из них и возможные ответы — их старались формулировать так, чтобы бот был человечным и «говорил» на дружелюбном языке. На этом проекте мы как раз решили использовать наш новый классификатор, который учится на примерах и использует семантическую близость слов.
Например, в классификатор внесён запрос «как использовать карту». При этом рассчитывается вектор близости слов: «как применить карту», «для чего нужна карта» — бот должен понимать, что у него разными словами спрашивают одно и то же. Чтобы снизить вероятность ошибочного ответа, Just AI применяли гибридный метод — сочетание машинного обучения с методом, основанном на системе паттернов.
Паттерны — это синтаксис описания групп слов, похожий на регулярные выражения. Для запросов типа «после обновления карты мне выпустили новую с нулевым балансом» или «обновил карту, и она обнулилась» паттернами будут *{(~карта)* (обновлени*|обновил*) * (начальн*|обнул*|нулев*)} *).
На старте проекта бот научился обрабатывать около 30-40% входящих запросов, но процент ошибок при таком тематическом охвате был слишком высоким, 10–12%. Стало понятно, что нужно уменьшать процент автоматизации, но повышать процент правильных ответов — робот должен отвечать на вопросы, на которые он даст на 100% верный ответ.
Бота тренировали на реальных задачах. Так, он подрабатывал суфлёром для сотрудников техподдержки в системе Zendesk (софт для обслуживания клиентов и система поддержки на основе тикетов). И постепенно настройка бота привела к оптимальным показателям: 98% правильных ответов на наиболее частотные запросы.
Чтобы команда техподдержки «Кошелька» могла анализировать действия бота через Zendesk, мы добавили возможность назначения тегов, соответствующих тематике вопроса. Так можно отслеживать, сколько вопросов приходит по той или иной теме за заданный период, и решать, оставлять ли эту тему за ботом в будущем.
Ещё мы научили бота реагировать на тело и заголовок письма, связывать их вместе. У Just AI Conversational Platform (так называется бизнес-платформа Just AI для разработки разговорных чатботов и ассистентов, понимающих естественный язык) раньше не было такой возможности, так что это была нетривиальная, но важная задача. Ведь человек может выбрать тему письма «мою карту не приняли», а в теле написать что угодно или просто поставить знак вопроса — такой запрос тоже нужно правильно классифицировать.
А ещё бот умеет использовать информацию из тематических полей в Zendesk: например, считывать название магазина. Если человек открыл в «Кошельке» карточку «Рив Гош» и задал вопрос со страницы карточки, то ответ бота или уточняющие вопросы будут связаны именно с «Рив Гош».
Командный игрок
От пользователя не скрывают, что его проблемой занимался бот. В подписи всегда указано: «На ваше сообщение ответил наш бот "Алина"» («Алиной» бота назвали в честь экс-сотрудницы техподдержки). При этом, если у человека останутся вопросы или он не удовлетворен ответом бота, переписку можно продолжить с сотрудником техподдержки.
Но случаи недовольства «Алиной» крайне редки — наоборот, пользователи ценят, что бот отвечает на письмо мгновенно и может решить проблему даже ночью, в то время как сотрудники в среднем отвечают за полтора-два часа.
Диалог пользователя с сотрудником и с «Алиной»
Как видите, «Алина» отвечает мгновенно! Зато сотрудник знает про квартиры в Якутске :)
Признаться, мы не сразу осознали вклад бота в командную работу, так как его запуск происходил на фоне интенсивного роста аудитории и, как следствие, количества обращений в техподдержку. Но однажды, во время обновления сервера, «Алина» на некоторое время вышла из игры — и вот тут мы ощутили, насколько выросла нагрузка на каждого сотрудника!
Возможность доверить существенную часть работы боту — плюс для всей команды. Рутина утомляет, ведёт к профвыгоранию. Но если бот берёт рутину на себя, нам остаётся самое интересное — всё, что требует интеллектуальных ресурсов, глубокого изучения проблемы или креативного подхода, например ответы на отзывы в соцсетях и в сторах.
Функциональность «Кошелька» всё время развивается. Когда в декабре «Алина» взяла на себя часть новых вопросов, процент ошибок увеличился. За пару месяцев бот обучился и вернулся к прежним показателям
Как сделать так, чтобы бот помогал техподдержке, а не мешал. Советы команды «Кошелька»
- Собирайте данные. Как и любая задача, связанная с данными, подготовка чат-бота требует тщательного сбора информации, логов, изучения опыта общения с вашими клиентами. Сбор данных — действительно непростая миссия, но именно она определяет успех.
- Запускайте пилотный проект. Пилотный режим помогает избавиться от ошибок. Сначала бот может работать суфлёром — нам это сильно помогло его настроить, улучшить формулировки ответов, серьёзно уменьшив процент ошибок.
- Непрерывно обучайте бота. Не забывайте, что ваш продукт и ваш бизнес меняются, а вместе с ним должен меняться и бот. Любая активность с вашей стороны может повлиять на его работу. Бот техподдержки должен знать, что у вас появились новые сервисы, адреса, продукты и так далее, ведь обо всём этом будут спрашивать клиенты. Поэтому за ботом нужно следить и регулярно переобучать его.
- Здраво оценивайте свои возможности. Выделите время сотрудников на запуск бота. Многие компании запускают чат для техподдержки, но работают с ним, как с почтой: отвечают через 30 минут, каждые десять минут агент техподдержки меняется и переспрашивает детали разговора. Чат — это онлайн-общение, которое требует соответствующего подхода. Так что не заводите бота, пока не будет достаточно ресурсов для сопровождения и обучения.
Конечно, в первую очередь мы помогаем людям освободить кошелёк от пластиковых карточек. Однако избавление от пластика не единственная наша задача. Карта лояльности и даже банковская карта — не только инструмент идентификации пользователя в инфраструктуре бренда, но и канал взаимодействия бренда и клиента.
В перспективе мы предоставим партнёрам возможность общаться со своей аудиторией внутри «Кошелька», в том числе в режиме реального времени.
Аудитория приложения продолжает расти, функциональность развивается, и у пользователей возникает больше вопросов по точечным областям. Несмотря на то что мы указываем в приложении контакты брендов — их телефоны, соцсети, почтовые адреса, — пользователи пишут нам, им так удобнее.
Для пользователей «Кошелёк» — канал для коммуникации с брендом, поэтому мы предъявляем высокие требования к качеству обратной связи. Если вопрос сложный и требует подключения к диалогу компании-партнёра, наша техподдержка общается со службой торговой сети и возвращается к пользователю с готовым решением.
Сейчас коммуникация с пользователями завязана на электронной почте, но, безусловно, со временем она переместится в более удобный канал. Мы планируем запустить чат с техподдержкой внутри «Кошелька» — и в этом нам пригодится опыт создания email-бота и обработки логов.
При необходимости мы сможем переключать клиента на диалог с торговой сетью в рамках одного и того же чата. Покидать приложение для этого не потребуется — для пользователя это самый удобный сценарий.
"Алиса" есть, "Алина", "Алекса"... следующей будет "Анжелла"... хотя не, вторая должна быть "л"... "Алик"? :D