Мультимодальная поддержка: будущее клиентского сервиса

Мультимодальная поддержка — это формат сервиса, в котором клиент может в одном канале передать информацию разными способами: текстом, голосом, изображением, видео, документом, демонстрацией экрана и др. Как это работает, как дополняет омниканальность, и какие компании уже внедрили мультимодальные решения — в блоге.

Сегодня клиент обращается к бренду в разных каналах: по электронной почте, в чатах, по видеосвязи и т.д. Такая многоканальность в глазах клиентов — само собой разумеющееся. Если же диалог с клиентом продолжается — неважно, звонит человек или пишет, — то это омниканальность. Но теперь зачастую недостаточно описать все трудности только письмом или только голосом. Быстрее и эффективнее может быть показать фото, отправить видео, продемонстрировать экран, записать голосовое сообщение или приложить скриншот ошибки. Отсюда и новое требование в работе с клиентами — к мультимодальности.

Омниканальность и мультимодальность решают разные задачи. Омниканальность помогает не потерять контекст при смене каналов коммуникации. Так, клиент может начать разговор по телефону и продолжить его в магазине. Но модальность в каждом канале будет одна. Мультимодальность как раз помогает клиенту передать саму проблему наиболее понятным способом в одном канале. Если не работает приложение, — показать скриншот ошибки. Если сломался товар — отправить короткое видео. Если проблема сложная и эмоциональная — объяснить голосом и приложить фото следом. Если вопрос касается документа — отправить PDF-файл прямо в диалог. То есть мультимодальность убирает необходимость «переводить» проблему в длинное текстовое описание.

Сначала система получает данные от клиента: текст, документ, фотографию, голосовое сообщение, видео. Затем ИИ распознает каждый тип данных отдельно и связывает их между собой в единый контекст. После система предлагает решение, выполняет действие автоматически или подключает человека.

Если разговор передается оператору, сотрудник уже видит историю обращения, все изображения и документы, действия клиента, рекомендации ИИ и предполагаемое решение, которое нужно верифицировать и донести до клиента под стать ситуации: в нужном тоне, нужными словами.

Например, клиент отправляет скриншот ошибки при оплате, ИИ сопоставляет его с данными заказа, определяет проблему и предлагает решение или передает работу человеку. Другой сценарий: покупатель фотографирует поврежденный товар, ИИ распознает дефект и автоматически создает заявку на возврат.

Сочетание нескольких типов данных помогает системе лучше понимать ситуацию и снижать количество ошибок.

В медицине. Компания Cochlear, которая работает с медицинскими технологиями и слуховыми имплантатами, сократила среднее время обработки сложных обращений примерно на 50% за счёт технологии визуальной удаленной помощи.

Раньше пользователям было трудно объяснить проблему словами, ведь импланты сложно устроены. Теперь клиент может просто показать устройство через камеру, а ИИ-агент или специалист — визуально направить пользователей в их окружении с помощью дополненной реальности.

В туристической индустрии мультимодальный ИИ, к примеру, считывает данные из билетов и посадочных талонов, анализирует маршрут по файлам и может предлагать варианты замены рейса и повышения класса обслуживания. Также он может помогать путешественникам разобраться в значении уличных знаков и указателей в других странах.

Tripadvisor даже запустил AI-экскурсии с голосовым взаимодействием через Alexa и Google Assistant.

В интернете вещей (IoT) мультимодальность позволяет перейти к проактивности. Например, подключенная к интернету техника Husqvarna отправляет коды оповещения, которые указывают на проблемы еще до того, как клиент их заметит. Клиент получает уведомление, переходит по ссылке и немедленно переходит к пути решения проблемы, которая могла бы усугубиться без своевременного вмешательства ИИ.

Как и в случае с привычными LLM, сохраняются риски, связанные с галлюцинациями, конфиденциальностью данных, особенностями интеграции в текущие процессы. В случае недостаточного контроля над данными для обучения возможны проблемы с предвзятостью. Общей проблемой для всех ИИ-систем остается подверженность расширяющемуся регулированию в сфере ИИ.

Галлюцинации, когда нейросеть выдаёт правдоподобный, но выдуманный ответ, сильно вредят клиентской поддержке. В мультимодальных системах проблема усугубляется: ошибка в одном канале запускает цепную реакцию по всей системе. Размытая фотография, плохой звук, сильный акцент — если ИИ распознает входящие данные неверно, то выдаст бесполезный, а то и вредный ответ.

Технические и финансовые трудности интеграции. Мультимодальность требует продуманной архитектуры, глубокой интеграции с CRM-системами, базами знаний, системами заявок, с внутренними процессами компании. Внедрить рабочее решение не получится без опытной команды и серьёзных вложений.

Сложности с конфиденциальностью и безопасностью. Мультимодальность позволяет пользователям передавать в системы больше чувствительных данных, из-за чего растет интерес к взломам и, следовательно, обостряется вопрос защиты систем от атак.

Некорректная работа во время высокоэмоциональных ситуаций. Даже самый сильный ИИ пока не способен полностью заменить человека в конфликтах, при обработке стрессовых обращений и при работе с чувствительными темами.

Мультимодальный ИИ все еще берет на себя стандартные обращения, пусть их круг и расширяется. Непростые ситуации, а также контроль за работой мультимодального ИИ-агента остается за человеком. Только совместная работа ИИ и человека по-настоящему усиливает сотрудников и делает сервис быстрым и качественным.