Как с помощью YandexGPT автоматически отвечать на 60% вопросов и отзывов: опыт Ralf Ringer

За день нейросеть отвечает более чем на 2000 обращений покупателей Ralf Ringer. Это помогло сократить нагрузку на отдел клиентской поддержки в два раза. Как получили такой результат — читайте в статье.

Маркетплейсы — важная площадка для работы с обратной связью от клиентов. Во-первых, от количества отзывов напрямую зависят объёмы продаж товара. Во-вторых, 83% покупателей надеются, что продавец поможет решить их проблему. При этом 40% хотят получить ответ в течение дня. Но чем больше вопросов и отзывов от покупателей, тем сложнее написать каждому качественный и содержательный ответ.

Решить эту задачу помогает YandexGPT. Как автоматизировать работу с обратной связью, рассказывает Артём Спорыхин — основатель компании Starfish24, которая разрабатывает сервисы для ритейла более восьми лет.

Мы разрабатываем IT-продукты для ритейла с 2016 года, а с 2020 используем сервисы Yandex Cloud. Среди наших решений — приложения для логистики и автоматизации обработки заказов: подтверждения, сборки, отгрузки, доставки и возврата.

В 2023 году наша команда создала сервис Smart-Reply.AI на основе GPT, чтобы автоматизировать ответы на отзывы на маркетплейсах. Расскажу, какие особенности были у разработки продукта, и на примере производителя и продавца обуви Ralf Ringer объясню, как сервис помогает специалистам в работе.

В 2022 году компании начали активно экспериментировать с созданием контента с помощью генеративных нейросетей. Мы тоже решили протестировать их возможности в своих продуктах. Несколько месяцев потратили на поиск и подтверждение гипотез будущего проекта.

Летом 2023 года в Yandex Cloud объявили закрытое бета-тестирование YandexGPT среди корпоративных пользователей, и мы подали заявку. После одобрения подключили технологию и продолжили тестировать бизнес-идеи на её основе.

Одной идеей (как оказалось впоследствии, бесперспективной) была генерация текстов для карточек на маркетплейсах. На входе нейросеть получала категорию товара и техническое задание и на их основе готовила описание товара для карточки. Но периодически она указывала недостаточно характеристик, ошибалась, и на валидацию полученных описаний тратилось много времени.

Спустя пару недель тестирования YandexGPT мы увидели потенциал в ответах на отзывы и решили двигаться в этом направлении. По данным Tinkoff eCommerce, количество покупок на маркетплейсах в 2023 году увеличилось на 63%. Вместе с этим растёт число отзывов и обращений, которые продавцам нужно обрабатывать. Например, наш клиент Ralf Ringer получает тысячи отзывов в неделю. До внедрения технологии их обрабатывали всего два менеджера.

Эксперименты с нейросетями превратились в сервис Smart-Reply.AI, который отвечает на обращения покупателей, учитывая контекст.

А так выглядела наша дорожная карта:

Для обработки отзывов мы тестировали две нейросети: GPT-3.5 от OpenAI и YandexGPT.

Нейросеть от OpenAI — более зрелая технология, для которой уже существует множество инструкций по промт-инжинирингу.

YandexGPT первое время работала нестабильно, а качество ответов было хуже, чем у модели от OpenAI. Приходилось несколько раз переписывать промт, чтобы добиться результата, при котором больше половины ответов нейросети эксперты оценивали выше, чем человеческие — по полноте и релевантности.

Но в перспективе нейросеть Яндекса экономически выгоднее. В YandexGPT больше размер токена (группы символов, за которую платит пользователь), поэтому запрос стоит дешевле, чем в GPT-3.5.

Другое преимущество YandexGPT — знание русского языка. Иногда модель от OpenAI генерировала странные фразы, например писала «отдел по качеству», а не «отдел качества». YandexGPT больше обучается на русскоязычных текстах, поэтому справляется лучше. В итоге мы выбрали её.

Для обучения нейросети собрали с маркетплейсов 800 отзывов в категории «Одежда» и загрузили их в базу данных. Внутри Smart-Reply.AI задействовано несколько моделей. Первая, облегчённая, отвечает за классификацию тональности и темы обращения. Вторая, основная, работает с вопросами и отзывами.

Перед тем как ответить на отзыв, нейросеть изучает:

Можно настроить правила ответа. Например, если отзыв положительный, ответ публикуется автоматически. А если отрицательный, то ответ должен подтвердить сотрудник поддержки бренда — и либо сразу опубликовать, либо предварительно отредактировать.

В сентябре 2023 года мы начали закрытое тестирование, в котором участвовали два магазина: Ralf Ringer на Wildberries и Paul Frank на Ozon. А через два месяца выложили сервис в публичный доступ.

У каждого клиента своя специфика, которая зависит от категории товара. Например, для ответов на вопросы об электронике нужно подгружать инструкцию к технике. Поэтому использовали fine-tuning — дообучение модели на данных клиентов. С этим помогла команда Yandex Cloud, так как в нашем сервисе эта функция только запускалась.

Как происходит дообучение:

Дообучение занимает две-три недели. За это время модель учится распознавать типичные вопросы покупателей и отвечать им так, как ответил бы представитель бренда.

Если данных для обучения не хватает, клиент предоставляет дополнительную информацию. Так было с Ralf Ringer: компания передала собственный источник данных, который включал срок гарантии на обувь, высоту каблука, толщину и материал подошвы, длину стельки, сезон, коллекцию.

Чтобы оценить качество ответов, предложили экспертам — другим продавцам — выбрать, чей ответ им нравится больше: оператора или нейросети. В начале тестирования 70% опрошенных выбирали ответ человека, после дообучения 65% голосов были отданы модели.

Для каждой компании Smart-Reply.AI использует индивидуальные данные для обучения. Где-то они «подтягиваются» с площадок автоматически, а где-то приходится собирать их самостоятельно, как мы сделали для Ralf Ringer. У обуви и аксессуаров есть специфические параметры, которые различаются в зависимости от модели, например сроки гарантии. Поэтому мы предоставили нейросети базу с правильными ответами на вопросы о характеристиках.

Вместе с Ralf Ringer у нас получилось собрать около 1000 примеров пар «вопрос — ответ». Некоторые из них мы редактировали, чтобы сделать более корректными. Так создали базу данных из образцовых ответов. А во время работы собрали ещё 5000 ответов для дообучения.

Сначала сервис оценивает вопросы по тональности: положительные, отрицательные, нейтральные. Затем делит их по группам в зависимости от темы:

На все положительные отзывы нейросеть отвечает самостоятельно. А вот к негативным или сложным вопросам подключает человека, это 40% от всех сообщений клиентов.

В день поступает от 500 до 2000 отзывов и 100–300 вопросов. При этом отвечать на вопросы занимает больше времени, чем обрабатывать отзывы, потому что нужно разобраться в каждой ситуации и найти верную информацию. Наш сервис снизил эту нагрузку у сотрудников поддержки Ralf Ringer в два раза.

Ещё мы создали дополнительный промт, который сокращает ответ без потери смысла и убирает местоимения «мы», «вас», «ваш», «нам».

Для Smart-Reply.AI я вижу два пути развития сервиса:

В дальнейшем, когда наберём достаточно опыта в России, будем выходить на зарубежные рынки: Казахстан, Узбекистан и остальные регионы Центральной Азии, а затем, возможно, в страны Латинской Америки.

Подписывайтесь на наш телеграм-канал и читайте ещё больше историй о компаниях, которые создают и развивают бизнес вместе с Yandex Cloud.

Другие кейсы наших клиентов и партнёров: