Как мы одними из первых внедрили GPT в работу службы поддержки

И научили ее решать более трети обращений без участия человека

Привет. Я Инга, основательница агентства Supprt.Science. Мы помогаем компаниям создавать дружелюбный клиентский сервис. В прошлом году один из наших клиентов спросил, можем ли мы сделать поддержку на GPT. Прозвучало как вызов: на рынке пока мало подобных кейсов — можно пересчитать по пальцам одной руки, и у нас была возможность стать первопроходцами.

Уже через 3,5 месяца мы запустили контекстного бота на основе GPT и на первых обращениях увеличили скорость и качество ответов клиентам — бот зачастую справлялся лучше, чем человек! Спешим поделиться результатами и опытом.

Клиент: тревел агентство со службой поддержки, которая закрывает около 10 000 обращений в месяц.

Основная проблема: клиент хочет масштабироваться на международный рынок, и служба поддержки является узким местом. Необходимо было повысить ее «пропускную способность». Обращения обрабатывались медленно и далеко не всегда качественно. Скорость ответа — 54 минуты на одно обращение, плюс масса недовольства от клиентов по качеству решения проблем. Причины — плохо настроенный HelpDesk, отсутствие Базы Знаний и описанных процедур, неудобная админка. Мы посчитали: чтобы ответить на одно обращение, саппорту приходилось работать с десятком вкладок одновременно.

Нам предстояло создать контекстного бота на базе LLM, который будет выполнять следующие задачи:

С нашей стороны над проектом работали проектный менеджер и дизайнер диалогов (промт-инженер), со стороны клиента — проектный менеджер и fullstack разработчик.

Проект состоял из четырех основных этапов.

Этап 1. Аудит, исследование, подготовка процедур и промтов.

Мы посмотрели, какие решения есть на рынке, и насколько они отвечают нашим потребностям. Остановились на Open AI (начинали с 3,5, а сейчас отвечаем на 4o) как на самом стабильном и надежном варианте.

Параллельно с выбором языковой модели мы начали подготовку карт знаний, процедур и промтов. Запросили у клиента список тематик-интентов, с которыми обращаются в поддержку чаще всего, и прописали запросы и алгоритмы действия для контекстного бота.

Срок — 3 недели.

Этап 2. Интеграция и тестирование.

LLM довольно проста в интеграции с бэкендом, HelpDesk и базами данных. Схема такая:

Тестирование мы проводили в две стадии:

Тестирование в «песочнице». На тестовом стенде мы проверяли, насколько ответы бота соответствуют утвержденным требованиям и правилам. Мы брали реальные запросы от клиентов и задавали их боту. LLM собирала по ним информацию из доступных ей баз данных и выдавала ответ.

Тестирование через модерацию саппортов. Когда мы убедились, что LLM отвечает в рамках заданных правил, мы открыли ее на саппортов. Контекстный бот сам составлял ответ и добавлял его в тикет как комментарий. Саппорт проверял текст на соответствие требованиям и либо отправлял его клиенту, либо дорабатывал.

Срок — 6 недель.

Этап 3. Ответы клиентам.

Бот отвечал на все, на что он способен. Если данных не хватало, он эскалировал тикет на человека, помечая, в какие сроки нужно ответить клиенту.

Срок — 2 недели.

Этап 4. Работа над качеством ответов и покрытием каналов связи.

Сюда вошли разработка карт знаний по оставшимся тематикам-интентам, настройка дашбордов для оценки работы LLM, настройка системы алертов, обучение команды заказчика промт-инжинирингу и доработке карт знаний.

Мы начали работать над проектом в сентябре 2023 года, а уже в середине декабря выкатили контекстного бота на клиентов. Итого внедрение заняло 3,5 месяца. Сейчас мы находимся на стадии повышения качества ответов.

Из затрат на:

Стоимость запуска (Этапы 1-3)

Мы взяли зарплаты чуть выше рынка, чтобы точно уложиться в бюджет:

Проджект менеджер — 150 000 рублей в месяц;

Дизайнер диалога — 80 000 рублей в месяц;

Разработчик на 0,5 ставки — 200 000 рублей в месяц.

Итого: 430 000 рублей в месяц.

Стоимость поддержки качества (Этап 4)

Дизайнер диалогов — 80 000 рублей в месяц;

Разработчик 0,25 ставки — 100 000 рублей в месяц.

Итого: 180 000 рублей в месяц.

Стоимость токенов.

Токен — это минимальная единица измерения входного текста. Токеном может быть одна буква, одно слово или целая фраза — зависит от типа и задачи модели. Еще токены тратятся на действия, которые могут потребоваться для подготовки ответа. Например, если LLM для корректного ответа нужно перепроверить какие-либо данные. Чем сложнее запрос и длиннее ответ, тем дороже будет результат.

Рассмотрим на примере:

В данном случае к LLM предъявлялись следующие требования:

То есть в процессе обработки LLM произвела несколько действий, затратив 2173 токена. Финальная стоимость составила 0,96 рубля. Если бы условий было меньше, то и стоимость была бы ниже.

Что касается средней стоимости одного реплая и тикета, то она следующая:

Нам удалось сократить время обработки одного обращения в 27 раз — с 54 до 2 минут. Сейчас, спустя почти год после запуска проекта на клиентов, бот уже закрывает 36% обращений, поступающих в чат и на email поддержки. Это достаточно высокий показатель с учетом того, всегда есть часть запросов, с которой гораздо лучше справится человек. Например, когда речь идет о сложных кейсах или эмоциональных клиентах, для работы с которыми нужны опыт и экспертиза.

Если вы хотите быть в авангарде технологий и в перспективе снизить косты на поддержку, обращайтесь. Мы не только внедрим LLM-based сервис, но и поделимся экспертизой в промт-инжиниринге.

Пишите мне в телеграм @Ingalab или на почту inga@supprt.science.