Служба поддержки VS искусственный интеллект: как Консоль.Про тестировала ИИ

Рассказываем, как Консоль.Про решила проверить способность ИИ справляться с задачами службы поддержки.

Привет, это Консоль.Про. Мы помогаем компаниям сотрудничать с исполнителями: автоматизируем постановку задач, проводим оплаты, формируем чеки и акты.

Мы решили проверить, насколько ловко искусственный интеллект на базе GPT-4 справится с задачами нашей службы поддержки. Как проходил эксперимент и кто победил, читайте в этом материале.

Все просто: мы хотели испробовать новую технологию в деле и понять, на что она способна. Нас интересовал вопрос: сможет ли ИИ помогать пользователям круче нашей службы поддержки?

Гипотеза только на первый взгляд кажется безумной. На самом деле у современных моделей искусственного интеллекта, таких как GPT-4, огромный потенциал.

Так что все данные для поддержки клиентов у ИИ есть. Почему бы не протестировать его на практике, подумали мы. И решили попробовать.

У Консоль.Про есть две службы поддержки: для компаний-клиентов и для самозанятых исполнителей. Мы решили протестировать бота на последних. Вопросы от клиентов-компаний, как правило, сложные, для ответов на них нужна техническая экспертиза. Часто для решения проблемы сначала нужно последовательно совершить несколько действий. Такую работу боту пока не доверить.

Исполнители задают большое количество простых однотипных вопросов:

– Как подписать акт выполненных работ?

– Как установить приложение на телефон?

– Мне не пришли деньги, что делать?

– У меня долго открывается приложение, как поступить?

Почти все ответы на возможные вопросы исполнителей есть в базе знаний Консоль.Про. Нам казалось, что, если ИИ дать ответы на все вопросы, он хорошо справится с задачами службы поддержки. Мы решили проверить эту гипотезу.

Вот как проходил эксперимент Консоль.Про по тестированию сил ИИ в поддержке самозанятых исполнителей.

Шаг 1. Выбор подрядчика

Мы выбрали небольшую компанию, которая занимается разработкой ботов для служб поддержки.

Наш подрядчик предлагал простые решения, которые не подразумевали долгую интеграцию и обучение. Под наши задачи это подходило идеально: при небольшом бюджете можно быстро настроить бота и опробовать его на реальных задачах.

Шаг 2. Настройка бота

Для того чтобы бот работал, ему надо дать всю или почти всю информацию, которой владеет служба поддержки. Для этого мы использовали расширенную базу знаний Консоль.Про — она содержит ответы на 80% вопросов, которые могут возникнуть у исполнителей.

Мы «скормили» эту базу знаний боту, чтобы он мог находить ответы на вопросы пользователей.

Дальше настроили бота по параметрам «эмоциональность» и «креативность».

– Мы хотели, чтобы бот был в меру «эмоциональный»: умел распознавать эмоции и реагировать на них, был дружелюбным и похожим на человека.

– Мы хотели, чтобы бот был в меру «креативным»: умел находить ответы в базе знаний, но в тоже время мог поддержать любой диалог и ответить на вопрос о населении Лондона и погоде в Бангладеше.

Шаг 3. Внутреннее тестирование бота

После настройки параметров бота и его обучения мы перешли к самому интересному — тестированию бота. Сотрудники Консоль.Про задавали вопросы ИИ, чтобы проверить, насколько хорошо он справляется со своими задачами.

На этом этапе ботом все были довольны, он хорошо справлялся с вопросами сотрудников Консоль.Про.

Шаг 4. Тестирование бота на реальных клиентах

Обрадовавшись первыми результатам, мы перешли к главному этапу — тестированию бота в реальной жизни. И здесь нас ждало разочарование. Бота как будто подменили.

Вот только некоторые проблемы, с которыми мы столкнулись.

Проблемы с вызовом человека. Важное условие эксперимента — не заменить поддержку ИИ, а предоставить клиентам альтернативу. Поэтому мы не хотели прятать опцию «вызов человека». По задумке бот должен был по первой просьбе исполнителя подключать оператора. Нам казалось, что с этим проблем возникнуть не должно. Но мы ошиблись.

Большинство компаний, которые автоматизируют службу поддержки, хотят как можно больше снизить затраты на подключение операторов. Некоторые фирмы и вовсе не дают такую возможность пользователю.

Наверное, поэтому наш подрядчик очень удивился такой просьбе и плохо с ней справился. Бот не только не переводил исполнителей к операторам, но и сообщал неверную информацию, что он не может этого сделать. Иногда бот и вовсе принимал себя за человека! Исправить это не получалось.

Подрядчик так и не смог выполнить нашу просьбу — бот стоял на своем. В итоге нам предложили другое решение: сделать так, чтобы к каждому ответу бота прилагалась кнопка «Позвать человека».

Кнопка появилась, но если исполнитель звал человека в сообщении, бот все равно отказывал ему в этой возможности.

Проблема с обращением к базе знаний. Но самая главная проблема — бот не всегда обращался к базе знаний. Иногда он мог прогуглить ответ или предоставить неверную информацию. Это были непростительные ошибки.

Проблема с контекстом. Бот, как правило, хорошо справлялся с прямо поставленными полными вопросами. Если бота спрашивали: «Как мне получить выплату на карту?» — чаще всего он отвечал верно.

Но все менялось, если суть вопроса нужно было понять из контекста — предыдущих сообщений пользователя. В таких случаях бот отвечал невпопад.

Например, в базе знаний для исполнителей слово «оплата» используется в нескольких разделах: оплата налогов, оплата на карту. ИИ не мог из контекста понять, какой раздел ему надо смотреть. Исполнитель мог спросить, как получить выплату на карту, а бот отвечал про то, как ему оплатить налоги. Бот не учитывал контекст и не задавал уточняющих вопросов — он случайно выбирал, как ему ответить.

Эксперимент продлился совсем недолго: пара недель ушла на настройку бота, три дня на внутреннее тестирование и всего несколько часов на тестирование в реальной жизни. После четырех часов тестирования бота на реальных исполнителях мы уже смогли сделать первые выводы.

Наша гипотеза, что бот на базе GPT-4 может сравниться со службой поддержки, не подтвердилась. Качество ответов было в разы хуже ответов наших операторов. Бот не улавливал контекст, отвечал невпопад, на одинаковые вопросы давал разные ответы. Эксперимент решено было прекратить.

Эксперимент был изначально задуман как небольшой челлендж. Сейчас у Консоль.Про замечательная служба поддержки — вводить ИИ никто не собирался. Поэтому мы не ставили целью сделать рабочего бота — мы лишь хотели посмотреть, на что он способен «в стартовой комплектации».

Может быть, часть проблем удалось бы решить при большем бюджете и дополнительном этапе «дообучения» бота. Но мы намеренно обошлись без этого. Эксперимента хватило, чтобы понять: у ИИ есть будущее, но пока наша служба поддержки гораздо круче.

Но для себя эту дверь мы не закрываем. Если компания и дальше будет расти, а ИИ развиваться, мы обязательно вернемся к этой идее и попробуем внедрить бота снова.

#самозанятость

#искусственныйинтеллект

#чатботы

#gpt4