Оцифровать нецифруемое: как понять, чем на самом деле робот хуже человека?

Аналитика — это не просто цифры и графики. Это ценный инструмент, который помогает руководителям, маркетологам и продакт-менеджерам принимать решения на основе данных и получать реальные бизнес-результаты. Например — улучшать и развивать продукт компании.

Откуда я это знаю? Просто я с данными работаю уже больше 10 лет, половину из которых руковожу дата-консалтингом. Мы строим системы аналитики для диджитал-компаний, и в нашем портфолио уже больше 40 успешных кейсов. Так что кое-что об аналитике я знаю.

Когда компания решает, что пора бы усовершенствовать свой продукт, перед ней открываются два пути.

Одна проблема — как быть, если нужные данные сложно оцифровать? Например, мы видим по отчетам, что продукт перформит хуже, чем хотелось бы, но почему? Цифры говорят о результатах, но не о причинах.

Показываю, как быть в таком случае, на примере одного из наших заказчиков. Чтобы решить его задачу, мы провели целое исследование с использованием ИИ и ML-алгоритмов и в итоге нашли способ улучшить его продукт.

Дисклеймер: заказчик реальный, а название вымышленное. NDA, сами понимаете.

Компания AI Sales автоматизирует работу отдела продаж с помощью ботов. По ТЗ от клиента их обучают так, чтобы они могли сами, как люди, вести переговоры и совершать продажи. Изначально боты были текстовые, но потом появились и голосовые, которые не просто отвечали на заявки, но и сами звонили потенциальным клиентам.

Ботом можно заменить весь отдел продаж во славу Skynet, чтобы сэкономить на зарплатах, а можно использовать его для того, чтобы разгрузить людей. Например, отдать ему рутинные задачи по холодному прозвону или подключать, когда сыпется слишком много заявок.

Ответ нужен был и заказчику, и его клиентам. Заказчику — чтобы увидеть сильные и слабые стороны своего продукта и понять, как его улучшить. Клиентам — чтобы быть уверенными, что в покупке бота есть смысл.

Все начинается с внедрения аналитики в основные бизнес-процессы нашего клиента.

Для начала мы сделали дашборд по выручке с разбивкой по клиентам, чтобы AI Sales могли следить за успехами своих ботов.

Нужно было разобраться, почему это происходит и что можно сделать, чтобы улучшить показатели. Для этого необходимо было сравнить, как переоформит настоящий отдел продаж в каждой из компаний, чтобы оценить результаты внедрения ИИ-сервиса.

Логичный первый этап исследования — сравнить показатели продаж бота и людей-сейлзов. Для этого мы запросили у клиентов AI Sales данные о продажах. Двое согласились: сервис заказа такси и онлайн-курсы IT-профессий.

Мы собрали данные из CRM-систем и сравнили результаты ботов и людей по следующим показателям:

Но почему так? Бот обучен командой из AI Sales компании по ТЗ от клиента и делает все то же самое, что обычные сотрудники — так почему он не конвертит?

Мы поняли, что в этом вопросе надо разобраться: ответ помог бы заказчику доработать продукт и сделать его более полезным для своих клиентов.

Как оценить такую абстрактную вещь, как “качество ведения разговора”? Чтобы докопаться до истины, нам надо было “посчитать” нечто, что сложно представить в сухих цифрах.

Для ответа на все эти вопросы мы провели целое исследование.

2. С помощью другой ML-модели изучили диалоги, которые вели боты. ИИ кластеризовал записи разговоров — то есть разбил их на группы по темам. Это помогло оценить, о чем боты говорят с лидами — не отклоняются ли от темы и адекватно ли они отвечают на вопросы.

Этот этап показал, что боты придерживаются тех же тем разговора, что и люди — рассказывают про услуги и цены, не “галлюцинируя”.

3. С помощью ChatGPT на основе обращений от лидов смоделировали несколько ситуаций и сравнили ответы ботов и людей. Это нужно было, чтобы детально оценить качество ответов.

Это показатели, которые сложно представить на удобном дашборде с графиками, но именно они помогли нам найти проблему. А вместе с ней — и путь к решению.

Итак, у нас на руках — детальная аналитика результатов работы бота и исследование о причинах его отставания от коллег-людей. Что с этим всем делать?

Результат: удобный инструмент для аналитики работы людей-продажников и бота, а также возросшая лояльность клиентов к AI Sales, которые по достоинству оценили точность данных.

Результат: то самое принятие решений на основе данных, о котором я говорил в начале статьи, и data-driven подход — AI Sales увидели реальную проблему продукта, и исправили его. Так они увеличили его эффективность — а значит и ценность в глазах клиентов.

***

Этой статьей я хотел показать, в чем главное предназначение аналитики — в решении реальных задач и проблем бизнеса. Иногда для этого достаточно сделать быструю выгрузку, иногда — собрать дашборд с ключевыми показателями, а иногда — провести исследование с привлечением ИИ.

Именно этим мы в LEFT JOIN и занимаемся: погружаемся в запрос заказчика и подбираем оптимальное решение. Если у вас есть запрос, связанный с аналитикой в компании, оставьте заявку нашему TG-боту. Мы свяжемся с вами и ответим на все вопросы!

→ Оставить заявку