Я разобрал 1 000 диалогов своего ИИ-продавца: в 4 случаях из 10 он сливал клиента. Показываю, где именно

Я основатель Clora — сервиса ИИ-агентов для продаж. По законам жанра мне положено писать «как ИИ поднял конверсию на 47%» и рисовать график вверх и вправо. Вместо этого я с согласия клиентов выгрузил 1 000 обезличенных диалогов их агентов и две недели вручную размечал: вот здесь агент довёл человека до покупки, а вот здесь — потерял.

Мне было интересно не «какие мы молодцы», а обратное: где именно мой продукт сливает чужие деньги.

Ответ: в 38% диалогов. Причём в разметку я шёл с готовой гипотезой — «во всём виноваты галлюцинации модели». Гипотеза не пережила первую сотню диалогов: на галлюцинации пришлось всего 11% сливов. Остальное сделали мы сами и наши клиенты — настройками, промптами и базами знаний.

Ниже — пять сценариев слива с реальной перепиской и чек-лист. Если у вас работает любой ИИ-продавец, не обязательно наш, этот разбор сэкономит вам деньги.

Сразу про этику, чтобы закрыть вопрос до комментариев. Все диалоги — от клиентов, которые дали согласие на анализ переписок для улучшения сервиса. Выгрузки обезличенные: без имён, телефонов и персональных данных. В примерах названия товаров и детали изменены, суть диалогов сохранена. С владельцами, чьи кейсы цитирую, публикацию согласовал отдельно.

Теперь к методике. Выгрузка: 1 000 диалогов за два месяца, четыре ниши — одежда, мебель, услуги, страхование. Из выборки убрал спам, тесты самих владельцев и диалоги короче двух реплик.

Сливом я считал диалог, где у клиента было видимое покупательское намерение — спрашивал цену, наличие, условия, просил подобрать, — но всё закончилось ничем: без заказа, без лида в CRM, без передачи менеджеру. Человек пришёл с деньгами и ушёл в тишину.

Размечали вдвоём — я и один из наших менеджеров, спорные случаи пересматривали вместе. Скажу честно: это не академическое исследование, а вскрытие собственного продукта. Погрешность есть, порядок цифр честный.

Итог: 62% диалогов закончились заказом, лидом или корректной передачей человеку. 38% ушли в слив. Вот его анатомия — сначала коротко, дальше каждый сценарий с перепиской:

Магазин мебели:

Клиент: А этот диван в рогожке бывает? Или только велюр?

Агент: Отличный вопрос! Диван «Осло» представлен в нескольких вариантах обивки. Уточните, пожалуйста, что для вас важнее: практичность или тактильные ощущения?

Клиент: Мне в рогожке нужно. Так есть или нет?

Агент: Понимаю вас! Рекомендую рассмотреть наши варианты обивки, каждая имеет свои преимущества.

Клиент ушёл.

В базе знаний владельца просто не было информации об обивках. Агент не знал ответа — и вместо честного «уточню у менеджера, оставьте телефон» начал генерировать вежливую пустоту. Два уклончивых ответа подряд, и человек, готовый купить диван за 60 тысяч, закрыл чат.

Дыры в базе — не баг ИИ, а зеркало того, что владелец сам не написал. Но клиенту всё равно, чья это вина: он видит магазин, который не может ответить, есть ли у него товар.

Что починили: при отсутствии ответа агент теперь обязан сказать об этом прямо и предложить связать с человеком, а владелец получает список вопросов, на которые база не смогла ответить.

Урок для любого бота: «не знаю, узнаю у менеджера» продаёт лучше, чем красивая формулировка ни о чём.

Страхование:

Клиент: Сколько стоит страховка на Киа Рио 2021?

Агент: С удовольствием рассчитаю! Оставьте, пожалуйста, ваш номер телефона, и я подготовлю персональное предложение.

Клиент ушёл.

Знакомо? Самое неприятное — это сделали не клиенты и не модель, а мы. Владельцы просили лидов, и мы поставили агентам приоритет «собирай контакты». Получили обратный эффект: человек задал простой вопрос, а его встретили анкетой. В мессенджере это ощущается как холодный звонок — и люди закрываются.

Разметка показала закономерность: если агент сначала давал пользу — цену, расчёт, наличие, — и только потом просил контакт, телефон оставляли в разы чаще. Звучит очевидно. Но до разбора тысячи диалогов приоритеты у половины наших агентов стояли ровно наоборот. Починили дефолтные промпты: сначала ответ, контакт — вторым шагом.

Урок: лидогенерация, вкрученная поперёк пользы, убивает и пользу, и лидогенерацию.

Клиент: Ок, а если я сегодня закажу, в пятницу привезёте?

Агент: Доставка по Москве занимает 2–4 рабочих дня. Также у нас есть самовывоз со склада. Хотите узнать подробнее об условиях доставки?

Клиент: Да я заказать хочу.

Агент: Отлично! Расскажу, как оформить заказ. Вы можете выбрать товар в каталоге...

«Если я сегодня закажу» — это не вопрос про логистику. Это «берите меня тёпленьким». Агент вместо этого продолжил работать справочной службой.

Самый дорогой сценарий — потому что здесь теряется клиент, который уже стоит на кассе с картой в руках. В сценарии 1 человек ещё выбирал; здесь он уже выбрал.

Технически это ошибка маршрутизации: вопрос ушёл к «консультанту» вместо «оформителя заказа», потому что формально был про доставку. Чинили дольше всего — пришлось учить маршрутизатор смотреть не на форму вопроса, а на стадию диалога. Если человек сказал «сегодня закажу», любой его следующий вопрос — это вопрос покупателя, а не любопытствующего.

Урок: намерение купить живёт не в отдельной фразе, а в контексте всего диалога. Бот, который классифицирует реплики по одной, будет промахиваться именно на горячих клиентах.

Страшно не когда ИИ не знает. Страшно, когда он уверенно знает неправильно.

Агент: Кресло «Берген» стоит 24 900 рублей, сейчас действует скидка.

Клиент: Беру!

Менеджер (утром, вручную): Здравствуйте! Небольшая поправка: актуальная цена 31 400 ₽, на сайте старая информация...

Клиент: Понятно. Не надо.

Разбор показал: модель тут почти ни при чём. Владелец обновил цены на сайте, но не обновил файл прайса, загруженный агенту месяц назад. Агент честно отвечал по своей базе — а база врала. Клиент получил классический обман с ценой и ушёл с худшим впечатлением, чем если бы ему вообще не ответили. Хуже потерянного заказа только потерянный заказ плюс подорванное доверие.

Вывод для любого ИИ-инструмента: устаревшая база знаний хуже отсутствующей. Синхронизацию цен и остатков с системой учёта мы после этого перенесли из «потом доделаем» в приоритетные фичи.

Клиент: Возьму эту куртку в М и на всякий случай в L, потом одну верну.

Агент: Судя по таблице размеров и вашим параметрам, вам однозначно подойдёт М. Заказывать два размера нет необходимости, так вы сэкономите на возврате.

Клиент: ...ну ладно, тогда только М.

Формально агент срезал сумму заказа вдвое, поэтому по методике диалог попал в сливы. Фактически он сэкономил магазину обработку возврата, а клиентка через месяц вернулась за вторым заказом. Лояльность вышла дешевле любой бонусной программы.

Я долго думал, куда это отнести. В сливах оставил по формальному признаку, в статью взял по любви. Такие случаи — единичные внутри тех самых «прочих» 13%, но они лучше всего показывают: метрика «сумма чека здесь и сейчас» — не всегда то, что стоит максимизировать.

Чтобы не казалось, что ИИ-продавец — сплошь машина по сливу клиентов, цифры из тех же 1 000 диалогов:

Честный баланс такой. Да, агент сливает 4 из 10 там, где живой менеджер, возможно, дожал бы. Но живой менеджер физически отсутствует в трети диалогов вообще. Вопрос не «ИИ или человек», а «где чинить ИИ и куда ставить человека».

Работает для любого бота, не только нашего.

Нашли проблемы на пунктах 2–5 — значит, вы теряете деньги молча. Как терял я, пока не сел читать выгрузку.

Ручная разметка заняла у нас с менеджером почти две недели. Полезно, но повторять такое каждый месяц нереально, а сливы не ждут. Поэтому мы превратили эту разметку в отдельного агента-валидатора, который делает то же самое на автомате.

Раз в неделю он проходит по диалогам каждого аккаунта и ищет паттерны из этой статьи: два уклончивых ответа подряд, запрос контакта до ответа на вопрос, сигналы готовности купить, на которые агент не отреагировал, расхождения между названной ценой и актуальным прайсом.

На выходе владелец получает не дашборд с абстрактной конверсией, а конкретный отчёт: вот 12 вопросов, на которые базе знаний нечего ответить, — добавьте информацию про обивки и сроки гарантии. Вот 3 диалога, где клиент сказал «беру», а агент ушёл в справку. Вот 2 цены, которые разошлись с сайтом.

Часть проблем валидатор чинит сам: дыры в базе превращаются в готовый список вопросов для дозаполнения, а расхождения цен блокируются до синхронизации. А вот изменения промптов и логики он только предлагает — применяет человек. Мы сознательно не дали ИИ право молча перенастраивать ИИ: после сценария 4 понятно, чем заканчивается слепая вера в автоматику.

По сути это та самая работа из чек-листа, только не час в месяц руками, а постоянно и по всем диалогам сразу.

«38% сливов — это много или мало? С чем сравнивать?» Честно: не знаю. Публичных бенчмарков по живым отделам продаж в переписке я не нашёл, а свои тайные закупки у клиентов не проводил. Если у вас есть цифры по живым менеджерам — сколько обращений с намерением купить они доводят до сделки, — принесите в комментарии, это самое интересное, чего не хватает этому разбору.

«Сам себя проверил — сам себе поверил». Да, это не исследование, а вскрытие собственного продукта, и я прямо об этом пишу. Разметка ручная, критерии описаны выше, повторить её на своём боте можно за час по чек-листу — и проверить, вру я или нет.

«Так это реклама». Чек-лист работает без нас и без денег. Если после него вы почините своего бота на другой платформе — статья свою задачу выполнила.

Когда я начинал разметку, то был уверен, что проблема в модели. Почти все ошибки оказались нашими: настройки по умолчанию, порядок вопросов, дырявые и устаревшие базы знаний. Поэтому если вы используете вообще любого ИИ-продавца — начните с чек-листа выше.

Clora — мой продукт, все провалы из этой статьи — его провалы, и большую их часть мы починили именно после этой разметки.

А если разбирали диалоги своего бота и находили сценарии слива, которых нет в моём списке, — расскажите в комментариях. Соберу вторую часть.