Почему ИИ-бот отвечает ерунду, и это не вина нейросети

Каждый месяц кто-то мне рассказывает одну и ту же историю. Поставили ИИ-бота, он две недели отвечал бодро, а потом его тихо выключили: «отвечает ерунду». И почти всегда причина не в модели.

Harvard Business Review посчитал по 2241 компании: средний ответ на заявку занимает 42 часа, а 23% заявок вообще остаются без ответа. Именно ради этих часов бизнес заводит бота. И именно поэтому разочарование в нём такое острое: ждали мгновенной замены менеджера, получили источник новых жалоб.

Нейросеть обучена на всём интернете и с одинаковой уверенностью расскажет про погоду и про ваши сроки доставки, которых никогда не видела. Спросите её о цене, если она не знает вашу, она назовёт что-то похожее на рыночное среднее. Клиент это примет за официальный ответ, а менеджер потом будет объясняться.

Лечится не тонкой настройкой промпта, а базой знаний: реальные переписки за последние месяцы, вопросы и ответы, за которые компания готова отвечать. И жёсткое правило поверх: если вопроса нет в базе, бот не сочиняет, а пишет, что уточнит у менеджера, и передаёт диалог. Именно этот запрет, а не более умная модель, убирает большую часть жалоб на вранье бота.

Вторая причина провала в том, что бот отвечает, и на этом его работа заканчивается. Контакт не записан, заявка не создана, менеджер не в курсе, что кто то интересовался. Формально бот работает, отчёт показывает сотни диалогов, а воронка продаж пустая.

Рабочий бот это не умный автоответчик, а тот, у кого есть три инструмента: записать контакт, создать заявку, позвать человека, когда разговор выходит за рамки типового. Без этого действия получается демонстрация возможностей, а не рабочий процесс.

Третья причина скучнее первых двух, поэтому её чаще всего пропускают. После запуска диалоги никто не открывает. Одна и та же ошибка повторяется сотнями клиентов, потому что её просто некому заметить.

Проверка простая: раз в неделю прочитать двадцать случайных диалогов. Час времени, не проект. И это единственный способ узнать, что бот действительно говорит клиентам, а не что написано в техническом задании.

Количество ответивших диалогов ничего не говорит об окупаемости. Бот, который поговорил с тысячей человек и не оставил ни одного проверенного контакта, не работает, сколько бы красивой статистики ни было в отчёте.

Смотреть стоит на стоимость проверенного контакта, время первого ответа и долю диалогов, закрытых без участия менеджера. Если контакт через бота обходится дороже, чем через живого человека, при том же качестве заявки, настройка не закончена, а только начата.

А у вас был опыт с ИИ-ботом, который в итоге выключили? Расскажите, что пошло не так: он врал, молчал, или просто никто не заметил, что он работает не так, как задумано.