Сервис работает, ответы приходят, ошибок в логах нет. А качество ответов могло упасть: поменяли модель, урезали контекст, кто-то поправил системный промпт. Жалоба клиента при этом оказывается первым сигналом.
Я сделал прототип, который ловит такое без ручной разметки. Идея простая, повторить её можно и без моего кода:
Один вопрос нейросети о вашей компании может показать, где у вас устаревшие данные.
Недавно в новостях мелькнула мысль, которая меня зацепила. О компании может появиться неточная информация не в СМИ, а в ответах ИИ, и потенциальные клиенты, партнёры и инвесторы получат её, когда спросят про вашу отрасль. Раньше такое проверяли поиском по названию. Т…
Красивое демо бота сделать легко. Плохой бот в работе обходится дорого: выдумывает цену, срок или правило, и клиент верит, потому что звучит уверенно. Я много проверял таких ботов и показываю, какие вопросы подрядчику задал бы сам. У каждого есть признак хорошего ответа и признак тревожного.
1. Как вы измерите качество до запуска?
Я много времени провожу за проверкой ботов, которые отвечают по документам компании. Бот занимает меньше, чем проверка. Красивый ответ на удобный вопрос выдаст любой. Интересно, что бот делает на неудобных.
Недавно под моим постом в TenChat читатель написал про бота, который принимает заказы на заборы: хорошо бы проверять, отличает ли он предварител…
Весной я собрал Telegram-бота для холодных B2B-писем. Вы называете нишу и город или загружаете Excel с контактами. Бот находит компании, ищет человека, который принимает решения, читает сайт компании и пишет ей короткое письмо с учётом того, чем она на самом деле занимается. Потом отправляет письма с ваших ящиков, через три дня делает follow-up и с…