Нейросеть назвала компанию — и рассказала о ней неправду. Разбор на 22 объектах
Считается, что задача одна: попасть в ответ нейросети. На практике задач две, и вторая почти никем не измеряется — что именно система рассказывает, когда всё-таки называет компанию. Прогнал 22 объекта через шесть нейросетей и разобрал ответы построчно.
Средний индекс узнаваемости оказался 56,7 из 100
Выборка — 22 телеграм-канала про нейросети, то есть тема, в которой модели должны ориентироваться лучше всего. Прогон шёл через ChatGPT, Claude, Perplexity, Gemini, Алису AI и GigaChat.
Считал по двум типам вопросов: прямой по названию и общий без названий, где система выбирает сама. Второй тип дал 168 ответов.
Каждый пятый объект система не узнала по прямому вопросу
18,2% выборки — четыре объекта из 22 — остались неопознанными даже при прямом вопросе с названием.
Причина не в качестве самих проектов, а в отсутствии внешнего следа: про них нечего прочитать на площадках, до которых система дотягивается. Нет разборов, подборок, упоминаний в отраслевых материалах — для модели объект не существует.
Отсутствие в ответе безопаснее, чем уверенная выдумка
Здесь начинается вторая, менее очевидная задача.
Когда система признаёт, что не знает объект, пользователь идёт искать дальше. Потери ограничены одним касанием.
Хуже, когда модель не признаёт незнания и достраивает ответ по созвучию: берёт название, находит похожее слово и выдаёт связный рассказ. В нашей практике так спортивные клубы превращались в автомобиль, пиво и военный чин: модель уверенно излагала биографию, которой не было. Пользователь при этом не имеет ни одного повода усомниться — текст выглядит гладко.
Для компании это хуже пустого ответа: отсутствие просто не даёт касания, а выдумка формирует неверные ожидания у человека, который до вас ещё дойдёт.
Точность и узнаваемость — разные величины
Из разбора следует вывод, ломающий привычную логику: бренд, который система называет чаще всех, не обязательно тот, о ком она рассказывает точнее всех.
Порядок по узнаваемости и порядок по точности описания в наших замерах совпадают меньше чем наполовину. То есть работать надо по двум направлениям сразу, и второе требует ручного чтения ответов: автоматическая метрика присутствия ошибок в описании не видит.
Как проверить свою компанию за час
- Задайте шести моделям прямой вопрос: что за компания с таким названием.
- Задайте общий вопрос по вашей нише без названия — посмотрите, всплывёте ли сами.
- Прочитайте ответы целиком и отметьте фактические ошибки: услуги, город, годы, принадлежность.
- Сохраните источники, на которые опиралась система: это площадки, где ваши факты либо есть, либо отсутствуют.
- Повторите замер через месяц по тому же списку вопросов, чтобы увидеть динамику.
Что запомнить
Присутствие в ответе — только половина задачи. Вторая половина — что именно система рассказывает: в теме, где модели должны знать всё, каждый пятый объект остаётся невидимым, а часть описаний оказывается выдумкой. Измерять нужно обе величины, и вторая считается только чтением ответов руками.