Нейросеть знает ваш бренд, но путает цены, характеристики и даты. Как измерять ошибки AI

Клиент приходит с жалобой: «Нас почти не упоминают в нейросетях». Замер показывает обратное - упоминают, и чаще конкурентов в двух моделях из пяти. Проблема оказывается в другом. В ответе ChatGPT стоимость годового обслуживания ниже актуальной примерно на треть, в списке городов присутствия два города, где офисы закрылись в прошлом году, а в составе услуги названа опция, которую убрали из линейки.

Формально с видимостью всё хорошо. Фактически бренд получает обращения людей с неверными ожиданиями, и первые пять минут разговора менеджер тратит на опровержение того, что человеку сказала нейросеть.

Это отдельный тип проблемы, и обычным подсчётом упоминаний он не ловится. Ниже методика, по которой фактическую точность ответов можно замерить и привести к числу, а не к ощущению «там что-то напутано».

Метрики видимости отвечают на вопрос, попал ли бренд в ответ. Share of Voice, доля ответов с упоминанием, частота цитирования сайта - всё это про присутствие. Про содержание они не говорят ничего.

Тональность тоже не спасает. Ошибочная цена может быть подана в доброжелательном тоне, с рекомендацией обратиться именно к вам: тональность положительная, факт неверный, читатель дезинформирован.

Поэтому я бы разделяла AI-видимость на три уровня и измеряла каждый отдельно:

Для бренда здесь важнее другое: третий уровень единственный, где ошибка напрямую бьёт по деньгам и по доверию. Нулевое упоминание - это упущенная возможность. Неверная цена в ответе - это уже конфликт на входе в воронку.

В агентской работе расхождения почти всегда попадают в один из шести типов. Удобно сразу раскладывать проверку по ним.

Самая частая и самая дорогая зона. Модель выдаёт прошлогоднюю сетку, называет отменённую акцию, путает стоимость за месяц и за год, складывает цену базового тарифа с опциями. Отдельный случай - «от» без указания, что входит.

Закрытые точки, которые ещё числятся открытыми. Города, где компания никогда не работала, но попала в чей-то региональный обзор. Доставка «по всей стране» там, где её нет. Для сервисов - страны, в которых продукт недоступен.

Снятые с продаж позиции, несуществующие конфигурации, перепутанные характеристики соседних моделей, приписанные функции конкурента. Здесь же - сборная путаница, когда модель описывает ваш продукт, но параметрами чужого.

Год основания, год выхода продукта, численность, объём рынка, состав руководства, факт сделки или переименования. Такие ошибки выглядят безобидно, пока ответ нейросети не попадает в чужую презентацию или в статью журналиста.

Сроки, гарантии, возврат, минимальный заказ, пробный период, порядок расчётов. Эти пункты модели охотно домысливают по отраслевой норме, если на сайте они сформулированы расплывчато.

Старое название, прежний владелец, закрытое направление, ушедший спикер, прошлая версия позиционирования. Проблема обычно начинается не с нейросети, а раньше: в сети живут десятки публикаций трёхлетней давности, и никто их не трогал.

Причина у всех шести зон общая. Модель собирает ответ из источников разного возраста и разной надёжности: ваш сайт, каталоги-агрегаторы, старые публикации в СМИ, отзывы, чужие подборки. Свежесть источника для неё не равна приоритету, а явной даты в большинстве текстов просто нет.

Пока нет эталона, проверять нечего: любое расхождение превращается в спор о том, какая цифра правильная. Поэтому методика начинается не с нейросети, а с таблицы фактов, за которые компания отвечает.

На каждый факт - шесть полей:

Тридцати-шестидесяти фактов хватает, чтобы закрыть всё, что реально спрашивают о компании. Владельцев стоит назначить честно: цены подтверждает финансовая служба, характеристики - продукт, условия - юристы. Если реестр целиком висит на маркетинге, через два месяца он расходится с действительностью и проверять по нему бессмысленно.

На каждый факт нужны три разных вопроса, иначе замер покажет случайность, а не состояние.

Косвенный и сравнительный дают больше ошибок, чем прямой: в них модель достраивает ответ, а не воспроизводит карточку с сайта. Именно в таком виде вопрос и задаёт реальный человек.

Правила замера, без которых цифры нельзя сравнивать между собой:

Бинарная оценка «верно или неверно» тут мало что даёт, потому что разные ошибки лечатся по-разному. Я бы использовала пять категорий:

Разница принципиальная. «Устарело» - это работа с источниками, которые надо обновить или вытеснить. «Неверно» - это чужой контент, который модель связала с вашим брендом. «Отказ» - это пробел: факта просто нет в машиночитаемом виде, и его надо опубликовать.

Каждой ошибке ставьте критичность из реестра. Без этого отчёт превращается в список из сорока пунктов, где перепутанный год основания лежит рядом с ценой, заниженной вдвое.

Из разметки получаются четыре показателя, которые можно вести в динамике:

Последний показатель самый полезный и его чаще всего пропускают. Он превращает отчёт в план работ: не «ChatGPT ошибается в ценах», а «в ценах ошибаются два агрегатора и наш собственный PDF 2023 года, который до сих пор лежит в открытом доступе».

Периодичность: общий замер раз в месяц, блок цен и условий чаще. Отдельно стоит делать контрольный замер через три-четыре недели после любого изменения цены или линейки: это единственный способ увидеть, дошло ли обновление до моделей.

Порядок действий зависит от категории, но общая логика одна: нейросеть не исправляют напрямую, исправляют то, из чего она собирает ответ.

Ожидания по срокам стоит обозначить сразу: обновление доходит до ответов не за день. Реалистичное окно - от нескольких недель, и оно разное у разных моделей. Поэтому и нужен контрольный замер, а не одна проверка «исправилось ли».

Первый замер спокойно делается руками: таблица фактов, список вопросов, несколько моделей, разметка в том же файле. На тридцать фактов это один рабочий день, и он сразу показывает, где самые дорогие расхождения.

Дальше ручной режим упирается в объём. Шесть зон, три типа вопросов, три прогона, несколько регионов и несколько моделей - это уже сотни ответов в месяц, и их нужно сравнивать между замерами. На этом этапе переходят на GEO-сервисы: Profound, GeoRank, brandfound, Pixel Tools и другие. Смотреть в них стоит не только на долю упоминаний, но и на источники цитирования: без них расхождение не на что списать.

Что бы вы ни выбрали, реестр фактов всё равно остаётся вашим. Ни один сервис не знает, какая цена у вас актуальна сегодня.

Замер фактической точности меняет разговор о нейросетях внутри компании. Вместо «мы плохо видны в ИИ» появляется понятный список: девять расхождений, три из них критические, за двумя стоит один и тот же каталог, за одним наш собственный старый документ.

Если смотреть на задачу шире, это обычная работа с данными о бренде во внешней среде, просто у неё появился новый канал распространения, который пересказывает вас без вашего участия. Чем точнее факты лежат в источниках, тем меньше придётся объяснять их потом клиенту, журналисту и менеджеру на первом звонке.