Я спросил ChatGPT про свой рынок из четырёх городов: в общем рейтинге бренд в тройке, в двух городах его нет

Один вопрос, четыре города, две модели. Ответы разошлись так, что усреднённая цифра видимости перестала что-либо значить. Показываю замер по 192 ответам и то, как я после него переделал мониторинг.

Генеральный прислал в чат скриншот. Он спросил у ChatGPT, к кому идти за такой услугой, как у меня в отделе, увидел в ответе двух конкурентов, а моего бренда не увидел. У меня в отчёте за август по этому же вопросу стояло третье место.

Два экрана, один вопрос, разные бренды. Разбираться пришлось мне.

17 сентября вышло исследование о том, что ChatGPT и Gemini меняют рекомендации в зависимости от города и языка пользователя. Я прочитал его уже после того, как полез пересчитывать сам. Порядок неудобный, проверять надо было раньше.

Считаю по порядку.

Методику разложу до выводов, иначе цифрам нет цены. Отдел из шести человек, B2B-услуги, средний чек в районе полумиллиона. Замер я делал сам, с 1 по 14 сентября, по два прогона в неделю.

На каждый город приходится 24 ответа на русском, это 12 формулировок на две модели. Доля ответов, где назвали мой бренд, разошлась так.

В среднем 14 упоминаний из 96, это 15% и третье место среди девяти брендов моего рынка. У лидера 38%, и он единственный, кого называют во всех четырёх городах.

На английском те же 12 формулировок дали 2 упоминания из 96, оба в ChatGPT и оба в московском гео. Причина видна в источниках ответа: модель цитирует русскоязычные отраслевые площадки, а в англоязычной выдаче моего бренда просто нет, как нет и текстов про него.

Краснодар, где у меня в этом году два действующих контракта, в ответах не дал ни одного упоминания. Вот здесь и вылезло.

Счёт первый, тот, который я сдавал руководству в августе: видимость 15%, третье место среди девяти брендов, плюс 4 пункта к июлю. Аккуратная цифра, растущая динамика, вопросов на планёрке не возникает.

Счёт второй, тот же массив, разложенный по сегментам: от 29% в Москве до нуля в Краснодаре и до двух упоминаний из 96 на английском. Это не одна видимость с погрешностью, это четыре разные картины рынка, склеенные в одно число.

Сломалось на усреднении. Средний рейтинг существует только в отчёте, у клиента его нет: клиент сидит в одном городе, спрашивает на одном языке и видит один ответ. Пока я считал общую цифру, я считал то, чего никто не видит.

Легко объяснить это тем, что моделям нужно время и мои тексты просто не успели проиндексироваться. Но лидер рынка появляется во всех четырёх городах на том же корпусе площадок, значит дело не во времени, а в том, где и на каком языке про бренд написано.

Первые две недели я считал руками, в таблице: прогон, скриншот, отметка. Один полный прогон по 192 ответам забирал у меня от 8 до 10 часов, и на второй неделе стало понятно, что раз в квартал так замерить можно, а раз в неделю нет.

Дальше считаю видимость по сегментам в brandfound: гео-сигнал там задаётся на каждый запрос, охват 249 стран и 184 языка опроса, оплата авансовым балансом от 1 900 рублей, средства не сгорают. Рядом смотрел GeoRank: он показывает факт цитирования, но не объясняет, почему бренд появился в ответе, а старт стоит 20 000 рублей в месяц. Третий сервис отвалился на согласовании с безопасностью, выгрузку он отдавал только на свой контур.

Два счёта такие. Своими руками это 9 часов на прогон и 0 рублей подписки, но раз в квартал. Через платформу это порядка получаса на сборку отчёта и расход по балансу, зато каждую неделю и в разрезе по городам.

Теперь то, ради чего я это считал. Если у вас продажи идут больше чем в одном регионе, ваш общий рейтинг видимости скрывает ровно то же самое, просто вы это пока не разложили.

Замерить просто: возьмите свои десять клиентских вопросов и прогоните их с гео двух городов, где у вас есть выручка. Разброс больше десяти пунктов означает, что средняя цифра в отчёте больше не отчёт.

Что я поменял у себя.

Подтвердилось, что видимость в нейросетях считается по сегментам, а не одним числом: разброс между городами оказался больше, чем весь рост за квартал. Не подтвердилось предположение, что дело в одной модели: ChatGPT и Gemini разошлись между собой заметно меньше, чем города между собой.

Для тех, кто защищает бюджет: разложить видимость по регионам и языкам сейчас дешевле, чем через полгода объяснять генеральному, почему в отчёте рост, а на его собственном экране бренда нет.

Что у вас в отчёте по видимости в нейросетях: одна общая цифра, разрез по регионам, разрез по языкам или пока ничего не считаете?

Пишу здесь про то, как отдел маркетинга работает с нейросетями: процессы, бюджеты, замеры. Подписывайтесь, буду благодарен за плюс.