Правда об аналитике вашего присутствия в ИИ: разбираемся под капотом GEO-анализаторов

20000+ руб. за неправльные отчеты? На рынке появилось много сервисов, которые предлагают мониторить, как ваш бренд упоминается в ChatGPT, Claude, Нейро, Gemini и других нейросетях. Красивые дашборды, графики динамики, проценты упоминаемости, sentiment-анализ, сравнение с конкурентами. Это правда работает и выдает нужную инфо? (Спойлер 1 - нет. Спойлер 2 - рассказал как это сделать правильно.)

Я полез разбираться, как эти сервисы устроены под капотом — и обнаружил, что цифры в дашбордах часто означают совсем не то, что думает клиент. При этом сама идея мониторинга — здравая и нужная. Просто индустрия молодая, и почти никто честно не объясняет, что именно вы видите на экране.

Разберём по порядку: какие цифры можно получить, какие нельзя, и как отличить честную аналитику от красивой пустышки.

Логика простая. Раньше люди искали в Google, теперь всё чаще спрашивают у нейросетей. «Какой CRM выбрать», «лучший банк для ИП», «куда поехать в августе» — миллионы таких запросов уходят в ChatGPT и Нейро вместо поисковика. Если ваш бренд упоминается в ответах — вы получаете клиентов. Если упоминаются только конкуренты — вы их теряете и даже не знаете об этом.

GEO-анализатор должен дать ответ на простые вопросы:

Звучит как обычный brand monitoring, который мы знали по соцсетям и СМИ. Но с LLM всё сложнее, и вот почему.

Все GEO-анализаторы работают через API нейросетей. Иначе никак — нельзя руками тысячу раз в день открывать ChatGPT и копировать ответы. И вот тут зарыта главная мина всей индустрии: ответ через API и ответ в приложении — это не одно и то же.

Когда ваш потенциальный клиент Вася открывает ChatGPT в браузере или приложении, он получает ответ, который зависит от кучи факторов:

Когда тот же запрос уходит через API — ничего из этого нет. Вы получаете «голую» модель: без поиска (если явно не включить), без памяти, без кастомных инструкций, с пустым или вашим системным промптом.

С Gemini та же история — в приложении агрессивно подключён Google Search, через API без явных настроек модель отвечает по внутренним знаниям. Яндекс Нейро вообще отдельный продукт поверх YandexGPT с обязательным поиском по Яндексу и своими промптами — через API YandexGPT вы получите принципиально другие ответы.

Насколько серьёзно расходятся данные:

Что это значит, когда вы смотрите на дашборд. Цифра «упоминаемость в ChatGPT — 23%» в большинстве сервисов означает: «в 23% наших API-запросов модель упомянула ваш бренд». Это не «23% реальных пользователей ChatGPT видят упоминание». Это статистический срез голой модели в искусственных условиях.

Это не значит, что цифра бесполезна. Она показывает системную видимость бренда в модели — насколько модель в принципе «знает» про вас в среднем сценарии. Это валидная и полезная метрика. Но она не равна пользовательскому опыту, и если сервис обещает иначе — он врёт.

Альтернатива — гонять реальные приложения через автоматизацию браузера. Технически возможно, но это нарушение ToS у всех провайдеров, аккаунты банят, капчи задалбывают, скорость в 10-20 раз ниже, цена в разы выше. Серьёзные игроки от этого отказались и используют API. Кто-то использует браузерные прогоны раз в неделю для калибровки — это разумный компромисс.

Это вторая фундаментальная проблема, которую мало кто проговаривает: один и тот же запрос через час даёт разный ответ. Это не баг. Это природа LLM — модель генерирует токены вероятностно, и при любой температуре выше нуля разброс неизбежен.

Я проверял: одинаковый запрос «лучшие CRM для малого бизнеса» в ChatGPT даёт пересекающийся, но не идентичный список брендов от запуска к запуску. Где-то Битрикс на первом месте, где-то на третьем. Где-то упоминается amoCRM, где-то нет. И это всё одна и та же модель в одну и ту же минуту.

Что это значит для аналитики. Если сервис прогоняет каждый запрос один раз — его цифры случайны. Замер «упоминаемость 23%» сегодня и «18%» завтра не значит, что динамика упала. Это шум.

Что должны делать честные сервисы:

Если в дашборде вы видите ровные графики динамики без указания методологии и без вариативности — спросите у сервиса, сколько прогонов на запрос они делают. Если меньше пяти — относитесь к данным как к ориентиру, а не как к точному измерению.

Это самый важный момент для интерпретации цифр. У нейросети есть два совершенно разных способа что-то «знать»:

Первый — веса модели. То, что зашили при обучении. Сюда попадают данные на момент тренировки и больше ничего. Обновляются веса редко: GPT-4o/5 — раз в полгода, Claude — раз в 4-6 месяцев, Gemini — раз в 3-6 месяцев. Между cutoff данных и публичным релизом проходит 3-9 месяцев. То есть веса всегда отстают от реальности на 6-18 месяцев.

Второй — веб-поиск в момент ответа. Когда у модели включён интернет (ChatGPT с web search, Perplexity, Gemini с grounding, Нейро, Copilot), она ходит в поисковик и читает свежие страницы. Это работает мгновенно — статья, опубликованная вчера, может появиться в ответе сегодня.

Почему это критично для аналитики. Если вы смотрите на дашборд «упоминаемость в ChatGPT» и видите рост на 15% за месяц — это два разных феномена в зависимости от режима:

Хороший GEO-анализатор должен разделять эти два режима в дашборде и явно говорить, какой режим включён для каждой модели. Плохой — смешивает всё в одну цифру, и непонятно, что она означает.

Это же объясняет, почему «прокачать базовое знание модели о вашем бренде» — задача почти невыполнимая в обозримые сроки. А вот «попасть в ответы с веб-поиском» — реально и быстро, потому что это по сути продвижение в Bing/Google/Яндексе с расчётом на то, что LLM эту выдачу процитирует.

Ниже — чек-лист, что я бы хотел видеть в нормальном сервисе:

Методология открыто и подробно. Через какие модели меряют (с указанием версий). Через API или браузер. С поиском или без. Сколько прогонов на запрос. Из какой геолокации идут запросы. На каком языке.

Разделение «знание весов» и «веб-поиск» для каждой модели. Это два разных канала, и метрики по ним нужно смотреть отдельно.

Доверительные интервалы или хотя бы разброс по прогонам. Не просто «23%», а «23% ± 4%».

Список упомянутых брендов в каждом ответе с возможностью просмотреть полный текст. Без этого нельзя проверить, что модель действительно упомянула вас, а не какую-то неверную интерпретацию регулярки.

Sentiment-анализ с примерами. Если сервис говорит «38% упоминаний негативные» — должна быть возможность увидеть эти конкретные ответы.

Источники цитирования. Когда модель отвечает с поиском, она часто указывает URL. Эти URL — золото для аналитики: видно, какие сайты модели считают авторитетными по вашей теме. Если сервис не отслеживает источники — он не использует половину доступной информации.

Share of Voice. Доля упоминаний вашего бренда среди конкурентов по релевантным запросам. Это часто более полезная метрика, чем абсолютная упоминаемость.

Promt coverage. По каким типам запросов вы появляетесь, по каким нет. Это карта пробелов, с которой можно работать.

Динамика по запросам, а не только в среднем. Среднее может расти за счёт пары запросов и падать по остальным — и это важно видеть.

Если видите такие формулировки на лендинге — это уже сигнал.

Полезное:

Полезное с оговоркой:

Скорее украшение:

Если выбираете GEO-анализатор, задайте конкретные вопросы:

Уход от конкретики, общие слова, ссылки на «коммерческую тайну методологии» — плохие знаки. Хорошая методология — это конкурентное преимущество, и о ней говорят охотно (хотя бы в общих чертах, без раскрытия промптов).

Реалистичный диапазон по рынку:

Себестоимость для сервиса — это в основном API-вызовы к LLM. 2000 запросов в месяц × 4 модели × 5 прогонов = 40 000 LLM-вызовов. По средней цене $0.01-0.03 за вызов это $400-1200 (35-100 тысяч ₽) себестоимости. Поэтому стартовый тариф за 20 тысяч — это либо демпинг, либо упрощённая методология (мало прогонов, дешёвые модели).

Раз уж я пишу про подвохи индустрии — должен честно признаться, что я не нейтральный обозреватель. Мы в Lidfly запустили свой GEO-мониторинг и могу рассказать, как мы попытались обойти описанные выше проблемы со своей стороны.

Главное отличие — мы не используем API. Из всех подвохов, перечисленных выше, первый — самый принципиальный, и решается он единственным возможным способом. Мы парсим напрямую интерфейсы чатов, доступных в России и работающих на русском. Это медленнее, дороже технически и не масштабируется до тысяч запросов в день — но это единственный путь дать клиенту не «срез голой модели», а то, что реально увидит его потенциальный покупатель в Москве в среду в 19:43.

Что отслеживаем:

Расписание простое:

Между сбором и публикацией проходит около трёх дней — этого времени хватает, чтобы прогнать запросы по всем четырём системам, агрегировать ответы и собрать сводку: где вас упомянули, в каком контексте, какие сайты AI приводит как источник.

Цена — 990 ₽/мес, и это включено в базовую подписку Lidfly. Не отдельный тариф под нейросети, не доплата за каждый чат, не пакет «на тысячу запросов». Просто часть сервиса.

Почему дешевле, чем 20-70 тыс/мес у других — у нас другая бизнес-модель: GEO-мониторинг это функция в большом сервисе, а не отдельный продукт. Себестоимость размазана по всей подписке, и мы не платим за миллионы API-вызовов — парсинг интерфейсов работает иначе.

Честно про компромиссы:

В обмен вы получаете данные, которые что-то значат без необходимости расшифровывать методологию.

Честно — не всем.

Нужно сейчас:

Можно подождать:

Если в вашем сегменте 5% решений принимается с помощью LLM — мониторинг полезен скорее как опережающий индикатор. Если 30% и растёт — это уже must-have.

GEO-аналитика — нужный инструмент, но цифры в дашбордах нельзя читать как абсолютную истину. Они показывают статистический срез голой модели в искусственных условиях, а не пользовательский опыт. При этом такой срез полезен — он даёт сопоставимую динамику, позволяет видеть пробелы и сравнивать с конкурентами.

Главное — понимать методологию: через API меряют или через приложение, с поиском или без, сколько прогонов на запрос, как считается тональность. Без этого понимания вы платите за красивые графики, которые могут означать что угодно. С этим пониманием — получаете рабочий инструмент для управления видимостью бренда в новом канале, который через 1-2 года станет таким же обязательным, как сегодня SEO.

Если хочется начать с малого и для начала просто понять, где вы сейчас — в подписку Lidfly за 990 ₽/мес уже включён GEO-мониторинг по живым чатам ChatGPT, Claude, Нейро и Gemini. Без API, без выгрузок «по точкам обмена», без отдельных тарифов под каждую нейросеть. Настройка занимает пять минут: lidfly.ru/app/#geo-monitoring.

Пример: вы сможете ежемесячно отслеживать позиции вашего (или клиента) сайта в ИИ-приложениях, например, по запросам «какой солнцезащитный крем выбрать на лето?», «как безопасно купить квартиру в Москве» и т.п.

Если у вас есть опыт с GEO-анализаторами — российскими или западными — поделитесь в комментариях, что в их данных оказалось полезным, а что вводило в заблуждение. Тема новая, и честных кейсов пока мало.