«Позиция в ChatGPT» не метрика: почему место в списке рекомендаций ничего не говорит о видимости
Раз в неделю мне присылают скриншот ответа ChatGPT со списком сервисов и подписью: «мы третьи, что сделать, чтобы стать первыми». Иногда это уже оформлено как задача на квартал: поднять позицию бренда в ChatGPT.
Год назад я и сам считал позицию в ответе нормальной метрикой. Перестал после того, как начал прогонять один и тот же запрос по несколько раз и сравнивать, что получилось. Позиция в ответе ассистента ведёт себя не как позиция в поиске, и отчёт на ней не держится.
Почему позиция вообще стала метрикой
Это привычка из поиска, и привычка разумная. В поисковой выдаче есть десять ссылок, они пронумерованы, порядок примерно одинаковый для всех, меняется он медленно, и его можно сравнить с прошлой неделей и с конкурентом. Позиция была измеримой, воспроизводимой и сравнимой: ровно то, что требуется от метрики.
У ответа нейросети нет ни одного из этих свойств. Причина не в том, что модели пока работают плохо, а в том, что ответ устроен иначе.
В ответе нет слотов
Ассистент не берёт бренды из готового рейтинга, а собирает ответ заново под конкретную формулировку вопроса. Отсюда несколько неприятных для метрики следствий.
- Один и тот же запрос в двух прогонах подряд даёт разный порядок имён, а иногда и разный состав списка. Это не сбой, а свойство генерации.
- Длина списка не фиксирована. Третье место из трёх и третье из десяти это разные ситуации, но в отчёте обе выглядят как «позиция 3».
- Порядок внутри списка не обязан быть ранжированием. Модель может перечислять по алфавиту, в том порядке, в котором бренды попались ей в найденных источниках, или начать с самых известных, а подходящий под задачу читателя назвать последним с оговоркой «если нужен вариант подешевле».
- Часть ответов это вообще не список. Один или два бренда названы прямо в тексте абзаца. Позиции здесь нет, а видимость как раз максимальная: альтернатив читателю не предложили.
- Ответ зависит от формулировки сильнее, чем от бренда. «Сервис мониторинга упоминаний в нейросетях» и «чем проверить, видит ли ChatGPT мою компанию» это для модели два разных вопроса с разными наборами имён.
- Сюда же язык, регион, память о прошлых разговорах, включён веб-поиск или нет и версия модели, которая обновляется без предупреждения.
Получается, что позиция описывает не бренд, а один прогон одного запроса в один момент времени у одного пользователя. Скриншот, где бренд первый, и скриншот, где его нет вовсе, могут быть сделаны с интервалом в минуту, и оба будут настоящими.
Позиция это свойство одного ответа. Видимость это свойство распределения ответов
Что из-за этого ломается в отчёте
Самое обидное даже не то, что цифра неточная. Неточную цифру можно взять с запасом. Проблема в том, что на позицию нельзя опереться в работе.
Если показатель скачет сам по себе, по нему невозможно отличить результат усилий от разброса. Публикация вышла, обзор обновили, упоминаний стало больше, а позиция в отчёте упала с второй на четвёртую. Или наоборот: ничего не делали, а бренд вдруг первый. В обе стороны это объясняют задним числом, и оба объяснения ничего не стоят.
Второе следствие тише, но дороже: позиция уводит внимание. Пока команда спорит, как подняться с третьего места на первое, никто не смотрит, что в половине важных запросов бренда нет вообще, а в ответах цитируются чужие обзоры с устаревшими ценами.
Что мерить вместо позиции
Все рабочие метрики здесь устроены одинаково: берётся не один ответ, а корпус запросов, прогоняется многократно и по нескольким ассистентам, и считается доля.
- Доля ответов с упоминанием бренда (Brand Mention Rate). Главная цифра: в каком проценте ответов по вашей теме бренд появляется хотя бы раз. Если она выросла, скажем, с 18 до 27 процентов, это значит, что бренд стал появляться примерно в половине тех ответов, где его раньше не было совсем.
- Доля голоса (Share of Voice). Какую часть всех названных в ответах имён занимает ваш бренд рядом с конкурентами. Отвечает на вопрос, вытесняют вас или вытесняете вы.
- Цитируемость источников (Citation Rate). На какие страницы ассистент ссылается, когда отвечает про вашу тему. Нередко выясняется, что бренд обсуждают, а ссылаются при этом на чужой обзор трёхлетней давности.
- Тональность. Назвали как вариант по умолчанию или как «дешёвую альтернативу с жалобами на поддержку». Упоминание и рекомендация это не одно и то же.
- Покрытие сценариев. В каких интентах бренд виден (сравнение, выбор под задачу, «что подешевле», «с кем работают крупные компании»), а в каких его нет. Такой пробел полезнее любой средней позиции.
- Каждый ассистент отдельно. ChatGPT, Gemini, Perplexity, Поиск с Алисой, GigaChat отвечают по-разному и опираются на разные источники. Средняя цифра по ним скрывает именно то, ради чего замер и делался.
Такие замеры я держу в brandfound: корпус запросов прогоняется по десяти ассистентам регулярно, и в отчёте видно не единичный ответ, а долю ответов с упоминанием, состав конкурентов рядом и источники, на которые модели ссылались.
Когда позиция всё-таки что-то значит
Один случай есть. Если считать не «место 3», а долю прогонов, где бренд назван первым или оказался единственным, это уже статистика, а не скриншот. Такая доля ведёт себя как нормальная метрика: она устойчива на больших числах, её можно сравнить с прошлым месяцем и с конкурентом, и по ней видно разницу между «нас иногда упоминают в хвосте» и «нас называют первыми».
Разница в формулировке выглядит мелкой, но она меняет работу. С задачей «поднять позицию» руками делать нечего. Задача «увеличить долю ответов, где нас называют первыми» разбирается на понятные части: в каких запросах нас нет, какие источники модель цитирует вместо наших, что в этих источниках про нас написано.
Что я бы поменял в отчёте
- Убрать строку «позиция в ChatGPT» и поставить вместо неё две: долю ответов с упоминанием по корпусу запросов и долю ответов, где бренд назван первым. Рядом обязательно число запросов и число прогонов, иначе цифра снова превращается в скриншот.
- Перестать считать одиночный скриншот доказательством роста или падения. «Вчера были первыми, сегодня нас нет» это обычный разброс, а не провал и не чья-то заслуга.
Если после этого всё равно нужно показать руководителю позицию, честная формулировка звучит так: бренд назван первым в такой-то доле прогонов из такого-то числа, в остальных его называют в середине или не называют вовсе. Это менее красиво, чем «мы на первом месте в ChatGPT», зато не развалится на следующем прогоне.