Почему на почти одинаковые вопросы ChatGPT советует разные компании и как проверить видимость бренда в нейросетях

Вы спросили у ChatGPT, у кого заказать то, что продаёт ваша компания, и вашей компании в ответе нет. Или она есть, да ещё на втором месте, и хочется выдохнуть. Оба вывода о видимости бренда в нейросетях сделаны на слишком малом: стоит поменять в вопросе пару слов или просто спросить второй раз, и список компаний станет другим.

Ошибка в обе стороны стоит денег. Увидев пустое место, можно пойти переписывать сайт и платить подрядчику. Увидев себя в списке, легко пропустить, что на соседний вопрос нейросеть советует только конкурентов.

Один ответ почти ничего не говорит о бренде, поэтому ни приговора, ни победы в нём нет. Dmitrij Zatuchin в препринте на arXiv разобрал, от чего зависит разброс в 12 933 ответах нейросетей. Из всех различий между ответами 26,5% приходится на язык вопроса и всего 1,5% на сам бренд. Вывод автора: по одному ответу бренды между собой почти не различить.

Видимость бренда в нейросетях — это доля ответов на разные формулировки одной потребности, в которых названа компания. Проверка по одному вопросу ничего о ней не говорит: ответ меняется и от формулировки, и от простого повтора. Нормальный замер — это набор формулировок одной потребности, у каждой несколько повторов, а результат — доля ответов, где бренд назван. Финальную оценку ответов делает человек.

Если задать нейросети тот же вопрос второй раз, список брендов почти наверняка будет другим. SparkToro и Gumshoe провели эксперимент: 600 добровольцев задали по дюжине вопросов трём ИИ-системам (ChatGPT, Claude и ИИ-поиску Google) и получили 2961 ответ. Шанс получить при повторе тот же список брендов у ChatGPT и Google оказался меньше 1 из 100, у Claude лишь немного выше.

Различались не только состав и порядок. В одних ответах было два-три бренда, в других больше десяти. Если вы спросили дважды и увидели один и тот же список, вам повезло.

Возможно, часть объяснения в том, как ChatGPT ищет. По работе Mahe Chen и Nick Koudas, ChatGPT ссылается только на страницы, которые нашёл его собственный поиск. Запросы для этого поиска он в каждом ответе переписывает заново, и они редко совпадают с выдачей Google или Bing. То, что нашёл поиск, объясняет 32% разброса в ссылках, а свойства самих страниц всего 2,8%.

У эксперимента SparkToro и Gumshoe есть оговорка от самих авторов: исследование не рецензировалось, и ни один из двух исследователей не дата-сайентист. Точные доли на свою нишу переносить рано, но направление понятно.

Если повтор меняет список, то пара слов в вопросе меняет его ещё сильнее. Это показали Jack, Lehman, Maloney и Xu в препринте на arXiv: около 6000 перефразировок одной покупательской потребности и столько же контрольных повторов на моделях OpenAI и Anthropic.

Сходство двух списков авторы считали так: сколько брендов есть в обоих ответах из всех, что названы хотя бы в одном. Единица значит, что списки одинаковы, ноль — что общего нет.

При повторе общими остаётся около половины брендов, а при вопросе с регионом или уточнением примерно каждый седьмой. Режим, в котором модель дольше думает перед ответом, этот разрыв не сократил.

Авторы делают вывод: какие бренды появятся в ответе, решает прежде всего строка вопроса, даже сильнее самой потребности покупателя, которая за ней стоит. Значит, счёт упоминаний по набору заранее выбранных вопросов во многом показывает, как эти вопросы сформулированы.

По отдельным словам вроде лучший, недорогой или посоветуй замеров пока нет. Известно другое: условие в вопросе оставляет общих брендов вдвое меньше, чем косметическая правка.

Модели OpenAI и Anthropic не единственные, где так. Исследование на SIGIR 2026 показало то же для Gemini и AI Overviews, ИИ-ответов в поиске Google: при повторе ответы менее согласованы, а к небольшим правкам запроса менее устойчивы. Системы Google, OpenAI и Perplexity заметно различаются и по тому, насколько опираются на собственные знания, и по стабильности ответов. GigaChat и Алису AI в этих работах не проверяли, поэтому каждую нейросеть стоит смотреть отдельно.

Для первой ручной картины я бы начал с 10 формулировок одной потребности, по 3 повтора каждой, в двух-трёх нейросетях. Это 60–90 ответов: они покажут диапазон и динамику, точную цифру из них не получить.

Больше пяти повторов одного вопроса делать незачем. По расчётам Zatuchin, повторы после пятого почти не прибавляют точности, а добавленные языки и модели на тот же объём запросов повышают её намного сильнее. Перефразировка меняет бренды сильнее повтора, поэтому моё правило такое: лучше добавить новую формулировку, чем гонять старую в шестой раз.

Дальше обычная статистика на условном примере. Допустим, компания названа в 30% ответов. При сотне ответов погрешность около ±10 процентных пунктов: настоящая доля лежит где-то между 20% и 40%. Чтобы сузить её до ±5 пунктов, нужно около 400 ответов. А если разрезать 90 ответов по нейросетям, на каждую останется по 30, и погрешность снова станет широкой.

Разница в пять пунктов между вами и конкурентом при сотне ответов — шум. Разница в 30 пунктов уже сигнал. Ronald Sielinski в работе о ссылках в Perplexity, SearchGPT и Gemini пришёл к похожему: многие различия между сайтами там лежат в пределах шума самого замера.

Шаблон строится вокруг одной потребности клиента, о которой спрашивают пятью способами: с разным намерением, с ценой, с городом, под конкретную аудиторию и через сравнение. Пример ниже на условной нише: бухгалтерское обслуживание для ИП в городе N. Для своей ниши замените потребность, город и аудиторию, а структуру оставьте. В каждой формулировке сохраните просьбу назвать компании: иначе в знаменатель попадут ответы без списка и видимость окажется занижена.

Намерение

Цена

Гео

Аудитория

Сравнение

Как прогонять набор:

Главный результат — доля ответов, в которых нейросеть назвала компанию: ответы с упоминанием делите на все ответы. Условный пример: из 90 ответов ваша компания названа в 27, это 30%, а главный конкурент в 54, это 60%. Разрыв в 30 пунктов шире погрешности, и о нише он говорит больше любого отдельного ответа.

Место в списке считайте вторым. По тому же эксперименту SparkToro и Gumshoe, позиция бренда нестабильна, а частота появления устойчивее. Каждый из трёх самых частых брендов появлялся в среднем в 64% ответов ChatGPT, 73% Claude и 68% Google AI. Даже каждый из этих брендов назван примерно в двух ответах из трёх, так что ста процентов не стоит ждать и от лидеров ниши.

Упоминание бренда в ChatGPT и ссылку на ваш сайт считайте отдельными столбцами. По Chen и Koudas, страницы ChatGPT цитирует, когда нашёл их поиском, а бренды называет и тогда, когда просто их помнит. Поэтому компанию могут назвать и без ссылки на её сайт.

Доля остаётся оценкой по вашему набору: другой набор даст другую цифру. Сравнивать её стоит с конкурентами на тех же формулировках и с собой через месяц. Проценты из чужой ниши и чужого набора вопросов вам ничего не скажут.

Доля показывает, как часто нейросеть называет компанию, но не что именно она о ней пишет. Поэтому финальную оценку ответов делает человек: он читает, в каком контексте назван бренд, верно ли указаны услуги и цены, нет ли рядом предупреждения и кто стоит в списке по соседству. Нейросеть может назвать компанию и рассказать о ней неправду: так было в разборе на 22 объектах, где упоминание было, а факты не совпадали.

На первую картину по шаблону уйдёт 60–90 ответов и одна таблица. Формула сложит цифры, а оценит ответы всё равно человек.

А у вас на разные формулировки одной потребности нейросеть называла разные компании? Какие слова в вопросе сильнее всего меняли список?