Нейросеть выбирает критерии раньше, чем бренды. Как компания проигрывает ещё до появления списка рекомендаций
Несколько месяцев я разбираю ответы нейросетей по одному сценарию: беру коммерческий запрос, смотрю, какие бренды попали в список, и проверяю, откуда модель их взяла. В сентябре заметил деталь, на которую раньше не обращал внимания. Прежде чем назвать хоть одну компанию, модель почти всегда объясняет, по каким признакам она выбирает.
Выглядит это как вежливая вводная часть. Но если читать ответы подряд, видно другое: вводная часть и есть решение. Набор критериев определяет, кто вообще может попасть в финальную подборку, а кто отваливается до её появления.
Что меня насторожило
Я задал один и тот же вопрос про выбор сервиса складского учёта в пяти моделях. Названия разошлись сильно: общими оказались всего два бренда из пяти ответов. А вводная часть у всех пяти была почти одинаковой: цена, интеграции с 1С, скорость внедрения, поддержка, мобильное приложение.
Получается, модели спорят про бренды и почти не спорят про критерии. Это странно, если считать, что ответ собирается из найденных источников: источники у них разные.
Как проверял
Сразу оговорка: это не исследование рынка, а замер на небольшой выборке, и универсальным законом я его не считаю. Взял 120 запросов в четырёх категориях: сервисы для бизнеса, строительные материалы, медицинские клиники, автосервисы.
- Три формулировки на каждую тему: «что выбрать», «на что смотреть при выборе», «посоветуй компанию».
- Шесть моделей, российские и зарубежные.
- Из каждого ответа выписывал отдельно две вещи: список критериев до первого названия и список брендов после.
- Критерии сводил к одному слову, чтобы «удобство интерфейса» и «простота работы» не считались как разные.
- Прогон повторил через две недели на тех же запросах.
Замеры и источники цитирования собирал в brandfound: прогонять 120 запросов по шести моделям руками каждую неделю нереально, а мне нужно было ещё видеть, какие сайты модель подтягивает рядом с каждым критерием.
Что получилось
Критерии стабильнее брендов
Между двумя прогонами состав брендов в одной категории поменялся на 40-60 процентов: кто-то выпал, кто-то появился впервые. Набор критериев поменялся на 10-15 процентов. Проще говоря, состав участников плавает, а правила отбора держатся.
Критериев всегда мало
Почти в каждом ответе их от трёх до пяти, даже когда вопрос сложный и категория большая. Шестой и седьмой признак появляется редко, обычно если спросить отдельно. Это значит, что место в этом списке конечное: сильная сторона, которая не попала в первые пять, в ответе не работает.
Критерии приходят не с сайтов брендов
Когда я смотрел, что модель цитирует рядом с критериями, чаще всего попадались обзоры, статьи-сравнения, ветки форумов и отзывы. Сайты компаний появлялись позже, на этапе конкретики: цены, условия, характеристики. Критерии модель собирает из текстов, где люди обсуждают выбор, а не из текстов, где компания рассказывает о себе. Проверить это несложно вручную: в ответах ChatGPT со ссылками видно, на что опирается каждая часть ответа.
Компания может идеально отвечать на вопрос «почему мы» и всё равно не попасть в ответ, потому что нейросеть спрашивала «по чему выбирать».
Как компания вылетает до списка
Дальше механика простая. Если модель решила, что в категории важны интеграции, поддержка и цена, она ищет компании, про которые есть внятный текст именно по этим трём пунктам. Бренд, у которого сильная сторона в другом, остаётся за рамкой: про него написано много, но не про то, что модель считает важным.
Это объяснило мне случай, который я раньше понять не мог. Компания с хорошими позициями в поиске, десятками публикаций в СМИ и живым сайтом почти не появлялась в ответах нейросетей. Когда я просмотрел её материалы, выяснилось, что ни один из них не отвечает на вопрос «как выбирать» в её категории. Все отвечают на вопрос «почему мы».
Что с этим делать
- Снимать сначала критерии, а не позиции: прогнать по своей категории запросы вида «на что смотреть при выборе» в нескольких моделях и выписать всё, что идёт до названий.
- Сверить этот список со своей аргументацией. Если вы продаёте через срок службы, а модель спрашивает про сервис и гарантию, разрыв видно сразу.
- Закрывать критерии текстами со сравнением и условиями, а не только карточкой продукта.
- Смотреть не только свой сайт, но и площадки, где обсуждают выбор: обзоры, форумы, отзывы. Критерии формируются там.
- Повторять замер: набор критериев меняется медленнее брендов, но меняется.
Про инструменты. Пока запросов десяток, критерии можно выписывать в таблицу руками. Дальше нужен либо свой скрипт, либо платформа: такие замеры по нескольким моделям сразу делают GeoRank, зарубежные Profound и Peec AI, из российских brandfound, в котором я и собирал этот прогон с источниками. Что выбрать, вопрос второй. Важнее смотреть не только на долю упоминаний бренда, но и на то, какие критерии модель перечисляет до него.
Чего я пока не знаю
Главное непонятное место: откуда у разных моделей берётся почти одинаковый набор критериев, если источники у них разные. Моя рабочая гипотеза в том, что критерии приходят из обучающих данных, а свежие источники подтягиваются уже под готовую рамку. Проверить это замером снаружи я не могу, поэтому считайте гипотезой, а не выводом.
Что проверить можно и стоит прямо сейчас: совпадает ли то, чем вы убеждаете покупателя, с тем, по чему нейросеть предлагает выбирать. У компаний, которые я смотрел, это разные списки.