Не закрывать весь сайт: какие страницы бренду нужны нейросетям, а какие лучше защитить
Долгое время у компаний было два варианта: пустить краулеры нейросетей на сайт целиком или закрыть всё в robots.txt. Обе крайности бьют по бренду. Открытый сайт отдаёт моделям и то, что отдавать не планировали, а закрытый просто исчезает из ответов, где раньше бренд упоминали.
Microsoft анонсировала управление обучением и grounding на уровне отдельных страниц. Решение больше не обязано быть одним для всего домена: продуктовая страница и внутренняя инструкция могут жить по разным правилам.
Чем обучение отличается от grounding
Это разные механики, и правила для них разумно разводить.
- Обучение: ваш текст попадает в данные, на которых модель учится. Эффект отложенный и необратимый, убрать страницу из уже обученной модели нельзя.
- Grounding: модель берёт вашу страницу в момент ответа на конкретный вопрос. Здесь и появляется упоминание бренда со ссылкой на источник.
Для бренда это означает следующее. Закрывая grounding, вы теряете видимость сразу и заметно. Закрывая обучение, вы защищаете материал, но на сегодняшние ответы это почти не влияет.
Какие страницы нейросетям лучше отдавать
- Продуктовые и тарифные страницы: именно их модель цитирует, когда спрашивают, что умеет сервис и сколько стоит.
- Инструкции и справка: отвечают на вопросы формата «как сделать», а это большая доля запросов к ассистентам.
- Кейсы и клиентские истории: дают модели факты и цифры, иначе она достроит описание сама.
- Публичные документы: условия, политики, регламенты. Их отсутствие модель компенсирует догадками.
Здесь есть одна проблема. Страница, которую вы считаете второстепенной, может оказаться главным источником для половины ответов про ваш бренд. На практике это выглядит так: справку закрыли как технический раздел, и из ответов пропало объяснение, как сервис вообще работает.
Закрытая страница не делает бренд невидимым выборочно: она просто перестаёт объяснять модели, кто вы и чем занимаетесь.
Что имеет смысл защитить
- Черновики, тестовые и служебные страницы, попавшие в индекс случайно.
- Внутренние методики и шаблоны, в которых вся ценность: их перескажут без упоминания источника.
- Пользовательский контент и персональные данные: отзывы с именами, профили, переписка.
- Устаревшие страницы со старыми ценами и снятыми продуктами. Архив от актуального модель не отличает.
Как понять, что у вас уже участвует в ответах
Главный вопрос здесь не в том, какие страницы закрыть, а в том, какие из них сейчас работают источником. Проверить это можно довольно просто: задайте ассистентам десяток вопросов, на которые должен отвечать ваш бренд, и посмотрите, на какие ссылки они опираются. Руками такой замер считается на один бренд и один язык, на масштабе для этого берут GEO-сервисы: Semrush AI Toolkit, VisioBrand, brandfound, Profound. Дальше сравните полученный список с тем, что собираетесь закрывать.
Где именно появятся постраничные переключатели, Microsoft уточнит отдельно. Следить стоит за Bing Webmaster Tools: остальные параметры индексации живут там же.
Что сделать до того, как менять правила
- 1. Выгрузите страницы, которые ассистенты цитируют сейчас.
- 2. Разметьте их на три группы: отдавать, закрывать, разобраться.
- 3. Разведите обучение и grounding: grounding по умолчанию открыт, обучение закрыто там, где важна уникальность материала.
- 4. Меняйте правила частями и смотрите, что исчезает из ответов.
Постраничные правила переводят разговор из юридической плоскости в маркетинговую. Пускать или не пускать решает уже не только юрист: это выбор, по каким вопросам ваш бренд отвечает читателю сам, а по каким за него ответит кто-то другой.