Нейросети становятся умнее, но сайты закрывают им доступ. Почему бизнес рискует оказаться невидимым для AI
В октябре разговор про AI-агентов окончательно сместился с восторгов на безопасность. Агентные браузеры научились сами ходить по страницам, нажимать кнопки и заполнять формы, а владельцы сайтов увидели в логах рост автоматических визитов и начали закрываться: где-то лимитами на запросы, где-то проверками на человека, где-то правками в robots.txt.
Дальше начинается путаница. Фраза «мы закрыли ботов» в двух компаниях означает разные вещи, а вывод из неё делают один и тот же: теперь нас не будет в нейросетях. Иногда это правда, иногда нет. Разберу, какие ограничения вообще бывают, какие из них действительно влияют на видимость бренда в AI-ответах, а какие к ней почти не относятся.
Три разных ограничения, которые называют одним словом
Под «доступом AI» прячутся как минимум три разных потока, и у каждого своя механика:
- Обучающие краулеры. Ходят по сайтам, чтобы собрать данные для обучения моделей. Закрываются директивами в robots.txt для конкретных агентов, у OpenAI это GPTBot, у Google отдельный токен Google-Extended.
- Извлечение контента в момент ответа. Когда пользователь задаёт вопрос, ассистент идёт в веб прямо сейчас, открывает несколько страниц и строит ответ по ним. Здесь работают другие агенты: ChatGPT-User, PerplexityBot и их аналоги.
- Агенты, действующие от имени пользователя. Это уже не чтение, а действия: заполнить корзину, забронировать, выгрузить данные из личного кабинета. Их ограничивают не robots.txt, а защитой инфраструктуры: антибот, капча, рейт-лимиты, подтверждения.
Списки официальных агентов и правила для них публикуют сами разработчики: у OpenAI это документация по ботам, у Google обзор краулеров. Начинать стоит с них, а не с чужих пересказов в чатах.
Почему ограничение не равно потере видимости
Главный вопрос здесь не в том, закрыли вы ботов или нет, а в том, какой именно поток вы закрыли и откуда нейросеть берёт информацию о вас в конкретном ответе.
Если вы запретили обучающий краулер, модель не получит ваши страницы в обучающий корпус. На ответ с веб-поиском это может не повлиять вовсе: там работает другой агент, и он ходит по другим правилам. Если вы закрыли именно извлечение контента в момент ответа, страдает как раз цитирование: ассистенту нечего открыть, и он соберёт ответ по тем, кто открылся.
И есть третий случай, самый частый. Ваш сайт открыт, но ассистент всё равно отвечает о вас по чужим материалам: по карточкам в каталогах, обзорам, отзывам, старым публикациям в медиа. Тогда ваши настройки доступа почти ничего не решают, потому что источник не вы.
На практике это выглядит так: отдел безопасности ужесточил защиту, маркетинг через месяц видит, что бренд стали реже упоминать, и связывает одно с другим. А причина может быть в том, что конкурент выпустил сравнительный материал, который нейросети начали брать как источник.
Где видимость теряется по-настоящему
Возьмём условный сервис электронного документооборота. Сайт закрыт от обучающих краулеров, но открыт для веб-поиска. В ответах на вопрос о выборе такого сервиса он всё равно почти не появляется.
Смотрим, что вместо него попадает в ответ: два отраслевых обзора, подборка на профильном медиа и каталог интеграторов. Во всех трёх материалах сервис либо не упомянут, либо упомянут строкой без деталей. Нейросети цитируют то, что есть, и бренда в этом нет не из-за robots.txt, а из-за того, что его нет в источниках, на которые опирается модель.
Для бренда это означает следующее: видимость в AI складывается из двух частей, доступности собственных страниц и присутствия в чужих материалах. Вторая часть обычно больше, а управляют ей реже.
Бренд пропадает из ответов нейросети не в тот момент, когда закрывает роботов, а в тот, когда о нём нечего прочитать в источниках, которые она открывает
Что проверить у себя
Проверить это можно довольно просто, и начать лучше с фактов, а не с гипотез:
- Какие именно агенты закрыты в вашем robots.txt и кто принимал это решение. Часто правка годичной давности закрывает больше, чем планировалось.
- Что отдаёт сервер на запрос без браузерного профиля: 200, 403 или капчу. Защита иногда отсекает и те агенты, которые вы собирались пустить.
- Какие страницы о продукте вообще доступны без авторизации. Если описание и условия спрятаны в личном кабинете, их не возьмёт ни одна модель.
- На какие источники опираются ответы о вашей категории: обзоры, каталоги, медиа, форумы. Выпишите пять ссылок, которые повторяются чаще всего.
- Что говорят о вас эти источники и что в них устарело: старые цены, прежнее название, ушедшие функции.
Как измерять, а не угадывать
Ответы нейросетей нестабильны: одна и та же формулировка вопроса в разные дни даёт разные источники. Поэтому единичная проверка в чате ничего не доказывает, нужен регулярный замер по набору запросов и по нескольким моделям сразу.
Небольшой набор можно собрать руками: двадцать запросов, четыре-пять ассистентов, таблица с упоминаниями и ссылками, замер раз в неделю. На масштабе для этого берут GEO-сервисы: Profound, Peec AI, brandfound, Pixel Tools и другие. Задача у них одна, смотреть не только на факт упоминания, но и на то, из каких источников модель собрала ответ.
Ценность такого замера не в красивом графике, а в возможности отличить одно от другого: упал ли бренд из-за ваших настроек доступа, из-за изменений в самой модели или из-за того, что в ключевых обзорах вас обошли.
Что из этого следует
Ограничивать автоматический доступ к сайту нормально, это вопрос безопасности и нагрузки. Плохо, когда решение принимают вслепую: закрывают всё подряд одной строкой, не разделяя обучение, извлечение контента и действия агентов.
Я бы начал с инвентаризации: что закрыто, для кого и зачем. Потом посмотрел бы, из каких источников нейросети собирают ответы о вашей категории, и занялся именно ими. В большинстве случаев бренд невидим для AI не потому, что закрылся, а потому что о нём нечего прочитать.