Кто-то вообще трекает GPTbot и ClaudeBot?

Пока мы читаем посты про GEO-оптимизацию, боты OpenAI и Anthropic уже вовсю ходят по нашим сайтам. Читают страницы, забирают контент, уходят. Трафик назад не присылают.

Это данные Cloudflare за начало 2026 года.

По данным Cloudflare Radar, ClaudeBot обходит 23 951 страницу на каждый один переход обратно на сайт. GPTBot скромнее — 1 276 страниц на один реферал. Для сравнения: Googlebot работает в соотношении примерно 14–30 к одному.

То есть Anthropic читает ваш сайт в 800 раз активнее, чем отправляет вам посетителей. OpenAI в 40 раз активнее Гугла.

Это называют crawl-to-click gap. И это, пожалуй, самый честный и пугающий факт во всей теме AI visibility.

Ещё одна цифра: по данным за январь–март 2026 года, 80% всего AI-краулинга делается ради обучения моделей. Не ради поиска, не ради ответов пользователям а ради тренировочных данных. 18% — поисковые сценарии. 2% — запросы живых пользователей.

Иными словами: большинство визитов AI-ботов на ваш сайт — это сбор обучающих данных. Вас читают, чтобы стать умнее. Клиентов не присылают.

Главная путаница, из которой растут все неверные выводы.

У OpenAI разные боты для разных задач:

У Anthropic та же логика: ClaudeBot, Claude-SearchBot, Claude-User — три разные сущности.

Если вы увидели в логах GPTBot — это почти наверняка обучающий краулер, а не поисковый. Переходов от него почти не будет. Если хотите, чтобы ваш контент попадал в ответы ChatGPT Search — смотрите на OAI-SearchBot и utm_source=chatgpt.com в аналитике.

По данным одного исследования за январь–март 2026 года, ChatGPT-User делал в 3,6 раза больше запросов к сайтам, чем Googlebot. Но это именно пользовательский краулер. Он приходит, когда живой человек задаёт ChatGPT вопрос, требующий свежих данных из сети. Это уже другая история.

Ещё одна недооценённая вещь.

Да, владелец сайта может прописать запрет в robots.txt. Но в реальности боты часто ломаются совсем в другом месте: CDN, WAF, антибот-защита, правила хостинга, rate limiting. Cloudflare уже вынес управление AI-краулерами в отдельный инструмент — и там уже различают AI Crawler, AI Search и AI Assistant как три разные категории.

Практический момент: если конкретный AI-бот стабильно получает ошибки даже на /robots.txt, а браузер и другие боты работают нормально — это уже не проблема «тяжёлой страницы». Это сетевая или инфраструктурная проблема.

Иногда вы не «невидимы для ИИ». Просто ваш AI-трафик кто-то режет по дороге, и вы об этом не знаете.

GA4 слеп к AI-ботам. Они не исполняют клиентские скрипты, поэтому в обычной аналитике их не существует.

Единственный способ увидеть реальную картину — смотреть в сырые server logs и искать user-agent строки: GPTBot, ClaudeBot, OAI-SearchBot, ChatGPT-User, PerplexityBot.

Пока вы этого не сделаете, у вас нет данных.

Несколько практических выводов.

Разберитесь, кто к вам приходит. Не все AI-боты одинаковые. Краулер для обучения и краулер для поиска — разные задачи, разный смысл.

Не блокируйте бездумно. Если заблокировать PerplexityBot — через 48 часов вас не будет в ответах Perplexity. Если заблокировать ChatGPT-User — выпадете из актуальных ответов ChatGPT. Блокировка GPTBot влияет только на обучение моделей — решайте сами, стоит ли.

Не радуйтесь просто визиту бота. Между «бот пришёл» и «клиент пришёл» пропасть.

JavaScript — проблема. Ни GPTBot, ни ClaudeBot, ни PerplexityBot не рендерят JS. Если ваш сайт рендерится на клиенте — для этих ботов он выглядит как пустая страница. Буквально.

Дайте ботам понятную точку входа. Структурированные данные, JSON-профиль компании, llms.txt — это не магия и не гарантия попадания в ответы ИИ. Но они есть, бот получает чёткие данные о том, кто вы и чем занимаетесь, вместо того чтобы распознавать HTML.

Веб меняется. AI-боты уже сейчас генерируют больше трафика на многие сайты, чем традиционные поисковые краулеры. Органический трафик из Google падает — по данным за январь 2026 года, для издателей он упал на 38% год к году.

Просто даю вам повод хотя бы один раз открыть server logs и посмотреть, что там происходит.

Если хотите начать с простого — проверьте, насколько ваш сайт вообще понятен для машинного чтения. Есть бесплатные инструменты, которые покажут базовую картину. Один из них — агентхаб.рф: вводите адрес сайта и получаете разбор по структуре, trust-сигналам и машиночитаемому слою.