Попасть в ИИ-выдачу с WordPress может быть сложнее, чем на других CMS
WordPress-хостинги и защитные сервисы начали массово ограничивать AI-ботов на уровне CDN, WAF и rate limiting. Владелец сайта при этом может даже не понимать, что часть трафика блокируется.
Раньше SEO было относительно линейным.
Есть Googlebot. Есть Bingbot. Проверил robots.txt, sitemap.xml, canonical — и всё работает.
Теперь появился второй слой: AI-crawlers и AI-fetchers.
Они приходят не только за индексацией, но и за:
- обучением моделей;
- retrieval для ответов;
- AI Overviews;
- citation extraction;
- knowledge graph enrichment.
И вот тут начинается интересное.
Почему WordPress-хостинги начали блокировать AI-ботов
Причина: деньги и нагрузка.
AI-боты могут генерировать в десятки раз больше запросов, чем обычный поисковый crawler. Некоторые издатели сравнивают их активность с DDoS-нагрузкой.
Cloudflare заявлял, что только за несколько месяцев заблокировал более 416 млрд AI-запросов.
Для managed WordPress это проблема по трём причинам.
Во-первых, shared-инфраструктура. Один AI-crawler может создавать всплески CPU/PHP workers на сотнях сайтов одновременно.
Во-вторых, AI-трафик почти не монетизируется. Google хотя бы приводит пользователей. AI-системы часто забирают контент, пересказывают его и не дают кликов обратно.
В-третьих, многие хостеры начали включать защиту автоматически.
То есть:
- CDN режет подозрительные user-agent;
- WAF выдаёт 403/429;
- rate limiting ограничивает частоту запросов;
- bot protection помечает AI-crawlers как automation.
И всё это происходит без уведомлений владельца сайта.
Самая неприятная часть — обычные SEO-инструменты этого не показывают
Вот здесь начинается настоящая проблема.
Вы проверяете:
- robots.txt;
- индексацию;
- Lighthouse;
- Core Web Vitals;
- crawlability.
Всё нормально.
Но AI-crawler получает:
- timeout;
- 429 Too Many Requests;
- challenge page;
- JavaScript wall;
- Cloudflare interstitial;
- fingerprint block.
И ваш сайт выпадает из AI-выдачи.
При этом Google продолжает индексировать страницы, потому что Googlebot находится в whitelist.
В итоге возникает странная ситуация:
- в классическом поиске сайт жив;
- в AI-поиске сайта почти нет.
И многие сейчас даже не понимают, почему их перестали цитировать ChatGPT или Perplexity.
Cloudflare фактически стал новым gatekeeper AI-интернета
Это уже не просто CDN.
Cloudflare контролирует огромную часть мирового веба. По разным оценкам — около 20% сайтов проходят через их инфраструктуру.
Когда компания включает AI blocking по умолчанию, она влияет на весь рынок AI-поиска.
И тут появляется конфликт интересов.
С одной стороны, издатели хотят защитить контент от бесплатного scraping.
С другой — блокировка AI-crawlers означает потерю видимости в новой поисковой модели.
Фактически рынок сейчас раскалывается на две стратегии.
Первая: «Запретить AI доступ полностью».
Вторая: «Разрешить AI-crawlers ради цитирования и AI-трафика».
И пока никто точно не знает, какая модель окажется прибыльнее через 2–3 года.
Почему AI-видимость уже важнее классического SEO для части запросов
Многие до сих пор думают, что AI-поиск — это что-то дополнительное.
На практике часть информационного трафика уже начинает перетекать в:
- ChatGPT;
- Perplexity;
- Gemini;
- Claude;
- Google AI Overviews.
Исследования показывают снижение переходов на сайты после появления AI summaries. В некоторых сценариях падение достигает около 15%.
То есть пользователь:
- получает ответ;
- читает summary;
- не переходит на источник.
И если раньше борьба шла за TOP-10 Google, теперь начинается борьба за:
- AI citation;
- mention frequency;
- inclusion in generated answers.
Это уже ближе к PR и репутации, чем к классическому SEO.
WordPress оказался в центре проблемы
Парадокс в том, что WordPress остаётся крупнейшей CMS мира.
Но именно WordPress чаще всего:
- висит за Cloudflare;
- использует managed hosting;
- имеет aggressive caching;
- подключён к WAF;
- работает через плагины безопасности.
А значит — вероятность случайной блокировки AI-ботов здесь выше.
Особенно если сайт использует:
- Wordfence;
- Bot Fight Mode;
- Super Bot Fight;
- кастомные firewall rules;
- geo restrictions.
Некоторые плагины уже прямо предлагают блокировку GPTBot, ClaudeBot и других AI-crawlers «в один клик».
Проблема в том, что многие владельцы включают эти функции, не понимая последствий.
Как проверить, блокируете ли вы AI-системы
Самый простой вариант — смотреть server logs.
Нужны:
- user-agent;
- response code;
- frequency;
- country;
- WAF action.
Особенно важно отслеживать:
- GPTBot;
- ClaudeBot;
- PerplexityBot;
- Google-Extended;
- Bytespider;
- CCBot.
Если видите:
- 403;
- 429;
- JS challenge;
- managed challenge;
- firewall deny;
значит AI-системы могут получать ограничения.
Вторая точка проверки — Cloudflare Security Events.
Очень часто там видно:
- bot score;
- blocked requests;
- rate limits;
- challenge pages.
Причём часть AI-crawlers может попадать под generic automation rules.
Что сейчас делают крупные медиа
Рынок пока тестирует разные модели.
Одни полностью режут AI scraping.
Другие пытаются монетизировать доступ через лицензии.
Cloudflare уже продвигает концепцию Pay Per Crawl.
Идея простая:
- AI-компания платит;
- сайт разрешает crawling;
- контент используется легально.
Но пока эта модель выглядит сырой.
Потому что AI-компании могут:
- использовать прокси;
- маскировать user-agent;
- работать через сторонние датасеты;
- забирать контент через поисковые индексы.
Что это значит для SEO в 2026 году
Раньше инфраструктура была вторична.
Сегодня сервер, CDN и firewall напрямую влияют на AI-видимость.
Получается новая реальность:
- хороший контент уже недостаточен;
- техническая доступность для AI становится критичной;
- AI visibility превращается в отдельное направление рядом с SEO.
И здесь появляется новая профессия — GEO/AEO-специалисты.