Как проверить доступность сайта по User-Agent: простой и бесплатный сервис
Сервис проверяет доступность сайта для поисковых ботов и конечных пользователей. Особенно полезен для тестирования правил WAF и firewall.
Ситуация: установили Cloudflare, DDoS-Guard, Curator или что-то подобное, а поисковый трафик на сайт пропал. Оказывается, некоторые правила настроенного WAF-сервиса не пускают поисковых ботов.
Чтобы такого избежать, надо тестировать доступность сайта для различных user-agent. Показываем один из подходящих для этого инструментов: user-agent-checker.com.
Как пользоваться
- Введите домен.
- Выберите количество потоков (запросов в секунду). По умолчанию стоит среднее значение, безопасное для большинства сайтов.
- Выберите протокол: HTTP или HTTPS.
Подождав несколько секунд, вы получите список агентов со статусами ответов. Список можно отсортировать по статусу «Успешные» / «Неуспешные».
История создания
Для одного из наших клиентов мы в Bquadro делали файервол, который пропускает только определенный набор ботов, а остальных отсеивает. В процессе работы потребовался инструмент для проверки блокировки ботов.
Наш сисадмин подсуетился, вжух — и получите отдельный сервис с уже заложенным списком верифицированных ботов, которые точно должны получать доступ в нормальной ситуации по версии Cloudflare Radar.
На данный момент сервис работает по 533 user-agent.
Кому это нужно
Сервис полезен всем, кто отвечает за видимость, работоспособность и безопасность сайтов.
- SEO-специалистам для проверки индексации, быстрого выявления блокировок и снижения риска потери трафика.
- Разработчикам для проверки поведения API, отладки редиректов и заголовков.
- Тестировщикам для автоматизированной проверки работы разных устройств, быстрого выявления ошибок и контроля после релиза.
- Администраторам и DevOps для контроля безопасности, тестирования правил WAF и firewall, анализа доступности и поддержки SLA.
Сервис работает абсолютно бесплатно и без регистрации. Попробовать можно тут:
Мы в Телеграм: bquadro_agency