Настройка Screaming Frog SEO Spider для сканирования сайтов
Инструкция по настройке Лягушки (Screaming Frog) для сканирования сайтов. Активируем и настраиваем программу для работы в ручном и из пред файла готовой конфигурации в пару кликов.
Инструкция по настройке Лягушки (Screaming Frog) для сканирования сайтов. Активируем и настраиваем программу для работы в ручном и из пред файла готовой конфигурации в пару кликов.
Александр, вопрос к вам - как обходите блокировку сайтов от парсинга?
Смена юзер-агента на Гугл, Сезнам или Яндекс не помогает, примерно такая картина происходит:
сам не нашел решения.
Сегодня парсил сайт, блокирнули. Был второй wi-fi подключился к нему (провйдер тот же) снизил скорость парсинга в секунду, допарсил
На практике редко попадаются проекты, которые проблемно спарсить. Не искал проблему. Уверен тут проблема в скорости отрытия страниц в секунду. Большенство хостеров по этому параметру просто блочат ip
В лягушке есть proxy можете вот это попробывать https://ru-brightdata.com/integration/screaming-frog
я не пробывал