Как сделать автоматизированные скриншоты отдельных URL или сайта целиком по расписанию

Предисловие

Данная инструкция может потребоваться для нескольких видов задач:

  • Отследить вносимые на сайт точечные изменения (новые размещенные кнопки, изменения функционала, добавленные изображения и тексты);
  • Зафиксировать внешний вид сайта до какого-то глобального события (редизайн, глобальное изменение контента) с целью последующего сравнения «до/после»;
  • Оффлайн-анализ сайта (юзабилити, частично контент, визуальные элементы);
  • Проверка соответствия контента на страницах URL-у страниц: скриншоты должны иметь в названии файла URL страницы (анализ релевантности);
  • Сравнение отображения сайта с десктопных и мобильных устройств;
  • Архивирование сайта в виде набора картинок;
  • Любые иные задачи, требующие создания скриншотов отдельных страниц или сайта целиком на регулярной основе или разово.

Выбор инструмента

Данная задача решается множеством (теоретически) онлайн-инструментов. в то же время они требуют дополнительного использования (за пределами уже имеющихся у SEO-специалиста или программиста), отдельной оплаты (некоторые тарифы доходят до цен в 20 доллларов за 100 скриншотов) и изучения спецификации сервиса.

Одиночные "длинные" скриншоты (вроде тех, что делает Firefox) автоматизировать и привести к работе по расписанию не удалось.

Путём проб, ошибок и хождения кругами был выбран удачно случайно найден старый добрый Screaming Frog. Он умеет сканировать сайт выборочно и/или целиком и буквально за пару нажатий получить нужный результат.

Инструкция для разового запуска:

  • Запустить программу Screaming Frog (лицензионная активированная версия — на других версиях способ не тестировался);
  • Переходим в меню, выбираем пункты Configuration — Spider — Rendering;
  • В поле Rendering выбираем javaScript (вместо стоящего по умолчанию Text Only);
  • Откроются дополнительные настройки. Все три галочки, которые можно поставить — ставим (Flatten iframes, flatten shadow DOM и Enable Rendered Page Screenshots). Ниже выбирается размер окна (размер устройства, с которого «делается» скриншот): его можно выбрать или по принципу «чем больше тем лучше» (для более детального отображения скриншотов) — это могут быть Googlebot Desktop или Large Desktop. iPhone, iPad и прочие варианты имитируют загрузку с экрана в соответствующем разрешении — можно выбрать только если это подходит для ваших целей (например, сравнить отображение сайта с ПК, планшета и телефона);
  • Нажимаем кнопку «ОК»;
  • Опционально: если сканируемый сайт нуждается в индивидуальном подходе, который отличается от ваших стандартных настроек Screaming Frog (скрыть часть страниц от сканирования, выбрать иной User Agent и так далее), то необходимо сначала выставить эти настройки, затем сохранить файл конфигурации под каким-то определенным наименованием с помощью меню File — Configuration — Save As;
  • Если требуется сделать скриншоты сайта целиком — необходимо ввести URL в поле «Enter URL to spider» (стандартное поле для сканирования сайта);
  • После завершения сканирования зайти в в Bulk Export — Web — Screenshots и выбрать папку для сохранения файлов;
  • Опционально вместо пункта 6: если требуется анализ только части URL, а не сайта целиком, то переходим в Mode — выбираем List, кнопка Upload и выбираем способ, которым указываем парсеру только необходимые страницы. Например, есть файл в excel где в столбик указаны все URL. Тогда нажимаем From a File, выбираем этот файл, нажимаем «ОК» — сканирование запустится.

Инструкция для регулярного автоматического запуска:

скриншот с официального сайта Screaming Frog
скриншот с официального сайта Screaming Frog
  • Чтобы сканировать сайт постранично и получать скриншоты всех/необходимых страниц сайта, необходимо зайти в меню Sheduling в программе Screaming Frog;
  • Нажимаем +Add и сразу оказываемся во вкладке General;
  • Task Name — название задачи, Project Name — имя проекта, Description — описание; заполняются в свободной форме, можно без URL-ов;
  • В пункте Date/Time выбираем дату и время, когда хотим запустить проверку (например, 28.09.2021, 14:30). Меню рядом, в котором выбрано «Once» — это периодичность проверки. При клике можно выбрать разово/ежедневно/еженедельно или ежемесячно (once/daily/weekly и monthly соответственно);
  • Переходим к вкладке Start Options;
  • В поле Crawler Mode Выбираем «Spider» если планируем сканировать весь сайт и вводим адрес сайта в Crawl Seed;
  • Опционально вместо предыдущего пункта: В поле Crawler Mode Выбираем «List» если планируем сканировать отдельные URL, появляется кнопка Browse (справа, напротив Crawl Seed) — выбираем файл с URLами сайта;
  • В поле Crawl Config можно нажать Browse и загрузить нужный файл с особыми настройками парсера (подготавливался в инструкции для разового запуска в пункте 5). Если особых настроек не надо — поле можно не трогать: будут использоваться ваши стандартные настройки Screaming Frog или настройки по умолчанию;
  • Переходим во вкладку Export. В options ставим галочку Headless (required for exports). Она нужна, чтобы программа запускалась в командной строке, а не в полноценном стандартном интерфейсе, а также это требуется для настроек автоматической выгрузки;
  • В поле Local Output Folder указываем папку, куда сохранится папка со скриншотами;
  • Output Mode выбираем Create timestamped folder in output (создание новой папки каждый раз; альтернативный вариант с перезаписью данных (Overwrite files in output) не подходит для большинства ситуаций);
  • В графе Spreadsheets выбираем Bulk Exports, в открывшемся окне в левой колонке находим вручную или через поиск Web:Screenshots;
  • Нажимаем на Web:Screenshots и нажимаем одинарную стрелочку вправо: Web:Screenshots перенесётся в правую колонку, кнопки «ок» нет, просто нажимаем мышкой мимо диалогового окна;
  • В поле format рекомендуется выбрать xlsx на случай, если помимо скриншотов планируется выгружать и другие выгрузки;
  • Нажимаем Ок и выходим из программы.

Если всё было сделано верно в указанное время запустится автоматический парсинг страниц сайта, по завершению которого все скриншоты будут лежать в указанной вами папке. Новые сканирования будут создавать отдельную папку с названием по дате и времени выполненного сканирования. Рядом будут располагаться (в той же общей папке, но в отдельной подпапке) более ранние автоматические скриншоты сайта.

Извините за отсутствие скриншотов, Screaming Frog не под рукой

66
16 комментариев

Старые добрые инструкции, как же я скучал. Спасибо.

3

Я SEO 20 лет занимаюсь, а что такое "скриншоты URL" я не знаю. По смыслу конечно могу предположить что-то, но, тем не менее...

Я к чему? Вы если свои какие-то местячковые термины используете, то вначале статьи их определение давайте - так статья читабельнее будет.

3

Вам непонятно, как можно использовать скриншоты с сайтов конкурентов?
20 лет - внушительный срок. Про "веб-архив"-то наверняка слыхали?

1

Претензия к языку статьи - принимается, я косноязычно описал, но это может быть кому-то полезно даже в таком виде (я бы очень хотел найти такую статью, пока искал решение проблемы создания скриншотов всего сайта)

1

Комментарий недоступен

Вот бы сейчас рассуждать про цену на фрог в сеошном разделе.
Бывшие союзные республики мля

4

Если вы настоящий сеошник, то лягушка у вас есть в обиходе для кучи других задач, не только для скриншотов страниц сайта.

2