Как сделать автоматизированные скриншоты отдельных URL или сайта целиком по расписанию

Данная инструкция может потребоваться для нескольких видов задач:

• Отследить вносимые на сайт точечные изменения (новые размещенные кнопки, изменения функционала, добавленные изображения и тексты);
• Зафиксировать внешний вид сайта до какого-то глобального события (редизайн, глобальное изменение контента) с целью последующего сравнения «до/после»;
• Оффлайн-анализ сайта (юзабилити, частично контент, визуальные элементы);
• Проверка соответствия контента на страницах URL-у страниц: скриншоты должны иметь в названии файла URL страницы (анализ релевантности);
• Сравнение отображения сайта с десктопных и мобильных устройств;
• Архивирование сайта в виде набора картинок;
• Любые иные задачи, требующие создания скриншотов отдельных страниц или сайта целиком на регулярной основе или разово.

Данная задача решается множеством (теоретически) онлайн-инструментов. в то же время они требуют дополнительного использования (за пределами уже имеющихся у SEO-специалиста или программиста), отдельной оплаты (некоторые тарифы доходят до цен в 20 доллларов за 100 скриншотов) и изучения спецификации сервиса.

Одиночные "длинные" скриншоты (вроде тех, что делает Firefox) автоматизировать и привести к работе по расписанию не удалось.

Путём проб, ошибок и хождения кругами был выбран удачно случайно найден старый добрый Screaming Frog. Он умеет сканировать сайт выборочно и/или целиком и буквально за пару нажатий получить нужный результат.

• Запустить программу Screaming Frog (лицензионная активированная версия — на других версиях способ не тестировался);
• Переходим в меню, выбираем пункты Configuration — Spider — Rendering;
• В поле Rendering выбираем javaScript (вместо стоящего по умолчанию Text Only);
• Откроются дополнительные настройки. Все три галочки, которые можно поставить — ставим (Flatten iframes, flatten shadow DOM и Enable Rendered Page Screenshots). Ниже выбирается размер окна (размер устройства, с которого «делается» скриншот): его можно выбрать или по принципу «чем больше тем лучше» (для более детального отображения скриншотов) — это могут быть Googlebot Desktop или Large Desktop. iPhone, iPad и прочие варианты имитируют загрузку с экрана в соответствующем разрешении — можно выбрать только если это подходит для ваших целей (например, сравнить отображение сайта с ПК, планшета и телефона);
• Нажимаем кнопку «ОК»;
• Опционально: если сканируемый сайт нуждается в индивидуальном подходе, который отличается от ваших стандартных настроек Screaming Frog (скрыть часть страниц от сканирования, выбрать иной User Agent и так далее), то необходимо сначала выставить эти настройки, затем сохранить файл конфигурации под каким-то определенным наименованием с помощью меню File — Configuration — Save As;
• Если требуется сделать скриншоты сайта целиком — необходимо ввести URL в поле «Enter URL to spider» (стандартное поле для сканирования сайта);
• После завершения сканирования зайти в в Bulk Export — Web — Screenshots и выбрать папку для сохранения файлов;
• Опционально вместо пункта 6: если требуется анализ только части URL, а не сайта целиком, то переходим в Mode — выбираем List, кнопка Upload и выбираем способ, которым указываем парсеру только необходимые страницы. Например, есть файл в excel где в столбик указаны все URL. Тогда нажимаем From a File, выбираем этот файл, нажимаем «ОК» — сканирование запустится.

• Чтобы сканировать сайт постранично и получать скриншоты всех/необходимых страниц сайта, необходимо зайти в меню Sheduling в программе Screaming Frog;
• Нажимаем +Add и сразу оказываемся во вкладке General;
• Task Name — название задачи, Project Name — имя проекта, Description — описание; заполняются в свободной форме, можно без URL-ов;
• В пункте Date/Time выбираем дату и время, когда хотим запустить проверку (например, 28.09.2021, 14:30). Меню рядом, в котором выбрано «Once» — это периодичность проверки. При клике можно выбрать разово/ежедневно/еженедельно или ежемесячно (once/daily/weekly и monthly соответственно);
• Переходим к вкладке Start Options;
• В поле Crawler Mode Выбираем «Spider» если планируем сканировать весь сайт и вводим адрес сайта в Crawl Seed;
• Опционально вместо предыдущего пункта: В поле Crawler Mode Выбираем «List» если планируем сканировать отдельные URL, появляется кнопка Browse (справа, напротив Crawl Seed) — выбираем файл с URLами сайта;
• В поле Crawl Config можно нажать Browse и загрузить нужный файл с особыми настройками парсера (подготавливался в инструкции для разового запуска в пункте 5). Если особых настроек не надо — поле можно не трогать: будут использоваться ваши стандартные настройки Screaming Frog или настройки по умолчанию;
• Переходим во вкладку Export. В options ставим галочку Headless (required for exports). Она нужна, чтобы программа запускалась в командной строке, а не в полноценном стандартном интерфейсе, а также это требуется для настроек автоматической выгрузки;
• В поле Local Output Folder указываем папку, куда сохранится папка со скриншотами;
• Output Mode выбираем Create timestamped folder in output (создание новой папки каждый раз; альтернативный вариант с перезаписью данных (Overwrite files in output) не подходит для большинства ситуаций);
• В графе Spreadsheets выбираем Bulk Exports, в открывшемся окне в левой колонке находим вручную или через поиск Web:Screenshots;
• Нажимаем на Web:Screenshots и нажимаем одинарную стрелочку вправо: Web:Screenshots перенесётся в правую колонку, кнопки «ок» нет, просто нажимаем мышкой мимо диалогового окна;
• В поле format рекомендуется выбрать xlsx на случай, если помимо скриншотов планируется выгружать и другие выгрузки;
• Нажимаем Ок и выходим из программы.

Если всё было сделано верно в указанное время запустится автоматический парсинг страниц сайта, по завершению которого все скриншоты будут лежать в указанной вами папке. Новые сканирования будут создавать отдельную папку с названием по дате и времени выполненного сканирования. Рядом будут располагаться (в той же общей папке, но в отдельной подпапке) более ранние автоматические скриншоты сайта.

Извините за отсутствие скриншотов, Screaming Frog не под рукой