Как сделать автоматизированные скриншоты отдельных URL или сайта целиком по расписанию
Предисловие
Данная инструкция может потребоваться для нескольких видов задач:
- Отследить вносимые на сайт точечные изменения (новые размещенные кнопки, изменения функционала, добавленные изображения и тексты);
- Зафиксировать внешний вид сайта до какого-то глобального события (редизайн, глобальное изменение контента) с целью последующего сравнения «до/после»;
- Оффлайн-анализ сайта (юзабилити, частично контент, визуальные элементы);
- Проверка соответствия контента на страницах URL-у страниц: скриншоты должны иметь в названии файла URL страницы (анализ релевантности);
- Сравнение отображения сайта с десктопных и мобильных устройств;
- Архивирование сайта в виде набора картинок;
- Любые иные задачи, требующие создания скриншотов отдельных страниц или сайта целиком на регулярной основе или разово.
Выбор инструмента
Данная задача решается множеством (теоретически) онлайн-инструментов. в то же время они требуют дополнительного использования (за пределами уже имеющихся у SEO-специалиста или программиста), отдельной оплаты (некоторые тарифы доходят до цен в 20 доллларов за 100 скриншотов) и изучения спецификации сервиса.
Одиночные "длинные" скриншоты (вроде тех, что делает Firefox) автоматизировать и привести к работе по расписанию не удалось.
Путём проб, ошибок и хождения кругами был выбран удачно случайно найден старый добрый Screaming Frog. Он умеет сканировать сайт выборочно и/или целиком и буквально за пару нажатий получить нужный результат.
Инструкция для разового запуска:
- Запустить программу Screaming Frog (лицензионная активированная версия — на других версиях способ не тестировался);
- Переходим в меню, выбираем пункты Configuration — Spider — Rendering;
- В поле Rendering выбираем javaScript (вместо стоящего по умолчанию Text Only);
- Откроются дополнительные настройки. Все три галочки, которые можно поставить — ставим (Flatten iframes, flatten shadow DOM и Enable Rendered Page Screenshots). Ниже выбирается размер окна (размер устройства, с которого «делается» скриншот): его можно выбрать или по принципу «чем больше тем лучше» (для более детального отображения скриншотов) — это могут быть Googlebot Desktop или Large Desktop. iPhone, iPad и прочие варианты имитируют загрузку с экрана в соответствующем разрешении — можно выбрать только если это подходит для ваших целей (например, сравнить отображение сайта с ПК, планшета и телефона);
- Нажимаем кнопку «ОК»;
- Опционально: если сканируемый сайт нуждается в индивидуальном подходе, который отличается от ваших стандартных настроек Screaming Frog (скрыть часть страниц от сканирования, выбрать иной User Agent и так далее), то необходимо сначала выставить эти настройки, затем сохранить файл конфигурации под каким-то определенным наименованием с помощью меню File — Configuration — Save As;
- Если требуется сделать скриншоты сайта целиком — необходимо ввести URL в поле «Enter URL to spider» (стандартное поле для сканирования сайта);
- После завершения сканирования зайти в в Bulk Export — Web — Screenshots и выбрать папку для сохранения файлов;
- Опционально вместо пункта 6: если требуется анализ только части URL, а не сайта целиком, то переходим в Mode — выбираем List, кнопка Upload и выбираем способ, которым указываем парсеру только необходимые страницы. Например, есть файл в excel где в столбик указаны все URL. Тогда нажимаем From a File, выбираем этот файл, нажимаем «ОК» — сканирование запустится.
Инструкция для регулярного автоматического запуска:
скриншот с официального сайта Screaming Frog
- Чтобы сканировать сайт постранично и получать скриншоты всех/необходимых страниц сайта, необходимо зайти в меню Sheduling в программе Screaming Frog;
- Нажимаем +Add и сразу оказываемся во вкладке General;
- Task Name — название задачи, Project Name — имя проекта, Description — описание; заполняются в свободной форме, можно без URL-ов;
- В пункте Date/Time выбираем дату и время, когда хотим запустить проверку (например, 28.09.2021, 14:30). Меню рядом, в котором выбрано «Once» — это периодичность проверки. При клике можно выбрать разово/ежедневно/еженедельно или ежемесячно (once/daily/weekly и monthly соответственно);
- Переходим к вкладке Start Options;
- В поле Crawler Mode Выбираем «Spider» если планируем сканировать весь сайт и вводим адрес сайта в Crawl Seed;
- Опционально вместо предыдущего пункта: В поле Crawler Mode Выбираем «List» если планируем сканировать отдельные URL, появляется кнопка Browse (справа, напротив Crawl Seed) — выбираем файл с URLами сайта;
- В поле Crawl Config можно нажать Browse и загрузить нужный файл с особыми настройками парсера (подготавливался в инструкции для разового запуска в пункте 5). Если особых настроек не надо — поле можно не трогать: будут использоваться ваши стандартные настройки Screaming Frog или настройки по умолчанию;
- Переходим во вкладку Export. В options ставим галочку Headless (required for exports). Она нужна, чтобы программа запускалась в командной строке, а не в полноценном стандартном интерфейсе, а также это требуется для настроек автоматической выгрузки;
- В поле Local Output Folder указываем папку, куда сохранится папка со скриншотами;
- Output Mode выбираем Create timestamped folder in output (создание новой папки каждый раз; альтернативный вариант с перезаписью данных (Overwrite files in output) не подходит для большинства ситуаций);
- В графе Spreadsheets выбираем Bulk Exports, в открывшемся окне в левой колонке находим вручную или через поиск Web:Screenshots;
- Нажимаем на Web:Screenshots и нажимаем одинарную стрелочку вправо: Web:Screenshots перенесётся в правую колонку, кнопки «ок» нет, просто нажимаем мышкой мимо диалогового окна;
- В поле format рекомендуется выбрать xlsx на случай, если помимо скриншотов планируется выгружать и другие выгрузки;
- Нажимаем Ок и выходим из программы.
Если всё было сделано верно в указанное время запустится автоматический парсинг страниц сайта, по завершению которого все скриншоты будут лежать в указанной вами папке. Новые сканирования будут создавать отдельную папку с названием по дате и времени выполненного сканирования. Рядом будут располагаться (в той же общей папке, но в отдельной подпапке) более ранние автоматические скриншоты сайта.
Извините за отсутствие скриншотов, Screaming Frog не под рукой
Старые добрые инструкции, как же я скучал. Спасибо.
Я SEO 20 лет занимаюсь, а что такое "скриншоты URL" я не знаю. По смыслу конечно могу предположить что-то, но, тем не менее...
Я к чему? Вы если свои какие-то местячковые термины используете, то вначале статьи их определение давайте - так статья читабельнее будет.
Вам непонятно, как можно использовать скриншоты с сайтов конкурентов?
20 лет - внушительный срок. Про "веб-архив"-то наверняка слыхали?
Претензия к языку статьи - принимается, я косноязычно описал, но это может быть кому-то полезно даже в таком виде (я бы очень хотел найти такую статью, пока искал решение проблемы создания скриншотов всего сайта)
Комментарий недоступен
Вот бы сейчас рассуждать про цену на фрог в сеошном разделе.
Бывшие союзные республики мля
Если вы настоящий сеошник, то лягушка у вас есть в обиходе для кучи других задач, не только для скриншотов страниц сайта.