Инструкция по настройке Лягушки (Screaming Frog) для сканирования сайтов. Активируем и настраиваем программу для работы в ручном и из пред файла готовой конфигурации в пару кликов.
Делюсь одной из частей регламента для сотрудников, которая посвященна работе с программой Screamig Frog.
Всем привет. Меня зовут Толстенко Александр. Я частный специалист по продвижению сайтов в Яндекс/Google.
Работаю в сфере создания и продвижения сайтов с 2009 года (уже более 13 лет).
Кейсы продвижения и другие статьи, подтверждающие экспертизу, можно посмотреть на сайте marketing-digital.ru или в профиле на vc.ru.
Провожу в месяц 10 бесплатных консультации длительностью 10-15 минут. Если актуально, бронируйте место, контакты в конце.
Настраиваем параметры программы Screaming Frog SEO Spider
Запускам программу и сразу вводим ключь активации
Важно! Программа должна быть активированная, чтобы просканировать весь сайт, а не только первые 500 страниц.
Далее, переходим к одному из методов настройке самой программы.
1. Загрузка настроек из готового файла конфигурации
Чтобы не разбираться в деталях настройки программы, загружаем скачанную конфигурацию на ПК и импортимуем настройки, которые подойдут в 90% случаев для сканирования практически всех сайтов.
Инструкция по импорту
1.1. Открываем меню: File → Configuration → load
1.2. Импортируем скаченный файл выше
1.3. Сохраняем загруженные настройки по умолчанию (будут применены при каждем открытии программы)
1.4. Проверяем, где будут храниться данные сканирования в ОЗУ или на жестком (System → Storage Mode) (могло снести при импорте)
1.5. Проверить сколько у вас установилось оперативной памяти для сканирования (могло снести при импорте)
Разработчики заявляют, что для хранения базы данных 4 ГБ ОЗУ позволят вам сканировать 2-3 миллиона URL-адресов, 8 ГБ ОЗУ позволят сканировать до 5 миллионов URL-адресов и 16 ГБ для 10 миллионов. Но, все это - приблизительные значения, так как зависит от типа сайта.
Рекомендуемое значение программой, будет указано в скобках (пример на скрние ниже в скобках: 14GB maximum allowed). Задать самостоятельно можно будет в окошке (у себя указал 10 GB)
Я отдаю ~60% от общего объема, чтобы не зависал компьютер. Пример на скрине. После указанных значений, нажимаем ОК.
1.3. Сохраняем загруженные настройки по умолчанию (будут применены при каждем открытии программы)
1.5. Перезагружаем программу, запускаем парсинг нужного сайта.
💡 Проверка задачи (самопроверка)
- Скачали файл конфигурации программы и импортировали его
- Проверили на всякий случай п. 1.4 и 1.5., если импорт снес, установлии свои значения
- Сохранили импортированные настройки, чтобы каждый раз не настраивать
- Перезагрузили программу, запустили парсинг нужного сайта
2) Ручная настройка (если нужно настроить под себя)
2.1. Запускам программу и открываем настройки: Configuration
2.2. Выбираем где хранить данные в ОЗУ или на жестком (System → Storage Mode)
2.3. Выбираем место, где будут храниться данные сканирования
Выбрать:
1) Database Store
2) Указать путь, где будут на жестком диске храниться данные парсинга (при желании)
3) Нажать кнопку: Ок, для сохранения изменений
2.4. Увеличиваем оперативную память для сканирования, чтобы не тупила программа
В зависимости от объема оперативной памяти на вашем компьтере (у меня 16 GB), вы можете задать значение самостоятельно.Чем больше объем, тем меньше будет тупить программа.Рекомендуемое значение программой, будет указано в скобках (пример на скрние ниже в скобках: 14GB maximum allowed).Задать самостоятельно можно будет в окошке (у себя указал 10 GB)
Я отдаю ~60% от общего объема, чтобы не зависал компьютер. Пример как у меня на скрине.После указанных значений, нажимаем ОК.
2.5. Сохраняем сделанные настройки конфигураци, чтобы открывались по умолчанию
2.6. Перезагружаем программу, она готова к работе
2.7. Переходим к сканированию сайта (ссылка на инструкию сканирования)
Важно! Если у вас очень большой проект (больше полу миллиона страниц), можно отключить ненужные параметры для сканирования. Пример настроек на скринах ниже. Поигравшись с настройками самостояльно, можно просканировать весь сайт.
💡 Проверка задачи (самопроверка)
- Программа настроена для сканирования сайтов
- Сохранили настройки, чтобы каждый раз не настраивать программу
- Перезагрузили программу, запустили парсинг нужного сайта
✌ Нужна консультация?
👉 Пишите в личные сообщения сюда:
Telegram логин: @tolstenkoaa
Оставив заявку на сайте: marketing-digital.ru
Вопрос - а для чего мы выбираем в 1.4. хранение на жестком диске данных парсинга?
Предполагается, что мы их будем потом сами чистить и удалять кучу неактуальных данных такого вида: https://skr.sh/sOL4JkXvHyy ?
или это для увеличения скорости делается?
чтобы оперативку не отедало
каждый раз потом чистить лишние файлы на диске?
Да, это минус этого метода. Может когда то потом доработают автоудаление.
Если оперативки хватает, можно так не делать, будет в ОЗУ все храниться
способ нормальный, нет проблем в удалении архивов.
Спасибо за наводку!
Так это же очевидно все. Мы и так это все знали.
Кто то знает, кто то нет
Инструкция готовилась для джунов, чтобы они не тратили много времени на настройку, прочитали, загрузили конфигурацию и начали работу
ну ясно. хотелось бы что-то уровня https://www.screamingfrog.co.uk/how-to-automate-crawl-reports-in-data-studio/
Млин поколение эспердов не способных писать без ошибок...
А как то русифицировать программу нельзя?
не знаю. не искал