Настройка Screaming Frog SEO Spider для сканирования сайтов

Инструкция по настройке Лягушки (Screaming Frog) для сканирования сайтов. Активируем и настраиваем программу для работы в ручном и из пред файла готовой конфигурации в пару кликов.

Настройка Screaming Frog SEO Spider для сканирования сайтов

Делюсь одной из частей регламента для сотрудников, которая посвященна работе с программой Screamig Frog.

Настройка Screaming Frog SEO Spider для сканирования сайтов

Приветствую. Меня зовут Толстенко Александр. Я SEO-специалист, маркетолог с опытом продвижения: Медицинских клиник, b2b и b2c клиентов, оптовиков, производителей, сайтов услуг и интернет-магазинов.

При помощи SEO-оптимизации сайта и платной рекламы, помогаю своим клиентам вывести сайт на первые позиции в Яндекс/Google и увеличить поток клиентов до 10 раз за месяц.

📍 Провожу 10 бесплатных консультаций в месяц. Если актуально, пишите в личку и бронируйте место https://t.me/tolstenkoaa.

Настраиваем параметры программы Screaming Frog SEO Spider

Запускам программу и сразу вводим ключь активации

Настройка Screaming Frog SEO Spider для сканирования сайтов
Настройка Screaming Frog SEO Spider для сканирования сайтов

Важно! Программа должна быть активированная, чтобы просканировать весь сайт, а не только первые 500 страниц.

Настройка Screaming Frog SEO Spider для сканирования сайтов

Далее, переходим к одному из методов настройке самой программы.

1. Загрузка настроек из готового файла конфигурации

Чтобы не разбираться в деталях настройки программы, загружаем скачанную конфигурацию на ПК и импортимуем настройки, которые подойдут в 90% случаев для сканирования практически всех сайтов.

Инструкция по импорту

1.1. Открываем меню: File → Configuration → load

Настройка Screaming Frog SEO Spider для сканирования сайтов

1.2. Импортируем скаченный файл выше

Настройка Screaming Frog SEO Spider для сканирования сайтов

1.3. Сохраняем загруженные настройки по умолчанию (будут применены при каждем открытии программы)

Настройка Screaming Frog SEO Spider для сканирования сайтов

1.4. Проверяем, где будут храниться данные сканирования в ОЗУ или на жестком (System → Storage Mode) (могло снести при импорте)

Настройка Screaming Frog SEO Spider для сканирования сайтов
Настройка Screaming Frog SEO Spider для сканирования сайтов

1.5. Проверить сколько у вас установилось оперативной памяти для сканирования (могло снести при импорте)

Настройка Screaming Frog SEO Spider для сканирования сайтов

Разработчики заявляют, что для хранения базы данных 4 ГБ ОЗУ позволят вам сканировать 2-3 миллиона URL-адресов, 8 ГБ ОЗУ позволят сканировать до 5 миллионов URL-адресов и 16 ГБ для 10 миллионов. Но, все это - приблизительные значения, так как зависит от типа сайта.

Рекомендуемое значение программой, будет указано в скобках (пример на скрние ниже в скобках: 14GB maximum allowed). Задать самостоятельно можно будет в окошке (у себя указал 10 GB)

Настройка Screaming Frog SEO Spider для сканирования сайтов

Я отдаю ~60% от общего объема, чтобы не зависал компьютер. Пример на скрине. После указанных значений, нажимаем ОК.

Настройка Screaming Frog SEO Spider для сканирования сайтов

1.3. Сохраняем загруженные настройки по умолчанию (будут применены при каждем открытии программы)

Настройка Screaming Frog SEO Spider для сканирования сайтов

1.5. Перезагружаем программу, запускаем парсинг нужного сайта.

💡 Проверка задачи (самопроверка)

  • Скачали файл конфигурации программы и импортировали его
  • Проверили на всякий случай п. 1.4 и 1.5., если импорт снес, установлии свои значения
  • Сохранили импортированные настройки, чтобы каждый раз не настраивать
  • Перезагрузили программу, запустили парсинг нужного сайта

2) Ручная настройка (если нужно настроить под себя)

2.1. Запускам программу и открываем настройки: Configuration

Настройка Screaming Frog SEO Spider для сканирования сайтов

2.2. Выбираем где хранить данные в ОЗУ или на жестком (System → Storage Mode)

Настройка Screaming Frog SEO Spider для сканирования сайтов

2.3. Выбираем место, где будут храниться данные сканирования

Настройка Screaming Frog SEO Spider для сканирования сайтов

Выбрать:
1) Database Store
2) Указать путь, где будут на жестком диске храниться данные парсинга (при желании)
3) Нажать кнопку: Ок, для сохранения изменений

2.4. Увеличиваем оперативную память для сканирования, чтобы не тупила программа

Настройка Screaming Frog SEO Spider для сканирования сайтов

В зависимости от объема оперативной памяти на вашем компьтере (у меня 16 GB), вы можете задать значение самостоятельно.Чем больше объем, тем меньше будет тупить программа.Рекомендуемое значение программой, будет указано в скобках (пример на скрние ниже в скобках: 14GB maximum allowed).Задать самостоятельно можно будет в окошке (у себя указал 10 GB)

Настройка Screaming Frog SEO Spider для сканирования сайтов

Я отдаю ~60% от общего объема, чтобы не зависал компьютер. Пример как у меня на скрине.После указанных значений, нажимаем ОК.

Настройка Screaming Frog SEO Spider для сканирования сайтов

2.5. Сохраняем сделанные настройки конфигураци, чтобы открывались по умолчанию

Настройка Screaming Frog SEO Spider для сканирования сайтов

2.6. Перезагружаем программу, она готова к работе

2.7. Переходим к сканированию сайта (ссылка на инструкию сканирования)

Важно! Если у вас очень большой проект (больше полу миллиона страниц), можно отключить ненужные параметры для сканирования. Пример настроек на скринах ниже. Поигравшись с настройками самостояльно, можно просканировать весь сайт.

Настройка Screaming Frog SEO Spider для сканирования сайтов
Настройка Screaming Frog SEO Spider для сканирования сайтов
Настройка Screaming Frog SEO Spider для сканирования сайтов

💡 Проверка задачи (самопроверка)

  • Программа настроена для сканирования сайтов
  • Сохранили настройки, чтобы каждый раз не настраивать программу
  • Перезагрузили программу, запустили парсинг нужного сайта

📍 ХОТИТЕ УВЕЛИЧИТЬ ЗАКАЗЫ В 2-5 РАЗ ЗА 30 ДНЕЙ

и создать стабильную систему привлечения клиентов?

👇 Пишите в личные сообщения кодовое слово: "НастройкаFrogВС"

☝ Уточню кое какие вопросы, определим дату и время созвона по видео связи.

📕 ЧТО ВЫ ПОЛУЧИТЕ ОТ КОНСУЛЬТАЦИИ?

1) За 10-15 минут проведу БЕСПЛАТНУЮ диагностику вашего бизнеса и отвечу на все ваши вопросы.

2) Расскажу, какие рекламные инструменты использовать для продвижения и сколько заказов вы получите исходя из вашего рекламного бюджета.

3.) Подарю аудит сайта стоимостью 5000 рублей — Берите, исправляйте технические ошибки и увеличивайте продажи.

Все это по записи в личных сообщениях

☝ В месяц на продвижение беру не более пяти новых проектов.Количество бесплатных диагностик: 10 шт на месяц. Есть ли места, уточняйте в личных сообщениях.

----

Телеграм: https://t.me/tolstenkoaa

22
15 комментариев

Так это же очевидно все. Мы и так это все знали.

Ответить

Кто то знает, кто то нет
Инструкция готовилась для джунов, чтобы они не тратили много времени на настройку, прочитали, загрузили конфигурацию и начали работу

2
Ответить

Млин поколение эспердов не способных писать без ошибок...

1
Ответить

Вопрос - а для чего мы выбираем в 1.4. хранение на жестком диске данных парсинга?
Предполагается, что мы их будем потом сами чистить и удалять кучу неактуальных данных такого вида: https://skr.sh/sOL4JkXvHyy ?
или это для увеличения скорости делается?

Ответить

чтобы оперативку не отедало

Ответить

А как то русифицировать программу нельзя?

Ответить

не знаю. не искал

Ответить