7 бесплатных аналогов Screaming Frog и Netpeak Spider

Многие SEO-специалисты практически ежедневно проводят технические аудиты сайтов используя тот или иной софт для краулинга. В 90% случаев это всем известные Screaming Frog SEO Spider либо Netpeak Spider. Обе программы платные, а их стоимость начинается от £149 и $182 в год соответственно (500 бесплатных страниц, доступных в Screaming Frog в учет не берем, так как это не серьезно для более-менее крупных проектов). Согласитесь – не каждый фрилансер-сеошник может позволить себе потратить более 10 000 рублей на приобретение подобного софта.

Без сомнений, обе программы достойные, но хотелось бы дешевле, и намного дешевле. А лучше бесплатно )

Конечно, помимо Screaming Frog и Netpeak Spider существует множество других платных и бесплатных аналогичных программ для краулинга сайтов, однако, большинство из них либо имеет более слабый функционал, либо их поддержка и развитие прекращены по неизвестным нам причинам.

И если среди платных краулеров особых вопросов "что использовать" особо не возникает (лягушка, нетпик, ну или вебсайтаудитор на крайний случай), то бесплатные аналоги известны далеко не всем.

В данной статье мы постараемся осветить данный вопрос.

Примеры альтернативных бесплатных SEO-краулеров:

  • Xenu’s Link Sleuth – прародитель веб-краулеров, не обновлялся с 2010 года. Было бы странно, если бы им сейчас еще кто-то пользовался.
  • WildShark – очень простой и бесплатный парсер сайтов от одноименного рекламного агентства. Хотя WildShark SEO Spider имеет больше функций, чем Xenu’s Link Sleuth, однако он все же функционально бедноват. Настройки практически отсутствуют. Подойдет для быстрой оценки технического состояния сайта, но для серьезных аудитов не подходит.
  • Beam Us Up – бесплатный сканер сайтов для ПК, который поддерживает платформы Windows, Linux и MacOS, имеет достаточно информативные отчеты и возможность выгрузки в Excel битых ссылок, редиректов и т.п. ошибок на сайте. Из минусов: парсит только HTML, проект более не поддерживается и не развивается.
  • Webbee – это бесплатный сканер сайтов или списка URL. Программа имеет широкий набор анализируемых параметров, отображает полученную статистику в графическом виде, есть интеграция с Google Analytics. Минусы: визуализация данных на графиках выглядит жутковато, анализируемых параметров могло бы быть и больше, нет возможности фильтрации данных по произвольным полям. Последний релиз был выпущен в 2015 году.
  • LinkChecker – программа предназначена для проверки битых ссылок в HTML-коде и файлах CSS, отсюда ее ограниченность в применении. Работает медленно, давно не обновлялась. Не стоит тратить на нее время.
  • IIS SEO Toolkit – бесплатный SEO-краулер самой Microsoft! Обладает достаточным набором функций для программ подобного рода, скорость сканирования сайтов также на уровне. Однако работает только на Windows 7-8. 10-ка не поддерживается. По всей видимости дальнейшая поддержка программы прекращена.
  • SiteAnalyzer – по набору функций практически не уступает платным аналогам, то есть на 80% программа повторяет основной функционал Screaming Frog и Netpeak Spider. А некоторых функций, таких, как Визуализация ссылочных связей на графе, нет даже у большинства платных аналогов (а те у кого есть, можно перечислить на пальцах одной руки). При этом вам не нужно тратиться на приобретение лицензий. Все основные инструменты для аудита сайта у вас под рукой совершенно бесплатно!

Как можно понять из выше озвученного списка, бесплатных альтернатив у платных краулеров предостаточно, однако большинство из них обладают посредственным функционалом, поэтому подробно я бы хотел остановиться лишь на одной программе из предложенных вариантов – SiteAnalyzer.

Программа визуально довольно близка со Screaming Frog SEO Spider, при этом на 80% SiteAnalyzer повторяет основной функционал "лягушки", поэтому разобраться с ее работой опытному сеошнику будет проще простого, а начинающему освоить ее не составит большого труда.

Быстрый доступ к проектам

Основным отличием SiteAnalyzer от Screaming Frog является возможность хранения всех сайтов в единой базе в виде списка проектов. Таким образом, вам не нужно тратить время на сохранение проекта на диск и последующую загрузку данных с диска – вы просто выбираете нужный проект из списка и через несколько секунд получаете все его страницы с подробной информацией по каждой из них.

Визуализация данных

Визуализация ссылочных связей на графе в SiteAnalyzer способна отображать одновременно от 100 000 узлов и более, в то время как у Screaming Frog при числе от 10 000 уже возникают "тормоза" даже на мощных ПК.

Не лишним будет упомянуть, что веб-краулеров с возможностью визуализации ссылок на графе во всем мире наберется не больше, чем пальцев на одной руке, поэтому наличие данной функции в бесплатной программе особенно ценно.

Расчет PageRank

Вкладка PageRank предназначена для расчета и отображения численного значения внутреннего ПейджРанк для каждой страницы сайта (рассчитывается исходя из внутренней перелинковки всех страниц сайта).

Таким образом, SEO-специалист сможет проанализировать, какие страницы получают больше всего внутренних ссылок и при необходимости скорректировать перелинковку сайта для перенаправления ссылочного веса на более важные страницы.

Проверка индексации страниц

В программе существует возможность проверки индексации страниц в поисковой системе Яндекс через Яндекс XML.

Таким образом, после сканирования сайта вы сможете проанализировать, какой процент страниц вашего сайта находится в индексе Яндекса без использования сторонних сервисов.

Дашборд

Вкладка Дашборд позволяет отобразить подробный отчет о текущей оптимизации сайта на одной странице путем отображения всех найденных ошибок и указанием степени их критичности.

Помимо этих данных в отчете присутствует указание общего показателя качества оптимизации сайта, рассчитываемого по 100-бальной шкале относительно текущей степени его оптимизации. Дополнительно имеется возможность экспорта данных вкладки "Дашборд" в отчет в формате PDF.

Заключение

Из прочих отличительных особенностей SiteAnalyzer можно отметить портативный формат (в виду бесплатного распространения программа не нуждается в инсталляции и работает сразу после распаковки архива, а запускается даже со сменного носителя), а также постоянное развитие программы, что как мы выяснили выше, может являться весьма весомым аргументом при выборе софта.

В ближайших версиях мы планируем не останавливаться на достигнутом и развивать продукт не менее интенсивно и продуктивно!

Следите за обновлениями!

P.S. При скачивании архива, может начать ругаться Windows Defender либо McAfee, однако не стоит чего-либо опасаться, т.к. ругаются они не на саму программу, а на Updater.exe, который служит для автоматического обновления версии и по мнению некоторых антивирусов является потенциально опасным. Мы сейчас занимаемся решением данного вопроса.

0
21 комментарий
Написать комментарий...
Юрий Котов

Вот если бы добавить возможность парсинга цен на сайтах, экспорт всех битых ссылок, исходящих и тп., то тогда было бы вообще волшебно!

Хотя и за текущий функционал тоже большой Респект! Давно пользуюсь.

Ответить
Развернуть ветку
Андрей Симагин
Автор

Все это есть в планах, не могу сказать как скоро все это реализуем, но запросов на импорт много, и парсинг, поэтому однозначно что это в приоритете. Спасибо за отзыв!

Ответить
Развернуть ветку
Максим Пряник

По описанию очень интересно, затестю

Ответить
Развернуть ветку
Максим Пряник

Софт точно видит ссылки внутри текста? Почему то у меня не отображаются они

Ответить
Развернуть ветку
Андрей Симагин
Автор

Да, так как анализируется именно исходный код страниц. Если сайт не на Ajax, то все должно парситься корректно.

Ответить
Развернуть ветку
Mike Espoo

"Согласитесь – не каждый фрилансер-сеошник может позволить себе потратить более 10 000 рублей на приобретение подобного софта."
 Немного огорчу, платить за данный софт нужно каждый год.
Раньше пользовался платной версией, потом на SEO через такой софт полностью забили.

Ответить
Развернуть ветку
Андрей Симагин
Автор

Спасибо за уточнение, совершенно верно, это ежегодные затраты.

Ответить
Развернуть ветку
Мирсаид Берке

Программа хорошая, но если сайт большой, то ваш краулер, к сожалению, падает. Пробовал много раз. Сайт с 50 тыс ссылками не выдерживает.

Есть хорошая (недорогая) замена краулерам, которые вы отметили, это Comparser
Довольно широкий функционал, и стоит недорого, а если использовать секретное слово (которое есть у меня), то можно получить скидку 300 рублей.

Ответить
Развернуть ветку
Андрей Симагин
Автор

Ваш комментарий больше похож на рекламу, так как SiteAnalyzer сканирует в 10-ки раз больше страниц + судя по истории версий компартсер давноне развивается + в статье речь идет о полностью бесплатных программах.

Ответить
Развернуть ветку
Андрей Симагин
Автор

Обновили Updater.exe - теперь на него ругается на порядок меньше антивирусов.

Для обновления придется скачать дистрибутив программы и обновить Updater.exe из архива.

Ответить
Развернуть ветку
Kosta Bankovski

Андрей, удачи в развитии софта 😉 

Ответить
Развернуть ветку
Андрей Симагин
Автор

Спасибо, Константин! И вам всяческих успехов! :-)

Ответить
Развернуть ветку
Алексей Гончаренко

Поставил!
Полезная штука, сходу нашел пару битых ссылки, три проекта проверил.
Спасибо!

Ответить
Развернуть ветку
Андрей Симагин
Автор

Пожалуйста, рад что зашло!

Ответить
Развернуть ветку
Андрей Симагин
Автор

....

Ответить
Развернуть ветку
Andrey

Нормальный софт.
По визуализации очень надо:
1. Когда переношу узел, его дочерние элементы пропорционально должны двигаться за ним.
2. Сделать кликабельными узлы, чтобы можно было перейти на страницу
3. Автоматическое форматирование наиболее рациональным образом по пространству
4. Возможность скрыть ненужны ветки или выбрать оду ветку для анализа
5. когда выбираешь один узел входящие и исходящие ссылки окрашивать разным цветом.

Ответить
Развернуть ветку
Андрей Симагин
Автор

Спасибо за отзыв! По графу:

1. Есть такая мысль, уже в работе.

Остальное реализуем со временем.

Ответить
Развернуть ветку
Дарья Сазанова

Спасибо, суперполезно...Не очень понятно, почему сканируется только 5000 страниц. В "Настройках" ограничения нет никакого. С памятью все ок....

Ответить
Развернуть ветку
Андрей Симагин
Автор

Здравствуйте. Возможно какие-то страницы запрещены для индексации или робот их не видит по разным причинам.

Ответить
Развернуть ветку
Макс Фрош

парсить он умеет?

Ответить
Развернуть ветку
Андрей Симагин
Автор

Еще нет, но до конца года должен научиться

Ответить
Развернуть ветку
18 комментариев
Раскрывать всегда