Большое сравнение 20 десктопных веб-краулеров

В данном сравнительном обзоре мы решили провести детальное тестирование программы SiteAnalyzer и сравнить скорость ее работы и основной функционал с прямыми конкурентами, коих удалось собрать по всему Миру аж более 20 штук.

В конце статьи вас ждет сравнительная таблица с результатами тестирования веб-краулеров по основным исследуемым параметрам, а также итоговая таблица с распределением мест в ТОП-20 относительно заработанных баллов.

Краткое описание возможностей SiteAnalyzer

• высокая скорость сканирования сайтов
• анализ более 50 основных SEO-параметров
• 60+ предустановленных фильтров для поиска ошибок внутренней оптимизации
• гибкая фильтрация анализируемых данных по любым параметрам
• расчет внутреннего веса страниц сайта для оптимизации перелинковки (PageRank)
• возможность графического отображения ссылочных связей (визуализация данных на графе)
• возможность проведения полноценных аудитов и их выгрузка в Excel и PDF форматы

Мы не будем подробно останавливаться на описании всех нововведений и возможностей, так как все они подробно описаны в документации по работе с программой. Однако, на первых двух (скорость работы и объем сканирования) хотелось бы остановиться подробнее, так как по сути это основные параметры, по которым оценивается качество работы подобного рода программ и онлайн-сервисов.

Для сравнения мы решили протестировать 21 наиболее известных десктопных программ для проведения SEO-аудита.

Список веб-краулеров, участвующих в обзоре:

• Screaming Frog SEO Spider 12.6
• Netpeak Spider 3.9
• Forecheck 0.9.1
• Sitebulb 2.5.5
• WebSite Auditor 4.37.8
• Comparser 1.0.133
• Visual SEO Studio 1.9.5.10
• Xenu's Link Sleuth 1.3.9
• Beam Us Up 1.1.0
• Darcy SEO Checker 1.0.1
• LinkChecker 9.3
• PageWeight Desktop 3.0.5
• Webbee 3.0
• WildShark SEO spider 1.6.3
• Site Visualizer 3.0
• RiveSolutions SEO Spider 1.0.9
• IIS SEO Toolkit 1.0
• Website Link Analyzer 2.3
• A1 Website Analyzer 10.1
• seoBOXX WebsiteAnalyser 1.3.1
• SiteAnalyzer 2.3

Screaming Frog SEO Spider (Великобритания)

Пожалуй, самая популярная программа для анализа сайта среди SEO-специалистов. Отличается высокой скоростью работы и простым интерфейсом. Плюсы: есть возможность визуализации ссылочных связей на графе. Минусы: нет функционала для расчета и отображения внутреннего PageRank для страниц, отсутствие гибкой фильтрации данных, небольшое число предустановленных SEO-фильтров.

Сайт: screamingfrog.co.uk
Цена: £149 в год
ОС: Windows / macOS / Linux
Демо: есть демо версия, парсит первые 500 страниц сайта

Netpeak Spider (Украина)

Один из топовых комбайнов со множеством параметров для проверки технических характеристик и ошибок на сайте. Отличается высокой скоростью работы. Функционал ощутимо богаче, чем у Screaming Frog, гибкая настройка фильтров. Плюсы: имеется функционал для расчета и отображения внутреннего PageRank для каждой страницы сайта. Минусы: отсутствует возможность визуализации ссылочных связей на графе.

Сайт: netpeaksoftware.com
Цена: $15 в месяц ($182 в год)
ОС: Windows
Демо: есть, но без возможности экспорта отчетов

Forecheck (Германия)

Еще один "комбайн" с красивыми отчетами и множеством настроек. Скорость работы не самая высокая. Работает нестабильно: два раза намертво зависала на ~ 4 000 страницах и один раз "вылетела" с ошибкой. Плюсы: множество настроек сканера, возможность проверки произвольного списка URL, красивый HTML-отчет. Минусы: несколько запутанный интерфейс и "вылеты" на среднего размера сайтах (нестабилен).

Сайт: forecheck.com
Цена: $49 в месяц ($490 в год)
ОС: Windows
Демо: есть демо версия, парсит первые 10 000 страниц или до 10 Мб данных, часть информации скрыто

Sitebulb (Великобритания)

Данный софт отличается интересным дизайном и достойной скоростью работы, а также позволяет смотреть динамику изменений от аудита к аудиту (хранит историю сканирований в базе). Программа анализирует множество параметров во время проведения аудита, однако это количество на наш взгляд меньше, чем у более продвинутых конкурентов. Есть возможность визуализации ссылочных связей на графе, при этом нет функционала для расчета и отображения внутреннего PageRank для страниц. Из плюсов: интерфейс изобилует множеством красивых графиков. Минусы: относительно невысокая скорость работы, а также красивый, но в тоже время не совсем удобный интерфейс, по дизайну соответствующий ближе веб-сайту, нежели десктопному ПО, отсюда и проблемы с удобством работы.

Сайт: sitebulb.com
Цена: $13.50 в месяц ($135 в год)
ОС: Windows / macOS
Демо: есть ознакомительная бесплатная версия на 14 дней

WebSite Auditor (Белоруссия)

Программа имеет множество инструментов для проведения детального анализа сайтов. Отличается неплохой скоростью работы, однако, на большом числе страниц сайта (~ от 30 000), программа начинает жутко тормозить: все 3 раза сильно подвисала на ~40к страницах, после чего всплывало сообщение о недостатке памяти и просьбе перезапустить программу. На наш взгляд, WebSite Auditor имеет не совсем привычный интерфейс (пожалуй, наименее удобный из аналогичных "программ-комбайнов"), что скорее является большим минусом. Также к минусам можно причислить неудобство работы с данными (открываются в небольших окошках, с которыми не удобно работать). Плюсы: возможность создания кастомизированных отчетов, визуализация ссылочных связей на графе (при этом нет функционала для расчета и отображения внутреннего PageRank для страниц, что весьма странно). В целом можно заключить, что работа в WebSite Auditor с сайтами больших размеров может вызвать определенные проблемы...

Сайт: seopowersuite.ru
Цена: $149 в год
ОС: Windows / macOS / LinuxДемо: есть демо версия, парсит первые 500 страниц сайта, нет возможности сохранения проектов

Comparser (Россия)

Российский продукт от известного SEO-специалиста Александра Алаева. Работа программы не отличается высокой скоростью, однако ее и нельзя назвать медленной. Функционал по сравнению с конкурентами также не полный. Однако, у программы есть свои собственные фишки в виде парсинга поисковых систем Яндекс и Google, а также возможности проверки индексации страниц сайта в поисковых системах на основе спарсенных страниц. Из минусов: с недавнего времени автор отказался от поддержки "старых" версий Windows: Windows XP / Vista.

Сайт: parser.alaev.info
Цена: 2 000 рублей за программу
ОС: Windows
Демо: есть демо версия, парсит первые 150 страниц сайта

Visual SEO Studio (Италия)

Программа имеет немалый набор возможностей, однако интерфейс, на наш взгляд, не совсем удобен и имеет старомодный дизайн родом из 2000-х. А если приглядеться, то и функционал не блещет богатым набором функций. Из плюсов можно выделить возможность одновременного сканирования нескольких сайтов, но мы бы не рекомендовали это использовать, так как все сильно тормозит. На небольших сайтах скорость работы программы средняя, на сайтах больших размеров сканер работает очень медленно.

Сайт: visual-seo.com
Цена: €149.00 + налоги
ОС: Windows / macOS
Демо: есть ознакомительная бесплатная версия на 15 дней

Xenu's Link Sleuth (Германия)

Своего рода прародитель и, наверное, самая первая программа для аудита. Функционал весьма скуден и ограничен лишь проверкой битых ссылок на сайте и не более того. Последнее обновление программы было в 2010 году. Работает, не быстро, но со своей функцией поиска битых ссылок вполне справляется. С 2010 года новых версий не выходило. Итог: старичку давно пора на заслуженный отдых, но некоторые его все еще используют. Привычки, такие привычки...

Сайт: home.snafu.de/tilman/xenulink.html
Цена: бесплатно
ОС: Windows

Darcy SEO Checker (США)

Программа имеет весьма скудный набор проверяемых SEO-параметров (title, description, h1-h2, HTTP заголовки страниц). Единственным плюсом можно считать отображение баллов скорости загрузки сайта по Google Speed Insights. На данный момент программа не обновляется и не поддерживается, сайт программы не работает. Последняя версия датируется 2015 годом.

Сайт: недоступен
Цена: $99 за программу
ОС: Windows
Демо: есть демо версия, парсит первые 25 страниц сайта, а также нет возможности экспорта результатов

LinkChecker (Германия)

Программа для проверки битых ссылок в HTML-коде и файлах CSS. Сканирует сайт и отображает лишь страницы сайта с ошибками. Список просканированных URL не при этом не отображает. Работает очень медленно. Из плюсов: показывает, в какой именно строке кода находится ошибка. В остальном для нужд SEO пожалуй программа бесполезна. Судя по истории изменений на гитхабе, последний раз программа обновлялась в 2014 году.

Сайт: wummel.github.io/linkchecker/
Цена: бесплатно
ОС: Windows / Linux

PageWeight Desktop (Россия)

Популярная ранее программа для расчета "веса" страниц и настройке перелинковки (сам когда-то ей пользовался). По сути, кроме расчета "веса" страниц сайта программа более ничем не примечательна. С виду скорость сканирования высокая, однако высокая она за счет того, что в базе сохраняются лишь ссылочные связи и title страниц. Больше никаких данных программа не хранит и в работе не использует. Так что по сути, кроме расчета PageRank ей более похвастаться нечем. С другой стороны, в этом и есть ее основное предназначение. И не более того. Из минусов: судя по полузаброшенному форуму с неотвеченными вопросами пользователей и редкими обновлениями версий (последняя версия датируется 2016 годом), программа пребывает в стагнации и авторам то ли она перестала быть интересной, толи просто у них нет ресурсов и новых мыслей по ее дальнейшему развитию.

Сайт: page-weight.ru
Цена: 2 000 рублей за программу
ОС: Windows
Демо: есть бесплатная Lite версия, которая ну очень медленная и показывает некорректные результаты расчета "веса" страниц

Beam Us Up (Португалия)

Является результатом совместного творчества группы из 4-х человек, проживающих в Англии, Португалии и Сербии. Из плюсов: довольно шустро работает, бесплатен, поддерживает платформы Windows, Linux и MacOS, отчет содержит информацию о дубликатах страниц, 302 редиректах, страницах с короткими или отсутствующими мета-тегами. Минусы: кроме непосредственно страниц сайта более ничего не парсит (отсюда и высокая скорость), некоторые сайты на HTTPS парсить отказывалась. Однако, для оперативного беглого анализа вполне сгодится. Еще один большой минус: проект более не поддерживается и не развивается.

Сайт: beamusup.com
Цена: бесплатно
ОС: Windows

Webbee (Пакистан)

Не совсем удачная попытка создать копию Screaming Frog. Из плюсов: неплохая скорость работы, есть все основные параметры для проведения SEO-аудита, возможность проверки произвольного списка URL. Минусы: визуализация данных на графиках выглядит жутковато, анализируемых параметров могло бы быть и больше, нет возможности фильтрации данных по произвольным полям. Последний релиз был выпущен в 2015 году.

Сайт: eebew.com
Цена: $15 в месяц ($129 в год)
ОС: Windows / macOS
Демо: есть демо версия, сканирует до 500 страниц сайта

WildShark SEO spider (Великобритания)

Незатейливая программка с ужасно простым интерфейсом, сделанным судя по всему "на колонке". Настройки практически отсутствуют. Минусы: интерфейс, даже без учета парсинга изображений и анализа внешних ссылок на 16 потоках сканирует очень медленно (практически хуже всех), нет возможности сохранения проектов. Плюсы: отображает рич сниппеты (Rich Snippets), есть возможность генерации отчетов в Excel, а также простейшая фильтрация данных (мне так и не удалось до конца понять, работает она или нет). В заключении скажем, что, на наш взгляд, из бесплатного софта есть куда более качественные представители, нежели эта поделка.

Сайт: wildshark.co.uk
Цена: бесплатно
ОС: Windows

Site Visualizer (Россия)

Небольшая программа для аудита сайта. Хоть скоростью и не блещет, однако имеет интересные плюсы: визуализация карты сайта (показывает на карте, куда ведет какая ссылка, однако реализация не ахти какая), а также возможность создания интересных отчетов (с возможностью их редактирования путем изменения SQL-запросов к базе). Минусы: мало параметров для проверки, невысокая скорость. В целом софт можно назвать полезным, за счет возможности создания кастомных отчетов.

Сайт: site-visualizer.com
Цена: $69 за программу
ОС: Windows
Демо: есть 30-дневная полнофункциональная триал версия

RiveSolutions SEO Spider (Россия)

Достаточно молодой софт, который с одной стороны обладает частичным набором классических для подобного рода программ SEO-инструментов, с другой стороны в нем присутствует ряд сомнительных, на наш взгляд, функций, таких как, например "Яндекс Метрика Finder" (поиск счетчиков метрики на страницах сайта). Судя по опыту это совершенно не нужная вещь, хотя на сайте под описание данной функции отведено немало места. С другой стороны, если кому-то это надо, значит надо. Из минусов: огромный размер дистрибутива (85 Мб в архиве и 250 на диске), не совсем продуманный интерфейс + нет возможности кастомной фильтрации по произвольным полям. Из плюсов: как писал выше – неплохой набор классических для подобного рода программ SEO-инструментов и возможность генерации отчетов. На наш взгляд, пока программа выглядит незаконченно и "сыровато". На текущий момент программа разработчиками заброшена, ее развитие более не планируется.

Сайт: недоступен
Цена: 6 000 рублей в год
ОС: Windows
Демо: есть демо версия, парсит первые 500 страниц сайта, отсутствует возможность сохранения проекта на диск

IIS SEO Toolkit (США)

Малоизвестный бесплатный аналитический SEO-инструмент для технического аудита сайта от самой Microsoft! Интерфейс IIS SEO Toolkit простоват, но в целом приятен, ошибки оптимизации сгруппированы и представлены в виде интуитивно понятных отчетов, каждая ошибка сопровождается небольшим описанием. Плюсы: достаточно высокая скорость работы, поиск дублей, анализ корректности верстки и длин мета-тегов, отображение ошибок в HTML-разметке, незакрытых тегов, частотных таблиц слов и таблиц биграмм, отображает страницы с наибольшим числом ошибок, входящих и исходящих ссылок, имеет интуитивно понятный интерфейс. Минусы: устаревший интерфейс, стабильная работа только под Windows Vista / Server 2008 / 7 (XP и Windows 8-10 официально не поддерживаются). Во время аудита 100к страниц вылезла ошибка, связанная с проблемой индексации базы. На 20к ошибок не было. Т.е. при анализе крупных проектов в работе программы могут возникать проблемы.

Сайт: iis.net
Цена: бесплатно
ОС: Windows

Website Link Analyzer (Германия)

Данная программа имеет не совсем стандартный интерфейс, больше схожий с браузерным, при этом она содержит классический набор функций для программ подобного рода: поиск битых ссылок, отображение 301 редиректов, экспорт данных в Excel и CSV, генерация Sitemap. Программа развивается с 2015 года, однако судя по истории версий не особо активно, поэтому о каком-либо потенциале развития до действительно профессионального SEO-инструмента рассуждать преждевременно.

Сайт: arclab.com
Цена: $49 в год
ОС: Windows
Демо: есть ознакомительная бесплатная версия на 7 дней

A1 Website Analyzer (Дания)

Интерфейс схож с Visual SEO Studio – выглядит несколько перегруженным, поэтому сходу разобраться будет затруднительно. При этом, помимо сбора основной информации о сайте, в программе имеется возможность валидации HTML и CSS кода через сервис W3C, поиск по тексту и в HTML коде по всем просканированным страницам, возможность анализа плотности ключевых слов. Из минусов: низкая скорость сканирования и непродуманный интерфейс. Плюсы: наличие Русского языка в интерфейсе (хотя, и тот локализован кривовато).

Сайт: microsystools.com
Цена: $69 в год
ОС: Windows
Демо: есть ознакомительная бесплатная версия на 30 дней

seoBOXX WebsiteAnalyser (Германия)

Пробовал запускать программу на 3-х разных компьютерах, однако у меня так и не получилось протестировать демо-версию – при старте программа "падала" с какой-то ошибкой "UI Theme".

При этом, судя по скриншотам интерфейса на сайте программы, она имеет как минимум стандартный набор функций для подобного рода программ (проверка наличия мета-тегов, корректность заголовков h1, статистика внутренних и внешних ссылок, анализатор контента, генерация Sitemap.xml, создание отчетов).

Сайт: seoboxx.com
Цена: $39,99 в год
ОС: Windows
Демо: есть ознакомительная бесплатная версия на 30 дней

SiteAnalyzer (Россия)

По набору функций SiteAnalyzer практически не уступает конкурентам, а также имеет высокую скорость сканирования сайтов, сопоставимую со скоростью работы платных аналогов. Есть возможность визуализации ссылочных связей на графе, а также функционал для расчета и отображения внутреннего PageRank для каждой страницы сайта. Помимо предустановленных фильтров имеется возможность ручной фильтрации данных в произвольном формате. Из плюсов: возможность хранения всех проектов в одном списке, а также автоматическая запись всех данных сайта в базу, с возможностью их автоматического отображения после перезапуска программы без лишних манипуляций. Также отмечу возможность экспорта отчетов в Excel, небольшой размер дистрибутива (9 Мб в архиве), портативность и бесплатное распространение, что является немаловажным фактором.

Сайт: site-analyzer.ru
Цена: бесплатно
ОС: Windows

После краткого ознакомления с функционалом и ценами приступим непосредственно к тестированию программ.

При тестировании краулеров использовались такие параметры:

• тестируйемый сайт: open.spotify.com (огромное число HTML страниц и практически нет изображений, грузится быстро, оптимизирован под большие нагрузки)
• число потоков сканирования: 10 (либо значение, доступное в программе, но не более 10)
• конфигурация компьютера: Windows 10 x64, 8 Гб RAM, CPU Intel Core i5 3.33 GHz, HDD

Для тестирования числа сканируемых данных мы выбрали параметр URI, который содержит не только страницы типа text/html, но и изображения, скрипты стили и прочие данные, так как теоретически страниц на сайте может быть не так много, а вот содержимого на этих страницах в виде изображений, стилей и прочих ссылок может быть в разы больше, поэтому именно на подсчет URI мы и будем опираться.

После многочисленных тестов нами были получены такие результаты:

Примечание: на сканировании 100 и 1 000 страниц нет смысла сильно заострять внимание в виду разницы алгоритмов обхода краулерами страниц у разных программ. А вот скорость сканирования 10 000 и 100 000 страниц уже показательна, так как отражает более-менее стабильную скорость работы краулеров на дальней дистанции.

Итоговые выводы

Однозначно выявить победителя по скорости сканирования было весьма сложной задачей за счет того, что в разные моменты времени сканирования одной программой одного сайта, скорость его сканирования могла варьироваться от 40 до 60 секунд на 1 000 страниц, соответственно, для 100 000 URI итоговый результат мог отличаться на десятки минут, поэтому для итогового расчета мы брали усредненные данные за несколько сканирований (для некоторых программ число тестов достигало порядка десятка и могло растягиваться до нескольких дней).

Это к слову о качестве тестирования. Логично, для наиболее популярных сканеров мы выделяли больше времени на тесты, а наиболее "простым" хватало и одного прогона.

Подытоживая результаты тестирования 21 SEO-краулеров можно заключить, что итоговый ТОП-5 для лучших из лучших в 2020 году получился таким:

• Netpeak Spider (платно для работы без ограничений)
• Screaming Frog SEO Spider (платно для работы без ограничений)
• WebSite Auditor (платно для работы без ограничений)
• SiteAnalyzer - бесплатно и без ограничений
  
• Sitebulb (платно)

Соответственно, из всех платных программ лучшей можно назвать Netpeak Spider, а из бесплатных - SiteAnalyzer.

Благодарим за внимание! Ждем ваши комментарии и отзывы по работе данных программ!