30 лучших SaaS сервисов и программ для парсинга в 2021 году

Привет! В прошлом году я делал подборку решений для парсинга, которые для ряда задач можно использовать бесплатно. В этой статье представлена подборка SaaS сервисов и программ для парсинга, которые подойдут для бизнеса.

Обзор дополнен полезной информацией о платных тарифах, локализациях, доступных в РФ способах оплаты и ссылками на обучающие материалы. Для того, чтобы быстро ориентироваться, в конце каждого блока есть сводная таблица. Надеюсь, эта подборка окажется полезной и поможет вам подобрать решение для парсинга.

Он-лайн сервисы для парсинга — удобное решение, они предлагают аренду удаленной инфраструктуры для сбора данных и работают по модели SaaS. Это значит, что вам не потребуется приобретать сервер, софт, привлекать специалистов для настройки и поддержки системы.

Выбирая сервис нужно определиться с необходимым набором опций. Для примера, это могут быть: планировщик – для запуска скриптов по расписанию, шаблоны – для быстрого парсинга по заранее написанным скриптам, api – для получения данных в свои базы, прокси – для парсинга сайтов с защитой, сопоставление данных из разных источников, для кого-то может оказаться важной возможность оплаты от лица компании. Так же, нужно понимать какой сценарий взаимодействия подойдет в вашем случае, сценарий зависит от того, cправится ли сервис с парсингом нужного вам источника на выбранном тарифе, есть ли у вас сотрудник для работы с сервисом, для поддержки работоспособности скриптов (да, скрипты работают до тех пор пока сайт не обновится, что с коммерческими сайтами случается нередко).

Для относительно простых задач подойдет сервис, с настройкой парсинга в визуальном интерфейсе, другими словами, не потребуется разбираться в программировании, чтобы «объяснить» сервису, какие данные вы хотите собирать — достаточно открыть сайт и указать курсором на нужные поля.

Для более сложных задач следует выбрать сервис, который дает возможность самостоятельно написать скрипт. Так вы сможете учесть все нюансы задачи, для этого потребуется привлечь специалиста разбирающегося в программировании парсеров.

Третий вариант работы с облачным сервисом – настраиваемое решение или услуга «под ключ». В этом случае с вашей стороны потребуется минимум действий — описать задачу и получить готовый результат. Разработку скрипта, его поддержку и настройку нужных опций сервис берет на себя. Как правило подобные сервисы способны решать сложные задачи, собирать большие объемы данных.

Порядок сервисов ничем не продиктован, автор так видит).

Octoparse — один из самых известных сервисов для парсинга данных. Сервис предлагает возможность визуального программирования парсинга, шаблоны для сбора данных на популярных сервисах таких как — Instagram, Facebook, Amazon, eBay и другие, всего 52 шаблона.

Преимущество сервиса для пользователя без опыта работы с облачными сервисами парсинга — множество статей, объясняющих как им пользоваться, комьюнити и наличие видео уроков. Сервис предоставляет хорошие лимиты в бесплатной версии, ресурсов хватит для сбора небольшого сайта или раздела на сайте агрегаторе, количество страниц для сбора не ограниченно. Сервис англоязычный, оплатить сервис возможно через системы Masterсard, Visa, PayPal.

Возможности сервиса:

• Шаблоны популярных сайтов;
• Парсинг динамического контента;
• Ротация ip;
• Планировщик;
• Возврат денег в течении 5 дней;
• Работа с API.

Платные тарифы: $75 — $399 за различный набор опций. Сервис предоставляет настраиваемый тариф, в рамках которого компания реализует нужные вам настройки.

Возможности бесплатной версии:

• Количество страниц не ограничено;
• Экспорт 10 000 строк;
• До 10 сохраненных настроек;
• Поддержка;
• Отсутствие шаблонов, планировщика и API.

Для обучения работы с сервисом есть YouTube канал.

Mozenda — один из старейших облачных сервисов. В конце 2020 года компания заявила о слиянии с Dexi и дальнейшей работой под брендом последней. Сервис предлагает как визуальную настройку парсинга, так и возможность самостоятельно программировать парсеры на мощностях Mozenda или приобрести лицензию на программное обеспечение и разместить его на своем сервере. Сервис англоязычный, оплатить сервис возможно через системы Masterсard, Visa, но эта информация скрыта, перед стартом вам придется связаться с представителями компании.

Возможности сервиса:

• Шаблоны популярных сайтов;
• Парсинг динамического контента;
• Ротация ip;
• Планировщик;
• Уведомления;
• Возврат денег в течении 30 дней;
• Работа с API.

Платные тарифы: компания не указывает стоимость услуг, для уточнения деталей нужно связаться с представителем компании и рассказать задачу.

Возможности бесплатной версии: 30 дней.

В качестве обучающих материалов предоставляется документация.

Apify — сервис, предлагающий множество настроенных шаблонов для парсинга самых разных ресурсов. Apify позволяет использовать заранее подготовленные шаблоны для таких сайтов как: Amazon, Instagram, Booking, YouTube, Aliexpress и т.д. Сервис дает доступ к API, через подключение к которому и происходит сбор данных, все представленные шаблоны хорошо описаны, так же вы можете изменить настроенный шаблон, для этого потребуется отредактировать код (да, вам нужно в нем разбираться). Наличие готовых решений — прекрасный инструмент позволяющий быстро стартовать сбор данных, но кроме готовых решений сервис также предлагает и настраиваемое под вашу задачу решение. Сервис доступен на английском языке, для оплаты можно использовать Masterсard, Visa, Maestro и PayPal.

Возможности сервиса:

• Работа с JavaScript;
• Ротация прокси;
• Мультипоточность;
• Шаблоны;
• Расписание;
• API.

Платные тарифы: $49 — $999 в месяц, в зависимости от набора необходимых опций. Настраиваемое решение оценивается после описания задачи. Монетизация сервиса работает через расчет кредитами, 1 кредит = $1 = 1 Actor (вычислительная единица). Actor — работа сервиса на 1 ГБ памяти в течении 1 часа.

Возможности бесплатной версии:

• Кредиты на $5 для использования сервиса;
• Хранение данных за последние 7 дней;
• 30 прокси серверов.

Сервис предлагает обучающие материалы на YouTube.

Diffbot — сервис использующий машинное обучение и компьютерное зрение для парсинга данных. Diffbot самостоятельно определяет на какой странице он находится (карточка товара, новости, медиа и т.д.) и исходя из этого понимает, какие данные нужно собирать и возвращает вам их через API в чистом виде. Сервис подойдет в ситуациях, когда нужно минимизировать затраты на настройку парсинга и по максимуму автоматизировать процессы, насколько хорошо сервис справится с парсингом сложных сайтов с динамически загружаемыми данными нужно проверять на ваших кейсах. Сервис доступен на английском языке. Оплатить можно с помощью карты Masterсard или Visa.

Возможности сервиса:

• Автоматизация процесса с помощью ML;
• Ротация ip;
• Интеграции с таблицами Google и MS;
• Выгрузка данных в Tableau;
• Работа с API.

Платные тарифы: $299 — $899 в месяц в зависимости от требуемого объема данных. По каждому из тарифов выдается фиксированное количество кредитов, которые вы можете потратить на выполнение нужных задач, например парсинг одного значения — 1 кредит, скачивание файла — 25 кредитов, и т.д. Есть настраиваемый тариф, оплата согласовывается после анализа задачи. На любом тарифе перед стартом придется привязать к сервису свою карту.

Возможности бесплатной версии:

• 14 дней;
• 1 запрос в секунду;
• интеграции.

У сервиса есть обучающие материалы на YouTube.

Parsehub — сервис позволяющий собирать данные с сайтов без написания кода. Так же, как и предыдущий сервис использует машинное обучение для распознавания данных, заявляется уверенная работа с JavaScript и AJAX. Сервис самостоятельно понимает структуру данных на основе первых заданных параметров для сбора, это позволит существенно сократить время на программирование сбора данных. Сервис доступен на английском языке. Оплатить можно с помощью карты Masterсard или Visa.

Возможности сервиса:

• Автоматизация процесса с помощью ML;
• Ротация ip;
• Планировщик;
• Очистка данных от HTML кода;
• Интеграция с Dropbox;
• Работа по API.

Платные тарифы: $149 — $499 в месяц в зависимости от требуемого объема данных. Предлагается настраиваемый тариф, оплата согласовывается после анализа задачи.

Возможности бесплатной версии:

• 14 дней хранения данных;
• 200 страниц за запуск;
• до 5 сайтов для парсинга.

У сервиса есть обучающие материалы на YouTube.

Web Scraper — сервис для парсинга, главная фича которого — упрощенное визуальное программирование. Парсер настраивается в визуальном редакторе, через расширения к браузерам (Firefox и Chrome) нужно просто указать какие элементы хотите захватить и название полей. Web Scraper позволяет создавать карты сайта из различных типов селекторов. Эта система позволяет в последующем адаптировать извлечение данных к разным структурам сайта. Сервис локализован на английском, оплатить можно пластиковой картой.

Возможности сервиса:

• Парсинг JavaScript;
• Ротация прокси;
• Планировщик;
• Мультипоточность;
• Интеграция с Dropbox;
• Работа через API.

Платные тарифы: $50 — $300 в месяц в зависимости от требуемого объема данных и набора опций. Монетизация происходит через кредиты, 1 кредит = парсингу 1 страницы. Настраиваемого тарифа нет.

Возможности бесплатной версии:

• Только локальное использование;
• Парсинг динамически загружаемого контента;
• Рендеринг JavaScript;
• Экспорт только в CSV.

У сервиса есть обучающие материалы на YouTube.

Scraper api — сервис требующий знания программирования, вы можете работать с одним из следующих языков — PHP, NodeJS, Python или Ruby. Сильная сторона Scraper API — смена ip адреса для каждого запроса (заявляется, что сервис постоянно тестирует прокси и оставляет только быстрые), сервис выбирает прокси из миллиона доступных и автоматически повторяет неудачные запросы, до тех пор, пока не соберет нужные данные. Сервис умеет работать с капчей. Таким образом сервис подойдет для работы со сложными сайтами защищающимися от парсинга. Сервис англоязычный, для оплаты можно использовать Masterсard, Visa, Maestro и PayPal.

Возможности сервиса:

• 40 млн ip;
• 12 геолокаций;
• Неограниченная пропускная способность;
• Работа с Javascript.

Платные тарифы: $29 — $249 в месяц в зависимости от требуемого объема данных и набора опций. По запросу специалисты сервиса напишут код под ваши задачи, стоимость кастомного решения обсуждается индивидуально.

Возможности бесплатной версии:

• 1000 вызовов;

Zyte — ранее Scrapinghub, облачная платформа для автоматического извлечения данных из веб сайтов, работающая через передачу API запросов. Для работы не нужно знание программирования, вам нужно передать URL-адреса страниц, которые нужно парсить, и какой тип контента вы ожидаете там найти: статья, список статей, комментарии, сообщения на форуме, объявления о вакансиях, продукт, список товаров, обзоры товаров, недвижимость или автомобили. Далее сервис извлекает контент и применяет ряд методов, чтобы извлечь как можно больше информации и передать ее в очищенном виде. Сервис работает на английском, для оплаты можно использовать карты Masterсard, Visa и PayPal.

Возможности сервиса:

• Автоматическое определение нужного контента;
• Ротация прокси;
• Мультипоточность;
• Планировщик;
• Работа через API.

Платные тарифы: $60 в месяц за 100 000 запросов в месяц. От $450 стартует разработка под ключ.

Возможности бесплатной версии:

• 14 дней;
• 10 000 запросов;

Сервис имеет раздел документации с примерами запросов.

ScrapingBee — сервис для парсинга данных требующий программирования, сбор данных осуществляется через безголовый браузер при помощи обращения через API на одном из языков программирования – CURL, Python, Node, JS, Java, Ruby, Php, Go. Сервис использует прокси сервера, автоматически их ротирует для снижения вероятности блокировки, так же это позволит запустить парсинг в несколько потоков, что увеличит скорость сбора данных. ScrapingBee предлагает ряд готовых решений, которые можно получить через магазин API. Сервис локализован на английском языке, для оплаты можно использовать карты Masterсard, Visa и PayPal.

Возможности сервиса:

• Работа с JavaScript;
• Автоматическая ротация ip;
• Мультипоточность;
• API.

Платные тарифы: $30 — $250 в месяц в зависимости от требуемого объема данных и набора опций. Каждый план дает определенное количество кредитов API в месяц. В зависимости от параметров, которые вы используете для вызовов API, действие стоит от одного до нескольких кредитов. По запросу специалисты сервиса напишут код под ваши задачи, стоимость кастомного решения обсуждается индивидуально.

Возможности бесплатной версии:

• 1000 запросов;

Сервис имеет раздел документации с примерами запросов на каждом из поддерживаемых языков программирования.

Grabzit — оригинальный сервис позволяющий собирать данные без программирования. Настройка парсинга выглядит как пошаговая инструкция, на каждом этапе которой нужно выбирать определенные опции и отмечать данные для парсинга. Такой подход необычен и подойдет новичкам, проведя по шагам от добавления адреса до получения результата. Работает сервис на основе браузера, который позволяет обрабатывать страницы с динамическим содержанием JavaScript или AJAX. Сервис имеет возможность работать через API запросы. Еще одна интересная особенность сервиса — локализация сервиса и инструкций через машинный перевод Google Translate, перевод получается кривым, но если вы не владеете языком общий смысл понять можно. Оплатить сервис можно картами Masterсard, Visa или PayPal.

Возможности сервиса:

• Прокси сервера;
• Отправка результата на email;
• Приложение ассистент для браузера;
• API.

Платные тарифы: $7 — $95 в месяц в зависимости от требуемого объема данных и набора опций. Сервис пересчитывает стоимость в разные валюты, в том числе в рубли, нюанс в том, что стоимость привязана к доллару США, поэтому в зависимости от текущего курса она будет пересчитана.

Возможности бесплатной версии:

• доступ на 7 дней;
• все премиальные функции.

Для быстрого старта есть обучающие материалы на YouTube.

eScraper — сервис ориентирующийся на парсинг сайтов электронной коммерции. У сервиса есть настроенные шаблоны для популярных магазинов – AliExpress, Amazon, eBay, Magento, PrestaShop, WooCommerce, Shopify и другие. eScraper может парсить динамически загружаемый контент и такие элементы как, раскрывающиеся списки, разделы «показать еще» и «следующая страница» и чекбоксы. Сервис доступен только на английском языке. Оплатить можно только через PayPal.

Возможности сервиса:

• Визуальное программирование;
• Планировщик;
• Большое количество интеграций с eCommerce CMS.

Платные тарифы: $59 — $450 в месяц в зависимости от требуемого объема данных и набора опций.

Возможности бесплатной версии:

• 100 строк в файле выгрузки.

Для быстрого старта сервис предлагает обучающие материалы в виде статей.

80legs — сервис для парсинга сайтов, главная фича которого — заранее созданные шаблоны. Шаблоны для парсинга от 80legs используют технологии Javascript, которые вы можете править если ваши задачи отличаются от стандартных. В шаблонах можно настроить, какие данные будут собираться и по каким ссылкам нужно переходить. Сервис доступен только на английском языке, перед началом работы вам нужно привязать пластиковую карту.

Возможности сервиса:

• Рендеринг JavaScript;
• Ротация ip;
• Автоопределение нужной скорости парсинга;
• API.

Платные тарифы: $29 — $299 в месяц в зависимости от требуемого объема данных и набора опций. 80legs предлагает настраиваемый тариф, стоимость нужно уточнять.

Возможности бесплатной версии:

• Один поток;
• 10 000 страниц.

Сервис имеет раздел с документацией с примерами запросов.

Phantom Buster — еще один облачный сервис, работающий на основе готовых шаблонов. Сервис, непривычный парсер данных, скорее это инструмент для автоматизации действий в социальных сетях, таких как – LinkedIn, Facebook, Twitter, Instagram и другие. В нашу подборку он попал потому, что способен так же собирать данные и в отдельных, специализированных ситуациях справится лучше других, не заточенных под социальные сети сервисов. Работа с Phantom Buster не требует знания программирования, вы сможете легко автоматизировать привычные для социальных сетей действия, такие как отслеживание активности профилей, авто-лайки постов, отправка сообщений и прием заявок. Сервис доступен только на английском. Оплатить сервис можно картами Masterсard и Visa.

Возможности сервиса:

• Готовые шаблоны;
• Автоматизация действий;
• Уведомления по электронной почте и Slack;
• Файловое хранилище;
• Планировщик.

Платные тарифы: $30 — $900 в месяц в зависимости от требуемого объема часов работа сервиса в день и набора опций. 80legs предлагает настраиваемый тариф, стоимость нужно уточнять.

Возможности бесплатной версии:

• Один шаблон;
• 1GB хранилища;
• 10 минут работы в день.

Сервис подойдет для автоматизации активностей в социальных сетях. На YouTube есть канал с примерами работы и уроки для быстрого старта.

Webhose — сервис специализируется на парсинге новостей, блогов, форумах и даркнете. Webhose работает через API, который предоставляет доступ к данным в режиме реального времени. Сервис предлагает большую базу исторических данных. Локализация только на английском, оплата возможна пластиковыми картами.

Возможности сервиса:

• Работа через отправку API запросов;
• Новостные источники;
• Данные в реальном времени;
• Исторические данные.

Платные тарифы: Данные о стоимости работы с сервисом нужно узнавать по запросу.

Возможности бесплатной версии:

• 10 дней;
• до 1000 запросов.

Сервис подойдет, если вам нужно достать информацию из новостных источников или даркнета. Также, если есть необходимость в исторических данных.

У Webhose на сайте есть подробный раздел с документацией.

Parsers — сервис с которым очень легко разобраться, работает через расширение для браузера. Сервис упрощает настройку сбора данных при помощи алгоритмов машинного обучения, вам нужно выбрать данные только на одной, первой странице сайта, далее сервис ищет похожие страницы на сайте и извлекает указанные данные. Сервис доступен только на английском, но если вы не знаете язык, освоить его несложно благодаря простоте настройки и видеоурокам. Оплатить можно картами Masterсard и Visa, через PayPal и WebMoney.

Возможности сервиса:

• API;
• Планировщик;
• Автоматический поиск нужных данных.

Платные тарифы: $20 — $199 в месяц в зависимости от требуемого количества страниц для парсинга и набора опций. Кастомизация не предусмотрена.

Возможности бесплатной версии:

• 1000 страниц за прогон;
• 10 потоков.

Для быстрого старта есть обучающие материалы на YouTube.

Agenty — сервис для автоматизации процессов с возможностью собирать данные с сайтов, настройка парсера производится через Chrome расширение. Сервис очень прост в настройке, нужно просто кликнуть на данные, которые вы хотите собрать, работает при помощи CSS-селекторов, экспортирует данные в JSON, CSV, TSV. Сервис дает возможность написать свою логику на C#. Доступен только на английском языке. Оплатить можно картами Masterсard, Visa и через PayPal.

Возможности сервиса:

• Автоматическая ротация прокси;
• Визуальная настройка;
• Пакетная обработка страниц;
• Планировщик;
• Интеграции с облачными дисками и Google таблицами
• API.

Платные тарифы: $29 — $249 в месяц в зависимости от требуемого количества страниц для парсинга и набора опций. Кастомизация сервиса доступна по запросу.

Возможности бесплатной версии:

• 14 дней;
• 100 страниц.

Сервис предлагает обучающие материалы на YouTube.

Grepsr — сервис, который подойдет как для простых проектов, так и сложных, для несложных сайтов сервисом можно управлять через Chrome расширение с визуальной настройкой парсера, для сложных проектов предоставляется кастомизация с созданием скриптов на стороне специалистов сервиса. Сервис предлагает интуитивно понятный интерфейс, API для автоматизации сбора данных и интеграции с популярными облачными дисками — Dropbox, Google Drive, Amazon S3, Box, FTP. Сервис англоязычный, оплатить можно пластиковыми картами, корпоративным клиентам предоставляются закрывающие документы.

Возможности сервиса:

• Интеграции с облачными дисками;
• Визуальное программирование;
• Планировщик;
• Услуга под ключ;
• API.

Платные тарифы: Стоимость работы через расширение стоит $20 — $250 в месяц в зависимости от требуемого количества собираемых записей и набора опций. Настраиваемые тарифы $199 — $999, от разовой настройки по запросу на начальном тарифе, до ведения всех проектов на поддержке, указанные суммы — это нижние пороги входа, в зависимости от требований цены могут увеличится.

Возможности бесплатной версии:

• 1000 запросов в месяц;
• 500 записей за запуск;
• 5 запусков в месяц;
• 3 отчета в месяц;
• API.

Web Robots — облачный сервис, работающий в трех режимах.

1. Бесплатный — использующий для настройки расширение для браузера Chrome, подойдет для решения самых простых задач и несложных сайтов, сервис самостоятельно определяет блоки данных и предлагает скачать выводимую информацию в виде файла.

2. Услуга парсинга под ключ, сотрудники напишут скрипты под ваши цели, будут собирать данные с нужной периодичностью и поддерживать инфраструктуру в рабочем состоянии.

3. Предоставляют платформу для запуска скриптов написанных вашей командой на JavaScript. Сервис доступен только на английском, стоимость платных тарифов уточняется по запросу.

Возможности сервиса:

• Визуальная настройка;
• Автоматически находит и собирает данные;
• Услуга под ключ.

Возможности бесплатной версии:

• Расширение работает без ограничений.

Data miner — сервис, работающий через расширение для браузера, поддерживаются Google Chrome и Microsoft Edge. Имеет визуальный интерфейс для настройки данных. Data Miner предлагает просто гигантское количество настроенных шаблонов, которые можно использовать для решения ваших задач. При помощи готовых шаблонов, вы сможете собрать данные в несколько кликов мышкой, в сервисе они называются «рецепты» и делятся на общедоступные и частные – шаблоны других пользователей, которыми они делятся с комьюнити. Сервис позволяет работать с нужным списком адресов. Поддерживается работа с собственным Javascript кодом. Сервис англоязычный, можно оплатить пластиковой картой.

Возможности сервиса:

• Визуальная настройка;
• Пакетная обработка страниц;
• Работа с динамическими данными;
• Готовые шаблоны для различных задач;
• Работа с собственным Javascript кодом;
• Услуга под ключ;
• Автозаполнение форм.

Платные тарифы: $20 — $200 в месяц в зависимости от требуемого количества собираемых страниц и набора опций. Есть настраиваемый тариф, сотрудники сервиса напишут нужные вам скрипты и будут их поддерживать, стоимость уточняется индивидуально.

Возможности бесплатной версии:

• 500 страниц в месяц;
• Можно использовать общедоступные шаблоны.

Сервис предлагает обучающие материалы на YouTube.

Scraper.AI — сервис работающий через расширение для браузера. Поддерживаются Chrome, Firefox и Edge. Scraper.AI работает через визуальный интерфейс и предлагает простую настройку через визуальный интерфейс, знание кода не требуется. Также вы можете использовать готовые шаблоны для соцсетей — Facebook, Instagram и Twitter. Сервис англоязычный, оплатить можно с помощью пластиковой карты.

Возможности сервиса:

• Визуальная настройка;
• Планировщик;
• Работа с динамическими данными;
• Бесконечная прокрутка и пагинация;
• Уведомления.

Платные тарифы: $49 — $249 в месяц в зависимости от требуемого количества собираемых страниц и набора опций. Сервис также предлагает настраиваемое решение, стоимость обсуждается индивидуально.

Возможности бесплатной версии:

• 3 месяца;
• 50 страниц;
• API.

Scraper.AI предлагает обучающие материалы для быстрого старта на YouTube.

Import.io – сервис парсинга данных, с осени 2020 года компания перешла на разработку проектов парсинга данных под ключ, чтобы начать работать с сервисом нужно отправить запрос. Import.io заявляет о возможности собирать большие объемы данных, ежедневном мониторинге изменений, возможностях обхода защиты от парсинга. Цены на услуги озвучиваются после анализа задач. Сервис англоязычный.

Возможности сервиса:

• Большой пул ip, ротация ip;
• Обход captcha;
• Работа с динамическими данными;
• Визуальная отладка скрипта.

У сервиса есть канал на YouTube.

Web content extractor — простой сервис, работающий как облачный с программированием в браузере и через десктоп приложение для windows. Сервис поддерживает работу с шаблонами и может самостоятельно предлагать на основе внутреннего анализа данные для парсинга. Сервис англоязычный, оплатить можно с помощью пластиковой карты, PayPal, WebMoney и банковского перевода.

Возможности сервиса:

• Визуальная настройка;
• Работа с динамическими данными;
• Работа с прокси серверами;
• Планировщик;
• Шаблоны.

Платные тарифы: $30 — $150 в месяц в зависимости от требуемого количества собираемых страниц. Сервис также предлагает настраиваемое решение.

Web content extractor предлагает тарифные планы для прокси серверов, $20 — $120 для пакетов позволяющих обработать 10 000 — 300 000 страниц.

Возможности бесплатной версии:

• 1000 страниц/запросов.

Сервис предлагает видео уроки для быстрого старта.

iDatica — сервис предлагает настраиваемое решение, выполняя сбор данных под ключ. Для работы с сервисом нужно описать задачу, все остальные работы по разработке скриптов и их поддержке iDatica берет на себя, предоставляя готовый результат в нужном формате. Сервис специализируется на регулярных задачах, парсинге сложных сайтов с защитой.

Одна из особенностей – сервис может сбирать данные из мобильных приложений. Язык сервиса русский и английский. Оплатить сервис можно банковским переводом.

Возможности сервиса:

• Разработка парсеров под ключ;
• Парсинг динамически подгружаемых данных;
• Работа с прокси серверами;
• Парсинг мобильных приложений.

Платные тарифы: От 2000 рублей за сбор данных с одного сайта, в зависимости от необходимых опций. Стоимость проекта рассчитывается индивидуально.

Возможности бесплатной версии: Тестовый сбор данных до оплаты.

Сервис подойдет вам если нужно получить решение под ключ, есть необходимость собирать большие объемы данных на постоянной основе или вы хотите собирать данные из мобильных приложений.

Десктопные версии парсеров подойдут в нескольких случаях: если вам по каким-то причинам нужно запускать парсинг на локальной машине, если есть сотрудник, который будет программировать парсеры и следить за их актуальностью. Одно из отличий десктоп версий от облачных сервисов – это разница в вычислительной мощности, если в облаке сбор данных может происходить на мощном железе, что ускорит время сбора данных, то с локальной машиной вы будете ограничены мощностью вашего компьютера, пропускной способностью и стабильностью интернет соединения. В целом область применения программ — решение несложных, частных задач или задач малого бизнеса.

Screaming Frog SEO Spider — известная программа, специализирующаяся на работе с SEO данными, имеет широчайший функционал для аудита сайтов и настраиваемого парсинга данных при помощи xPath. Перечисление всех возможностей программы займет не одну страницу текста, Screaming Frog стала своего рода стандартом для аналитики сайтов. При первом взгляде интерфейс кажется громоздким, но в процессе работы понимаешь, что он отлично структурирован, вкладки сгруппированы для быстрого доступа к важной информации и в целом работа удобна. Интерфейс программы на английском.

• Высокая скорость сбора данных;
• Аудит SEO показателей сайтов;
• Возможность парсинга данных с сайтов;
• Поддержка прокси;
• Подробная документация и уроки.

Возможности бесплатной версии:

• Отслеживание нерабочих ссылок;
• Сбор заголовков и метаданных;
• Аудит href;
• Нахождение дубликатов страниц;
• Работа с robot.txt;
• 500 адресов на сайт;
• Работа с Sitemap.

Программа хорошо документирована, в сети можно найти много обзоров, освоить Screaming Frog SEO Spider при желании будет не сложно.

Доступные ОС:

• Windows;
• MacOS;
• Ubuntu.

Стоимость: Screaming Frog SEO Spider стоит £149 – это чуть более $200 или 15600 ₽ на момент написания статьи. Купить можно при помощи пластиковой карты или PayPal.

У программы есть YouTube канал с обучающими видео.

Easy Web Extract – собирает данные как с простых html сайтов так и сайтов с динамически подгружаемым содержимым. Для использования программы не нужны уметь программировать, работа ведется через мастер, который пошагово проведет через настройку шаблона для парсинга. Для того чтобы быстро освоить интерфейс, программа предлагает базу знаний и видео уроки.

Особенность — вы можете задать автоматический поиск нужных вам товаров на стадии настройки и собирать только нужные данные. Другая особенность Easy Web Extract — возможность многопоточного сбора, это позволит экономить время выполнения парсинга, но будьте аккуратны при многопоточном сканировании, целевой сайт может блокировать ваш ip из-за подозрительной активности. В Easy Web Extract есть возможность парсинга динамически загружаемых данных, при тестировании программа справилась не со всеми сайтами, проверьте эту возможность на нужном вам сайте. Программа англоязычная, оплатить можно через PayPal.

Возможности программы:

• Визуальная настройка парсинга;
• Многопоточность;
• Работа с поиском;
• Сохранение шаблонов;
• Работа с динамическими данными;
• Видео-уроки.

Возможности бесплатной версии:

• 14 дней;
• Парсинг первых 200 результатов;
• Экспорт первых 50 результатов.

Доступные ОС: Windows.

Стоимость: $29,9 за лицензию на одну машину + $24,9 за дополнительную лицензию.

У программы есть YouTube канал с обучающими видео.

FMiner — программа для парсинга сайтов, с визуальной настройкой, не требует знания языков программирования. Fminer записывает ваши действия создавая таким образом сценарии, которые вы можете редактировать, сохранять и воспроизводить в последующем. Программа умеет захватывать динамически загружаемые данные, такие как AJAX, поддерживает многопоточность, предоставляет возможность работать с результатами поиска и экспортирует данные в несколько выходных форматов. Интерфейс англоязычный.

Возможности программы:

• Визуальная настройка парсинга;
• Многопоточность;
• Парсинг результатов поиска;
• Возможность записывать макросы;
• Работа с динамическими данными;
• Видео-уроки.

Возможности бесплатной версии:

• 14 дней;

Доступные ОС:

• Windows;
• Mac OSX.

Стоимость: $168 — $248 в зависимости от нужной операционной системы и набора доступных опций. Оплатить сервис можно через PayPal.

У программы есть YouTube канал с обучающими видео.

Content Downloader — программа для парсинга сайтов, с возможностью парсить сайты с динамически загружаемым содержимым. Парсинг данных происходит в два этапа, сначала нужно собрать ссылки страниц, с которых нужно парсить данные, потом настроить какие данные с этих страниц необходимо собирать. Для работы с программой необязательно знать языки программирования, хотя их знание существенно расширит возможности. Программа не проста при изучении, потребуется изучить принципы работы с программой, для создания проекта парсинга нужно умение работать с кодом сайта, знание регулярных выражений. Интерфейс русскоязычный и англоязычный.

Возможности программы:

• Многопоточность;
• Парсинг списка ссылок;
• Возможность обработки данных на лету;
• Работа с динамическим содержимым;
• Ротация IP;
• Видео-уроки.

Возможности бесплатной версии:

• Ограничен функционал программы;

Доступные ОС: Windows;

Стоимость: 2000 ₽ — 5000₽ в зависимости от нужного набора опций. Оплатить сервис можно с помощью PayPal, кредитной карты.

У программы есть YouTube канал с обучающими видео.

Helium scraper — программа для парсинга данных с сайтов. Принцип работы с программой – визуальный интерфейс, на котором нужно выбирать элементы для захвата, совмещается с полем для кода, который описывает процесс. Функциональность программы имеет ряд особенностей по отношению к рассмотренным выше. Одна из ключевых — это возможность собирать большие базы данных, до 140 Терабайт, если ваша задача подразумевает сбор большого объема информации, то стоит обратить внимание на Helium scraper. Также программа может работать через API, вы можете интегрировать запросы к целевым сайтам в свой проект. Интерфейс англоязычный.

Возможности программы:

• Визуальное программирование;
• Многопоточность;
• Работа с результатами поиска;
• Работа с динамическими данными;
• Ротация ip;
• Блокировка нежелательного контента;
• База знаний;
• Планировщик;
• API.

Возможности бесплатной версии:

• 10 дней, без функциональных ограничений;

Доступные ОС: Windows.

Стоимость: $99 — $699 в зависимости от нужной операционной системы и набора доступных опций. Оплатить сервис можно через PayPal или банковские карты.

У программы есть YouTube канал с обучающими видео.

WebHarvy — интересный вариант для парсинга сайтов, программа предлагает простой и наглядный интерфейс для захвата данных и в этом ее главная особенность — она интуитивно понятна с первого взгляда. WebHarvy не подойдет для каталогов со сложной структурой вложенности, программу нужно выбирать для сайтов с простой структурой вложенности не далее второго уровня. Программа понимает динамически загружаемые данные, также вы сможете подключить свои прокси и пройти по заранее подготовленному списку адресов. Программа позволяет пользоваться регулярными выражениями, например вы сможете очистить html код. Интерфейс – англоязычный.

Возможности программы:

• Визуальное редактирование;
• Многопоточность;
• RegExp;
• Работа с динамическим содержимым;
• Поддержка Ip;
• Видео-уроки;
• Планировщик.

Возможности бесплатной версии:

• 15 дней;
• Первые 2 страницы.

Из-за ограничения в 2 страницы, программа сильно ограничивает парсинг каталогов, но, если есть возможность вывести данные на одну страницу, WebHarvy — хороший выбор.

Доступные ОС: Windows.

Стоимость: $139 в зависимости от нужной операционной системы и набора доступных опций. Оплатить сервис можно через PayPal или банковские карты.

У программы есть YouTube канал с обучающими видео.

Screen-Scraper — программное решение для сбора данных с сайтов. Для работы с программой потребуется знание Java, JavaScript или Python. Screen-Scraper может собирать данные, переходить по ссылкам, заполнять и отправлять формы, переходить на страницы результатов поиска и скачивать различные файлы. Программа может справится с практически любым сайтом, в том числе с AJAX данными. Интерфейс программы англоязычный.

Возможности программы:

• Многопоточность;
• AJAX;
• Поддержка ротации ip;
• Программирование скриптов на Java, JavaScript и Python;
• API.

Возможности бесплатной версии:

• Неограничено по времени;
• Только три сеанса парсинга;
• Прокси.

Доступные ОС:

• Windows;
• MacOS;
• Linux.

Стоимость: $549 — $2799 в зависимости от набора доступных опций. Оплатить сервис можно через PayPal, или банковские карты.

У программы есть YouTube канал с обучающими видео.