Парсинг сайтов ваших конкурентов самостоятельно: от «сделай сам» до «заверните мне ещё один гугл, пожалуйста»

Меня зовут Максим Кульгин, моя компания xmldatafeed занимается парсингом сайтов в России более четырёх лет. Мы подготовили свежий обзор лучших решений для самостоятельного парсинга сайтов: это и программируемые средства с открытым исходным кодом, и плагины для браузеров, и облачные сервисы наших зарубежных конкурентов.

По устоявшемуся термину парсинг — это автоматизированный сбор открытых данных с веб-страничек, сайтов, порталов. В наше время отслеживание конкурентов и мониторинг рынка совершенно необходимы для выживания предприятия. Сейчас сложно представить бизнес, который не работает с информацией.

В простых случаях можно обойтись ручным копированием-вставкой. Но как только приходится работать с большими объемами данных или отслеживать меняющуюся информацию, то без автоматизации уже не обойтись.

Чуть отвлекусь — за 2022 год мы получили выручку ~20 млн. рублей за услуги по парсингу данных и если вам интересно узнать детали, то посмотрите мой канал «Русский ИТ бизнес» — там пишу всю «изнанку», с чем сталкиваемся в процессе работы, без приукрашивания и маркетинговой «лапши на ушах».

Рассмотрим вкратце технический процесс чтения веб-страницы и его нюансы.

Сначала загружается HTML-страница вместе со всеми ссылками, подключенными библиотеками и кодом JavaScript. В большинстве случаев содержимое страницы уже доступно на этом этапе: его лишь надо «выдрать» из XML-разметки.

Однако, если требуется иметь дело с сайтом, противодействующим парсингу, или с контентом, формируемым динамически прямо в браузере, то всё несколько усложняется — содержимое находится не в разметке, а пишется (или даже рисуется) на холсте браузера в результате выполнения JavaScript-кода.

Это обязательно надо учитывать при выборе инструмента. В случае динамически формируемого содержимого понадобится браузер с машинным интерфейсом (headless browser).

Некоторые из рассмотренных средств — всего лишь расширения для браузера. Они зачастую обладают меньшим количеством функций, но хорошо подходят для сбора конкретной информации.

Есть отдельные программы для парсинга. Они сложнее, так как требуют определенных знаний и навыков, но зато предоставляют и больше возможностей, позволяя эффективно и безостановочно извлекать огромные объемы данных, в том числе делая это на своих машинах.

Парсинг не является чем-то незаконным или предосудительным. Но многие владельцы сайтов не хотят, чтобы роботы ползали по их драгоценному серверу и собирали бесценные данные. А потому хорошие средства парсинга — те, которые позволяют избежать обнаружения.

Не следует забывать и о том, что парсинг — затратное мероприятие. Простые инструменты — да, можно запускать прямо из браузера. Однако в некоторых случаях и быстрее и выгоднее использовать более специализированные средства.

И, конечно же, самым высокоэффективным и универсальным подходом является использование специализированных сервисов, которые возьмут на себя все заботы и головные боли.

Сначала рассмотрим актуальный список самых востребованных расширений для браузеров. Использовать их — это самый простой путь. Они вполне оптимальны для целого ряда задач и позволяют заняться парсингом прямо во время поиска в Интернете.

Расширения можно настроить так, что они будут следовать прямо по посещенным страницам, автоматически копируя поверхностные данные или осуществляя более глубокий парсинг.

Web Scraper — расширение для Google Chrome. Позволяет осуществлять парсинг прямо из браузера за счёт использования ресурсов компьютера.

Конечно, такой способ несколько ограничивает масштаб деятельности, зато позволяет настроить перечень страниц для парсинга простым перетаскиванием мышки. Можно разделить полученную информацию по категориям, а затем сохранить всё в CSV-файл.

Стоимость:

Преимущества:

Идеально подходят для:

Dataminer — удобное расширение для браузеров Google Chrome и Microsoft Edge. Позволяет парсить широкий набор данных из современных веб-страниц и сохранять результат в виде CSV- или XSL-файлов. Данные легко преобразуются в понятные, хорошо структурированные таблицы, а полуавтоматизированный процесс позволяет четко определять какие данные сохранять, а какие отбрасывать.

Dataminer идет с набором уже готовых скриптов/задач в виде «рецептов», разработанных сообществом. То есть для распространенных задач с большой долей вероятности уже есть всё необходимое для сбора нужных данных.

Некоторые из «рецептов» включают парсинг таких сайтов как eBay, Amazon, Alibaba, социальные сети, новостные сайты и тому подобное.

Стоимость:

Преимущества:

Идеально подходят для:

Google Chrome имеет уже встроенный в любой экземпляр браузера набор для разработчиков — даже не надо ничего устанавливать.

Если надо проанализировать исходный HTML-код и получить XPath или CSS-селекторы, то стандартный набор разработчиков — самое первое решение, которое придет в голову большинству профессионалов.

Другая полезная команда в средствах Google Chrome для разработчиков — это команда «$x», которая выполняет запросы XPATH внутри консоли браузера. Это прекрасный способ быстро протестировать и отладить запросы XPATH перед целевым использованием.

«$x», кстати, перед нажатием Enter осуществляет предварительную загрузку для совпадающих элементов, что делает работу ещё проще и приятней.

Ну и какой же инструмент без возможности работы с сетевыми запросами? При отладке чаще всего придется воспроизводить и тестировать:

Инструменты разработчика Google Chrome позволяют записывать данные, даже если контент загружается по щелчку мыши или по мере прокрутки страницы, а также воспроизводить эти события.

Для этого достаточно перейти на вкладку «Сеть» и установить галочку «Сохранять журнал».

Как только будут правильно подобраны параметры запроса, его можно скопировать и использовать непосредственно, например, в cURL.

Если cURL по каким-то причинам не подходит, есть хороший сервис, который может переписать запрос для работы с любым из популярных языков программирования с сохранением заголовков, файлов cookie и других параметров.

Например, для использования в Python запрос выше будет переписан так:

Стоимость:

Преимущества:

Идеально подходят для:

Фреймворки позволяют создавать собственные парсеры, которые выгодно отличаются тем, что могут быть оптимизированы для каждой конкретной или уникальной задачи.

Фреймоворки хорошо подходят для высоконагруженных проектов, где требуется параллельное выполнение задач, где парсинг ставится на поток. Но никто не запрещает использовать какой-нибудь фреймворк и для небольших задач.

Scrapy — бесплатный фреймворк написанный на Python, одном из самых популярных языков программирования. Scrapy годится практически для любой задачи, включая парсинг огромных объемов данных с нескольких веб-сайтов одновременно.

У Scrapy огромное сообщество. Он заслуженно пользуется популярностью у специалистов по обработке данных и энтузиастов. Разработчики всегда уделяли внимание скорости и продуманности архитектуры, позволяющей эффективно справляться с большими проектами.

Scrapy активно развивается. С некоторых пор доступно Scrapyd — готовое решение для развертывания собственного сервера. Но и это ещё не всё! Теперь есть собственный облачный сервис Scrapy Cloud. Что ещё нужно для построения своей парсинговой инфраструктуры⁈

Поддержкой фреймворка занимается Zyte (ранее ScrapingHub) — известная платформа, имеющая весомую репутацию в мире технологий поисковых роботов.

Стоимость:

Преимущества:

Идеально подходят для:

Requests — относительно простая, но элегантная HTTP-библиотека «для людей», написанная на Python. Позволяет легко просматривать веб-страницы и работает как с HTTP GET, так и HTTP POST запросами.

Стоимость:

Преимущества:

Идеально подходят для:

Selenium WebDriver — это библиотека API с открытым исходным кодом, которая часто используется для автоматизированного тестирования интерфейсов веб-приложений.

Будучи браузером с машинным интерфейсом, может «отображать» контент, создаваемый динамически с помощью JavaScript, что делает Selenium невероятно мощным инструментом для чтения сложных веб-сайтов, в том числе противодействующих парсингу.

Поддерживается несколько самых популярных языков.

Стоимость:

Преимущества:

Идеально подходят для:

Cheerio — «быстрая, гибкая и элегантная библиотека для парсинга HTML и XML-документов».

Инструмент ориентирован на использование JavaScript и представляет собой реализацию jQuery, разработанную специально для использования на стороне сервера.

Интересной особенностью является то, как именно Cheerio работает с деревом DOM (Document Object Model — общепринятый интерфейс, отражающий содержимое веб-страницы). Все недостатки дизайна, все переусложненные особенности, связанные с браузерами — всё убрано. Вместо этого — простой, чистый и понятный API.

Естественно, что такая оптимизация положительно сказывается на скорости: по некоторым тестам выходит 8-ми кратное превосходство над стандартным JSDOM.

Стоимость:

Преимущества:

Идеально подходят для:

Puppeteer — ещё один браузер с машинным интерфейсом, который можно использовать и для автоматизированных тестов, и для парсинга.

Технически Puppeteer — это библиотека Node. js, предоставляющая высокоуровневый API для управления Chrome/Chromium посредством протокола DevTools.

Стоимость:

Преимущества:

Идеально подходят для:

Apify SDK — платформа, которая хорошо подходит для работы со средними и крупными проектами. Поддерживается два языка: JavaScript и Python.

Apify SDK — набор инструментов для создания микросервисов, запускаемых на платформе Apify. Для целей парсинга можно использовать много готовых решений и сторонних библиотек, например, Crawlee.

Стоимость:

Преимущества:

Идеально подходят для:

Heritrix — парсер, созданный организацией Internet Archive для архивирования веб-страниц.

Инструмент создан в исторических и культурных целях. Это в том числе означает, что он рассчитан прежде всего на точность и работу с огромным массивом данных, поэтому не стоит надеяться на высокую скорость. В настоящее время эта система используется многими национальными архивами и библиотеками.

Отличительная характеристика — «уважение» файла robots. txt. В статье о «бродячих роботах» мы подробно рассматривали вопрос этики роботов, неотъемлемой частью которой является следование указаниям файла robots. txt.

Стоимость:

Преимущества:

Идеально подходят для:

Nutch — ещё один парсер, созданный для архивирования Интернета. В этом он похож на рассмотренный выше Heritrix.

Nutch — расширяемый, масштабируемый, готовый к коммерческому использованию, обеспечивает тонкую настройку и подходит для широкого спектра задач сбора данных.

Используется в некоторых некоммерческих проектах, таких как Common Crawl, который ежемесячно парсит петабайты веб-данных.

Nutch написан на Java и основан на таких технологиях, как Lucene, Solr, Tika, Hadoop и Gora, адаптированных для специфики поиска в интернете.

Nutch имеет большое сообщество энтузиастов, что легко объясняется его надежной модульной архитектурой и открытым исходным кодом.

Преимущества:

Идеально подходят для:

Платные инструменты, как правило, предоставляют ресурсы своих выделенных серверов. Пользователи настраивают процесс посредством «тонкого клиента» — программы или веб-интерфейса, который непосредственно не отнимает вычислительных ресурсов на такое трудоемкое дело, как парсинг.

Кроме того, платные инструменты имеют много богатых возможностей по экспорту полученных данных по API или для сохранения во всевозможные базы данных.

Mozenda — один из лидеров в индустрии парсинга и интеллектуального анализа. Tesla, AMD, CNN, Oracle, Bank of America — треть компаний из списка «Fortune 500» в США — пользуются этим сервисом.

Нужно ли говорить, что это хороший способ сбора и анализа данных? Риторический вопрос.

А вот практический вопрос — вопрос стоимости — не такой однозначный. Стоимость услуг начинается от 250 долларов в месяц за самый непритязательный пакет. А что делать⁈ «Высокоуровневый интеллектуальный анализ данных» — не дешевое удовольствие. Добыча данных тоже.

Несмотря на стоимость, Mozenda интуитивно понятна в использовании, а расширенные пакеты поставляются в комплекте с полезными 8-часовыми обучающими уроками.

Три года назад Mozenda была поглощена более крупной рыбой — Dexi. То есть крупнейшие игроки в мире парсинга перестали быть конкурентами и объединили свои возможности. Несмотря на эти маркетинговые сдвиги, оба сервиса работают и продолжают развиваться.

Стоимость:

Преимущества:

Идеально подходят для:

Octoparse — позволяет «быстро собрать данные без программирования», а затем «за несколько кликов превратить веб-страницу в электронную таблицу».

Octoparse — современный и продвинутый парсер, который подходит для проектов или предприятий практически любого масштаба. Его продуманный интерфейс прост и понятен в использовании, не требует никаких технических знаний в области программирования, а большое сообщество помогает тем, кому не хватает и самых элементарных знаний.

Даже на бесплатном тарифе можно пользоваться готовыми шаблонами для получения данных. Ротация IP-адресов, расширенная автоматизация, возможность перехвата контента, отрисовываемого посредством JavaScript — всё это тоже доступно на бесплатном тарифе.

Не только техническая сторона сервиса, но и работа с клиентами очень продумана: управляемые решения, полный спектр услуг — присутствуют все требования, выдвигаемые современным уровнем обслуживания.

Стоимость:

Преимущества:

Идеально подходят для:

ParseHub — «продвинутый парсер, извлекающий данные просто по щелчку мышки».

ParseHub — прост и интуитивно понятен. Не требует программирования, поставляется как хорошо спроектированное и высокофункциональное веб-приложение. Может извлекать данные с сайтов, работающих под управлением AJAX и JavaScript. Обходит логины, быстро перемещается по сложным структурам и даже извлекает изображения и картографические данные.

Подход машинного обучения, который команда ParseHub использует в своей работе, гарантирует, что содержимое даже самых замысловатых страниц будет легко и правильно считано.

Данные, разумеется, можно сохранять в любом популярном формате — CSV, JSON, Excel или использовать API для обработки в соответствии с собственными алгоритмами.

Это впечатляющее приложение. Бесплатная версия отличается щедростью, предоставляя 200 страниц собранных данных за 40 минут.

Стоимость:

Преимущества:

Идеально подходят для:

Dexi «превращает любой веб-сайт в данные, которые помогают брендам, торговым площадкам и организациям увеличивать продажи, оптимизировать цены, улучшать доступность и ассортимент».

Dexi, поглотивший Mozenda — ещё один из мировых лидеров в индустрии сбора данных. Microsoft, Samsung, HP, Vodafone пользуются этим сервисом.

Dexi предлагает целый набор средств. И это не только что-то сверхсложное, доступное разве что для профессионалов высокого уровня. Есть и простые инструменты с интуитивно понятными функциями.

Боты разных типов («обходчики», «извлекатели» и так далее) с одной стороны работают на разных уровнях, с другой — активно взаимодействуют между собой, что позволяет находить и отдавать данные со скоростью, недоступной для конкурентов.

Разумеется, поддерживаются все возможные форматы, базы данных, предоставляется API.

Стоимость:

Преимущества:

Идеально подходят для:

ProWebScraper — ещё одно хорошее решение в стиле «парсинг без кодирования».

Функции в стиле «только кликни мышкой» превращают добычу данных в простое упражнение на внимательность. С таким подходом, между прочим, ProWebScraper прекрасно справляется примерно с 90% сайтов.

Все причитающиеся в таких случаях возможности — ротация IP-адресов, распознавание таблиц и сложных структур — имеются и работают без нареканий.

Уникальное предложение — бесплатная настройка парсера экспертами сервиса.

Стоимость:

Преимущества:

Идеально подходят для:

Сейчас есть парсеры для всего и вся. Все — начиная от студентов, которым нужны данные для курсовой работы, и заканчивая учеными и транснациональными корпорациями, собирающими петабайты данных в месяц — могут легко найти подходящий инструмент, исходя из своих целей.

Очевидно, что индивидуальный выбор будет зависеть от многих факторов:

Свободное время на эксперименты — фактор, который недооценивается многими, особенно теми, кто думает, что «инструменты решают всё».

Как только возникает противодействие парсингу со стороны сайтов, не желающих делиться информацией — все шаблонные решения можно сразу отбрасывать и настраиваться на упорную работу.

Парсинг только на первый взгляд кажется простым мероприятием. Особенно в демонстрационных примерах, когда данные берутся с щедрых, можно сказать благотворительных, организаций, вроде Википедии.

В реальной жизни всё намного сложнее.

Одному клиенту пришлось отказать: слишком дорого выходило получать данные с iHerb в нужных объемах. И это при том, что мы занимаемся парсингом более четырёх лет и накопили большой опыт по обходу запретов.

Изощренность противодействия сбору данных растет и растет. И несмотря ни на что парсинг необходим: он несёт важную миссию — помогает бизнесу выживать в высококонкурентном мире и зарабатывать больше — а значит, в конечном итоге, и экономить простым людям (понимаю, что это звучит слегка "натянуто", но парсинг — законен).

Что ж, мы рассмотрели инструменты исключительно с технической точки зрения и не затронули этическую составляющую. А вы можете дополнить статью своими мыслями в комментариях.