Парсинг сайтов ваших конкурентов самостоятельно: от «сделай сам» до «заверните мне ещё один гугл, пожалуйста»
Меня зовут Максим Кульгин, моя компания xmldatafeed занимается парсингом сайтов в России более четырёх лет. Мы подготовили свежий обзор лучших решений для самостоятельного парсинга сайтов: это и программируемые средства с открытым исходным кодом, и плагины для браузеров, и облачные сервисы наших зарубежных конкурентов.
Максим, спасибо за статью!
Многие из этих и подобных сервисов имеют в наборе прокси сервера разных типов. За дополнительные деньги, разумеется. И не сказать, что небольшие.
Некоторые, тот же Octoparse, дают возможность подключать внешний источник прокси.
Хотелось бы узнать твоё мнение о разных типах прокси для разных задач для парсинга. Например, для каких целей/задач лучше использовать датацентровские прокси, для каких мобильные или резидентские. И вот ещё недавно появился мутант - ISP прокси - этакий микс между резидентскими и ДЦ прокси. Т.е. айпишки зареганы на провайдера домашнего интернета, но софт хостится в датацентрах и всё это юзается исключительно как прокси в том числе для парсинга.