Парсинг сайтов ваших конкурентов самостоятельно: от «сделай сам» до «заверните мне ещё один гугл, пожалуйста»
Меня зовут Максим Кульгин, моя компания xmldatafeed занимается парсингом сайтов в России более четырёх лет. Мы подготовили свежий обзор лучших решений для самостоятельного парсинга сайтов: это и программируемые средства с открытым исходным кодом, и плагины для браузеров, и облачные сервисы наших зарубежных конкурентов.
Я то думаю, как зловред научился js challeng cloudflary обходить, а потом понял, что айпи меняется, а юзерагент статичен, так он эту приблуду с расширением браузера использует. Ну благо дело ума или технических возможностей поменять юзерагент у него не хватает, уже месяц как пытается спарсить сайт-миллионик. Не окупиться у него это дело, ох не окупиться :)
А что за зловред?
Комментарий недоступен