20 млн рублей в год на парсинге сайтов. Часть 2
Меня зовут Максим Кульгин, моя компания xmldatafeed занимается парсингом сайтов в России порядка четырёх лет. Ежедневно мы парсим более 500 крупнейших интернет-магазинов в России. Теперь делимся опытом.
Мы целый год скрапили авто.ру (с 2020 по 2021) реверсили их приложеньку и добывали по мобильному апи. Потом они повесили какой-то лютейший антифрод и фейковали нам данные. Доходило до того что, отправляешь запрос из ноды приходит одно, из питона - другое. Жалко что на этом мы закрылись)) Но 100гб чистых данных за год сохранились))
Выкачивали весь авто.ру примерно за 40 минут. Хорошая у них апишка была)