Лучшие инструменты для самостоятельного парсинга веб-сайтов — исчерпывающий список
Меня зовут Максим Кульгин и моя компания xmldatafeed занимается парсингом сайтов в России порядка четырех лет. Ежедневно мы парсим более 500 крупнейших интернет-магазинов в России и на выходе мы отдаем данные в формате Excel/CSV и делаем готовую аналитику для маркетплейсов.
В общем я тут ходил на собес в одну ирландскую компанию которая занимается парсингом данных. У них вакансия была QA data инженер. В общем надо смотреть что там напарсил их парсер и находить где он херово работает. Причем компания довольно таки больших масштабов.
у нас выделенный человек занимается проверкой итогов парсинга ежедневно. и ежедневно что то ломается