Меня зовут Максим Кульгин и моя компания xmldatafeed занимается парсингом сайтов в России порядка четырех лет. Ежедневно мы парсим более 500 крупнейших интернет-магазинов в России и на выходе мы отдаем данные в формате Excel/CSV и делаем готовую аналитику для маркетплейсов.
"Вы даже можете прикидываться поисковым роботом Google — Googlebot/2.1, если хотите немного поразвлечься"
Как?
Установкой User-Agent
да, ставьте user agent равным гугл-боту. хотя это в общем-то просто развлечение, но иногда поможет обойти защиту