Как боты парсят ваши сайты и обходят защиту? Рассказываем в деталях
Меня зовут Максим Кульгин и моя компания xmldatafeed занимается парсингом сайтов в России порядка четырех лет. Ежедневно мы парсим более 500 крупнейших интернет-магазинов в России и на выходе мы отдаем данные в формате Excel/CSV и делаем готовую аналитику для маркетплейсов.
Как-то делали одному клиенту сайт, собрали некую "ценную" базу. Клиент, конечно, не хотел чтобы база быстро и целиком утекла к конкурентам, попросил хоть какой-то защиты.
В итоге сделали некоторые триггеры на роботов и просто детектируя робота начинали отдавать ему мусорные данные (каждую характеристику из разной строчки БД). В итоге робот быстро нажирался левыми данными, которые от настоящих мог отличить только специалист, и уходил.
В итоге наша "извращенная" база за пол года расползлась по куче сайтов-конкурентов.
да :) это хорошая стратегия. Я такое встречал не один раз. Но очень сложная в реализации и поддержке.