Задача на 15 минут. Как она может вылиться в год разработки
5 лет назад к нам приходит клиент и говорит: "Парни, я хочу собирать объявления с сайтов в один клик. Вот у меня список сайтов, на которые рекламируются все, кому не лень. Соберите мне всю информацию в реальном времени. Я готов заплатить за это 30 тысяч рублей."
Забанили IP, по которому мы парсилиИнтересно, кто вас блочит, и главное как? Вы же не с выделенного ip всё это делали? :)
Как идиоты парсили с ip арендованного сервака бгг. Вообще на то время большинство сайтов такое пропускало без проблем. Ну нет проблемы - мы и не думаем об этом.