В большинстве случаев - работает. Парсятся и те, что стоят под CF с Антиботом. Вот если проект реально суровый, с кастомной защитой - там да, парсер всё равно так или иначе пропалится и попадёт в блок - по числу ли запросов, по кукам, или не пройдёт чек на подлинность, если парсить от эмулятора поискового робота. Но это достаточно редко случается.
Тут вы правы, это сложно. Такие сайты трудно пробить. Можно пробовать разные варианты, например парсить через ВПН или парсить через апарсер. Но надо заморочиться со сменой проксей + их должно быть много в пуле.
Эта инструкция для лягушки не поможет в случае, если стоит защита от парсинга или ддоса.
Снижается скорость до 1 урл в сек и 1 потока. Если не помогло - то рендеринг страницы. Но в любом случае это будет ооооочень долго.
В большинстве случаев - работает. Парсятся и те, что стоят под CF с Антиботом. Вот если проект реально суровый, с кастомной защитой - там да, парсер всё равно так или иначе пропалится и попадёт в блок - по числу ли запросов, по кукам, или не пройдёт чек на подлинность, если парсить от эмулятора поискового робота.
Но это достаточно редко случается.
Тут вы правы, это сложно. Такие сайты трудно пробить. Можно пробовать разные варианты, например парсить через ВПН или парсить через апарсер. Но надо заморочиться со сменой проксей + их должно быть много в пуле.