Парсер Федресурса без капч и браузеров: 20 потоков, автоматические повторы и CSV на выходе
Заказчик принёс таблицу на несколько тысяч записей. Нужно было по каждой получить актуальный статус из Единого федерального реестра сведений о банкротстве. Вручную — это месяцы работы через браузер, с постоянными перезагрузками страниц и капчами. Первая мысль — использовать Selenium и автоматизировать браузер. Но это тупик. Тормоза, блокировки и капчи свели бы эффективность к нулю. Работать нужно напрямую с источником данных, а не с его витриной для людей.
Мы смотрим на сайт через инструменты разработчика и видим, что основная информация подгружается через REST API. Это то, что нужно. Не нужно эмулировать поведение пользователя, рендерить JavaScript и ждать загрузки сотен элементов. Достаточно отправить чистый HTTP-запрос с нужными параметрами и получить структурированный ответ, чаще всего в JSON. Такой подход снимает львиную долю проблем с антибот-системами.
Скрипт был написан на Python с использованием асинхронного HTTP-клиента. Входные данные — обычный Excel или CSV-файл, где в одной из колонок перечислены идентификаторы. Скрипт читает его, формирует очередь запросов. Ключевой момент — многопоточность. Мы выставили 20 параллельных потоков. Не сотню, чтобы не получить бан за чрезмерную нагрузку, но достаточно для того, чтобы ускорить обработку в разы по сравнению с последовательными запросами.
Любая работа с внешними API — это всегда обработка ошибок и повторов. Сеть может лечь, сервер ответить таймаутом или вернуть ошибку 429 (слишком много запросов). Наш скрипт учитывает это. Неудачные запросы автоматически ставятся в конец очереди для повторной попытки после паузы. Количество повторов ограничено, чтобы не зациклиться на полностью битых данных. Успешно обработанные записи сразу записываются в итоговый CSV, чтобы в случае сбоя часть работы не пропала.
Где мы ошиблись в первый раз? С лимитами. Мы слишком агрессивно начали, с малыми интервалами между запросами в потоках. После нескольких тысяч успешных запросов начали приходить ответы с ошибками — сервер начал отклонять часть запросов. Пришлось добавить более умную систему пауз и, что важнее, равномерно распределить нагрузку между потоками. Изначальная логика «просто кидать запросы пачкой» не сработала. Добавили небольшую случайную задержку между запросами внутри каждого потока — это сняло проблему.
Что на выходе? Единый CSV-файл, где к исходным идентификаторам присоединены все полученные поля: наименование, статус дела, дата, адрес суда и так далее. Его можно тут же открыть в Excel или загрузить в базу данных. Вся работа заняла несколько часов на обработку объёма, который человек копировал бы неделями.
Если вам нужно что-то подобное, вот что можно взять на вооружение. Во-первых, всегда ищите скрытое API сайта — часто данные отдаются в чистом виде, просто адрес endpoint нужно найти в сетевых запросах. Во-вторых, не бойтесь многопоточности, но настраивайте её аккуратно, уважая лимиты стороннего сервера. В-третьих, пишите код с расчётом на сбои: повторные попытки, логирование ошибок и промежуточное сохранение результатов — обязательны. В-четвёртых, работайте с простыми форматами ввода-вывода, такими как CSV, — это универсально и не привязывает вас к конкретному ПО.
В итоге получился надёжный инструмент для рутинной задачи, который работает быстро и без нашего участия. Код лежит в репозитории и ждёт следующего обновления списка.