Делаю робкие попытки в автоматизацию, есть свой блог - https://autoparse.tech
Введение в предмет - или почему распознавание капчи Geetest не похоже на новый Haval?
В последнее время китайские товары и сервисы можно встретить практически в любой нише. Да, когда ты слышишь, что это китайская разработка, с улыбкой вспоминаешь 90-е и знаменитые ролики в интернете “Очки н-н-надо?”, и в большинстве случаев мало что изменилос…
Многие пользователи интернета (я имею ввиду стандартного юзера, не знакомого с этими вашими автоматизациями) уже неплохо разбирается в реалиях современного интернета, и знаком с такими определениями, как ВПН или прокси. Но прокси - достаточно разнородное понятие и их существует огромное количество видов.
В этой статье я решил намного ближе из…
В рамках научного и исследовательского интереса решил поэкспериментировать с распознаванием сложных типов капчи, ну как поэкспериментировать - скорее проверить работоспособность и умение электронного коллеги писать за меня код. Да, там было куча - соблюдайте этические нормы, бла бла бла… Но простое - чувак, я это делаю исключительно в рамках исслед…
Можно было бы написать так - “опытные разработчики, занимающиеся парсингом и автоматизацией, нередко сталкиваются с необходимостью обхода современных капч”. Но это слишком скучно… Я лучше начну так - продолжая изучать забавный мир капч, я в своих изучениях добрался таки до китайской версии защиты - GeeTest капчи. Давайте разбираться, что же это за…
Продолжаем путешествовать по миру капч (Фантастические капчи и где они обитают, а также способы борьбы с ними), и сегодня на очереди очередной “крепкий орешек” во вселенной капч - FunCaptcha (Arkose Labs).
Представьте разработчика, который автоматизирует рутинные задачи – например, тестирует веб-приложение или пишет скрипт для сбора данных. Всё идёт гладко, пока на пути не встречается CAPTCHA. В браузере появляется знакомое окно: «Я не робот»,…
Капча стала привычным элементом интернета: искажённые тексты, картинки с «найди все светофоры», аудио-загадки и другие испытания, которые призваны отличить человека от машины. Каждый разработчик бот-систем или QA-инженер при автоматизации веб-сценариев хоть раз сталкивался с тем, что скрипт внезапно спотыкается о CAPTCHA. Возникает естественный воп…
Антидетект-браузер (или браузер для мультиаккаунтинга) - это специально модифицированный веб-браузер, который позволяет подменять или маскировать ваш цифровой отпечаток браузера за счет изменения идентифицирующих параметров, IP-адреса и другой информации. Проще говоря, антидетект-браузер искажает те данные о системе и среде, которые сайты обычно со…
У меня есть статья, в которой я рассказываю про безопасность в арбитраже трафика - и, как это часто бывает, одно исследование развернулось в целую серию статей, как говориться, чет меня понесло и уже было не остановить. По ходу работы, я собрал два утилитарных скрипта, которые снимают необходимость ручной работы при работе с антидетект-браузером че…
Дорога каждого разработчика-парсера начинается одинаково: сначала хочется обойти официальные лимиты, потому что так «быстрее» и «без квот». Одни мучаются с Selenium, пытаясь подружиться с изменчивой вёрсткой YouTube; другие набрасывают пару requests-скриптов, которые валятся при первой же 404-й. Финал одинаков: возвращаемся к YouTube Data API v3.
В своей предыдущей статье, которую я также опубликовал на DTF, я провёл сравнительное тестирование двух методов обхода капчи — токенов и кликов, используя Puppeteer. Тогда я пообещал, что в следующем материале проведу аналогичный эксперимент, но уже с использованием Selenium. Что ж, настал момент выполнить обещание: мы сравним те же два метода, но…
Я часто сталкиваюсь с различными инструментами, которые облегчают работу в разных областях. Сейчас речь не о таких сервисах, как Key Collector или Ahrefs, а о Zennoposter или BAS. Я не эксперт в автоматизации, но понимаю, что эти сервисы представляют собой сложные многоуровневые оболочки. На их основе можно создавать любые боты и скрипты, способные…