3 программы для автоматизации, которыми я пользуюсь: парсинг, браузерные сценарии и Android

Чем дольше работаешь с digital-проектами, тем чаще возникает одна и та же проблема: слишком много времени уходит на действия, которые по сути повторяются.

Собрать данные из поисковой выдачи. Проверить сотни страниц. Перенести информацию в таблицу. Открыть сайт, пройти один и тот же сценарий. Повторить его ещё двадцать раз. Проверить мобильное приложение.

Первые несколько раз проще сделать руками.

Но если такая задача повторяется ежедневно, ручная работа перестаёт иметь смысл.

Поэтому часть моего рабочего стека — программы, которые автоматизируют разные типы рутины.

В этой статье разберу три инструмента:

Это не три конкурента. Скорее три разных инструмента под разные задачи.

Некоторые ссылки в статье партнёрские — оставляю их открыто рядом с названиями. Чаще всего вы получите скидку в 5-10%

https://a-parser.com/?ref=59103

Инструмент для массового сбора и обработки данных: поисковые системы, сайты, карты, YouTube, Telegram, маркетплейсы и другие источники.

Использую там, где обычный ручной поиск или сбор информации уже не масштабируется.

http://www.zennolab.com/ru/products/zennoposter/pid/4649618c-3ee5-4ace-a31a-aec7ad3b55ab

Визуальная автоматизация действий в браузере.

Можно собирать сценарии из блоков: открыть страницу, заполнить форму, получить данные, сделать HTTP-запрос, сохранить результат и запустить всё это по расписанию.

https://zennolab.com/ru/products/zennodroid/pid/4649618c-3ee5-4ace-a31a-aec7ad3b55ab/

Похожая идея, но уже для Android.

Подходит для автоматизации мобильных приложений, тестирования, повторяющихся действий и сбора данных непосредственно из Android-среды.

перейти на сайт →

Из этой тройки A-Parser — инструмент, который проще всего объяснить.

Представим, что нужно найти 500 сайтов определённой тематики.

Можно открыть Google, вводить запросы, копировать домены в таблицу и постепенно собирать базу.

А теперь представим, что нужно:

10 000 сайтов;

по 50 разным запросам;

из нескольких поисковых систем;

дополнительно получить заголовки, ссылки и часть данных со страниц.

Здесь ручной подход заканчивается.

Именно под такие задачи существует A-Parser.

Партнёрская ссылка:

В исходном продукте есть готовые модули для поисковых систем, карт, маркетплейсов, YouTube, Telegram и других источников, плюс возможность создавать собственные шаблоны на JavaScript.

Для меня главная ценность A-Parser — возможность превратить поиск информации в нормальный процесс.

Например:

список запросов → парсинг → фильтрация → готовая таблица

Вместо того чтобы собирать всё вручную.

Для SEO можно собирать:

Например, берём несколько тысяч ключевых запросов и смотрим, какие сайты чаще всего встречаются в выдаче.

Получается уже нормальная база для анализа конкурентов.

Мне ещё интереснее использование A-Parser для маркетинга.

Можно искать:

То есть вместо поиска отдельных контактов руками сначала собирается большая база, а потом уже фильтруется.

Для research-задач это экономит огромное количество времени.

Отдельный полезный сценарий — Google Maps и Яндекс Карты.

Например, нужно собрать компании одной категории в нескольких городах.

Вместо ручного копирования карточек можно получить структурированную базу:

название;

сайт;

телефон;

адрес;

рейтинг;

другие доступные данные.

Для B2B-исследований, локального SEO и анализа рынка это довольно удобная штука.

Я бы смотрел на него, если вы регулярно работаете с:

SEO;

большими базами;

конкурентным анализом;

маркетинговыми исследованиями;

e-commerce;

поиском площадок и партнёров.

Если задача — раз в месяц собрать 30 сайтов, проще сделать это руками.

перейти на сайт →

A-Parser хорош, когда задача в первую очередь связана с данными.

Но иногда нужно не просто получить информацию со страницы.

Нужно:

открыть сайт;

нажать кнопку;

заполнить поле;

дождаться ответа;

перейти дальше;

сохранить результат;

повторить это действие много раз.

Для таких процессов есть ZennoPoster.

Главная фишка ZennoPoster — визуальный конструктор.

Базовые автоматизации можно строить блоками, не начиная сразу писать полноценный код. При необходимости функциональность можно расширять HTTP-запросами, API и C#.

Допустим, каждое утро нужно:

открыть несколько страниц;

получить определённые показатели;

сохранить их;

проверить условие;

отправить результат дальше.

Руками это может занимать час.

В ZennoPoster можно собрать один сценарий:

открыть страницу → получить данные → обработать → сохранить

и поставить его на расписание.

ZennoPoster тоже умеет собирать данные.

Поддерживаются XPath, CSS-селекторы, регулярные выражения, JSON и другие способы обработки информации.

Но я бы разделял инструменты так:

A-Parser — когда центральная задача именно массовый сбор данных.

ZennoPoster — когда кроме получения данных нужно ещё взаимодействовать со страницей.

Например, проходить несколько этапов интерфейса.

Когда один сценарий уже стабильно работает, его можно запускать параллельно.

Это одна из причин, почему автоматизация вообще начинает давать большой эффект.

Один процесс может экономить несколько минут.

Десятки параллельных процессов — уже часы.

Главное здесь не пытаться сразу запускать огромную нагрузку.

Я предпочитаю сначала добиться стабильной работы одного сценария, а уже потом масштабировать.

перейти на сайт →

Третий инструмент — Zennodroid.

По логике он похож на ZennoPoster, но работает уже с Android-сценариями.

То есть автоматизируется не веб-страница, а мобильное приложение.

В исходном продукте сценарии могут включать клики, свайпы, ввод текста, переходы по интерфейсу, работу с данными и запуск на Android-окружении.

Некоторые процессы невозможно нормально воспроизвести только через сайт.

Например:

нужно протестировать мобильное приложение;

проверить конкретный пользовательский путь;

собрать информацию, которая отображается только внутри приложения;

регулярно повторять один набор действий.

Тогда появляется смысл автоматизировать уже мобильный интерфейс.

Наверное, самый понятный сценарий.

Есть приложение.

После каждого обновления нужно пройти:

авторизацию;

главный экран;

поиск;

карточку товара;

оформление действия;

несколько других ключевых разделов.

Руками тестировщик повторяет один и тот же маршрут снова и снова.

В автоматизированном варианте сценарий проходит его сам и фиксирует результат.

Аналогично можно автоматизировать внутренние рабочие приложения или другие повторяющиеся мобильные процессы.

Например:

открыть приложение;

перейти в раздел;

найти объект;

получить значение;

сохранить результат;

перейти к следующему.

По сути, это мобильный аналог RPA.

Zennodroid можно использовать в Android-окружении, а сам процесс строится вокруг повторяемых сценариев.

Но здесь уже надо учитывать инфраструктуру.

Несколько Android-окружений требуют заметно больше ресурсов, чем обычный браузер.

Поэтому я бы не начинал сразу с десятков параллельных процессов.

Лучше:

один сценарий;

одна среда;

нормальное логирование;

обработка ошибок;

после этого масштабирование.

Если задача — собирать данные, я бы начал с A-Parser.

Если хочется разобраться именно с автоматизацией браузера — ZennoPoster.

Если работа связана с Android — Zennodroid.

При этом не советую начинать с идеи:

Сейчас автоматизирую вообще всё.

Лучше взять одну задачу, которую вы уже хорошо понимаете руками.

Например:

Каждый день я два часа собираю одинаковые данные.

И попробовать автоматизировать только её.

Если получилось — переходить к следующей.

Из моего текущего набора эти три программы закрывают совершенно разные задачи.

A-Parser

Для сбора данных из поисковых систем, сайтов, карт, социальных платформ и других источников.

ZennoPoster

Для автоматизации браузерных процессов, парсинга и интеграции нескольких действий в один сценарий.

Zennodroid

Для автоматизации Android-приложений и мобильных сценариев.

Главный вывод для меня здесь простой:

автоматизировать стоит не всё подряд, а то, что приходится повторять слишком часто.

Если программа убирает несколько часов ручной работы в неделю — она уже выполняет свою задачу.