Мы уже говорили, что такое безумие? Безумие — это ручная аналитика более 300 филиалов на картах. Или как мы реализовали сбор всех рейтингов

К нам пришел запрос на формирование репутационной стратегии от крупной компании (сейчас мы работаем и не можем указать название и сферу его деятельности в рамках NDA).

Для начала работы было необходимо провести аналитику всех филиалов компании на трех картографических сервисах (все ли они есть на картах, какие отсутствуют, какой средний рейтинг и т.д.), а это более 300 карточек на Яндекс.Картах, 2Гис и Google Maps, т.е. суммарно более 900 штук!!!! И это нужно было сделать! Ведь именно эта первичная аналитика позволила бы нам собрать точную информацию для составления дальнейшего плана работ, и именно на основании полученных данных мы смогли бы корректно оценить стоимость проекта.

Казалось, что на такое количество карточек у нас уйдёт не одна неделя….. но на самом деле нам потребовалось всего несколько дней!

И по итогу получился информативный блок анализа геосервисов для репутационной стратегии.

О том, как был реализован сбор данных, к чему мы пришли и с чем столкнулись, читайте далее со слов старшего аналитика агентства репутационного маркетинга DAYNET Егора Хромова.

P.s. повествование от первого лица сохранено, чтобы вы смогли прочувствовать весь спектр эмоций наших гигантов аналитики🤴

Так получилось, что задача пришла в самый (не)подходящий момент. Ввиду того, что у нас параллельно ведутся работы по нескольким КП (коммерческим предложениям), было тяжело куда-то вставить аналитику 900+ карточек.

Наступил этап “Отрицания”. Этот сбор увеличивал загруз всего отдела аналитики на n-ное количество времени, другие задачи встали на паузу и, если бы нам дали в работу ещё и ручной сбор, то нас бы затянуло в болото рутины. Поэтому я взял эту задачу на себя и стал искать варианты инструментов, которые могли бы помочь нам в пару кликов собрать всю нужную информацию.

Поиск не увенчался успехом (press F), поскольку весь найденный софт был собран "на коленке". И наступил этап “Гнева”.

Несколько готовых решений я всё же откопал. Это был код 2020-2021 годов (читать – прошлого века), и из-за этого пришлось помотать головой в разные стороны, немного поплакать и покричать, чтобы успокоиться.

Появилась мысль о том, чтобы реализовать всё самому на актуальных библиотеках. Пришел “Торг”.

Необходимо было прикинуть, сколько времени понадобится на реализацию для каждого сервиса. Погрузившись в чертоги своего разума пришла мысль: “А что если собирать всё, что есть?”. Этого очень не хотелось, но было очень надо. С учётом того, что данные требовалось предоставить через неделю, я начал с малого и самого простого.

Как оказалось, самым простым были Яндекс.Карты, потому что там всё сделано для людей, в отличие от 2Гис и Google Maps. Мы конечно любим все карты, но не в таких масштабных работах.

Переходим к “Депрессии”.

Для определения точного количества существующих карточек на трех сервисах нужно было собрать адреса, названия, рейтинги, координаты и общую наполненность контактной информацией. То есть парсер не нарушал существующих законов о поиске и сбору общедоступной информации, только делал это за человека и в разы быстрее. Использовал я Python и популярнейшие библиотеки автоматизированного тестирования. Проблемы возникли при странном отображении карточек Яндекса при скроллинге, переходе на конкретный или закрытый филиал (когда он только один в определённой области). Пришлось прорабатывать несколько вариантов обработки данных и ловить исключения.

Самое интересное началось, когда я перешёл к 2Гис и Google Maps. Код сайта оказался не просто сложным для понимания, он запутанный…. Странные названия контейнеров, повторное использование для разных блоков и общая неразбериха — то, что меня веселило несколько часов! По итогу спасло то, что именно на 2Гис и Google Maps существовало немного карточек. Все они были разнообразные и сразу было понятно, какие варианты отображения могут быть. Код был написан, и я приступил к полноценному запуску. Следующим этапом стало “Принятие”.

Получилось 3 готовых модуля, несколько десятков готовых файлов, пару сотен строк кода и тысячи итоговых данных для анализа, которые можно крутить-вертеть как захочется. Для клиента построили информативные гистограммы и KDE распределение (примеры ниже), чтобы было понимание в том, как и где нужно поработать.

Ну а самое главное — это готовый инструмент сбора данных для проведения различных исследований, в том числе и исследования рейтингов по работодателю, которое скоро выйдет. Идейки есть!

Вот с такими трудностями сталкиваются наши коллеги из отдела аналитики. Сталкиваются, но пробиваются к поставленной цели, оптимизируя и ресурсные затраты, и временные.

Понравилось читать о "внутренней кухне" нашего агентства? Ставьте реакции, а мы обещаем писать больше статей от лица наших специалистов.