{"id":13469,"url":"\/distributions\/13469\/click?bit=1&hash=dcec5b6e3b31a287caee6d7b8c40fce348ae8105cc77ec73f81e9a3fa844790a","title":"\u041a\u043e\u043d\u043a\u0443\u0440\u0441 \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 \u0442\u043e\u0440\u0433\u043e\u0432\u044b\u0445 \u0440\u043e\u0431\u043e\u0442\u043e\u0432","buttonText":"","imageUuid":"","isPaidAndBannersEnabled":false}
ArrowMedia

Стелим себе соломку, или как подготовиться к возможным ограничениям по работе с зарубежными аналитическими сервисами

Взят ли курс на полное импортозамещение в аналитике пока сказать сложно. Мы, конечно, чувствуем, как нас немного подтолкнул на этот путь ряд уже вступивших в силу ограничений от зарубежных сервисов. И подготовили для себя сценарий альтернативных вариантов решения текущих задач, которым и спешим поделиться с вами. Речь пойдёт о типовых отчётах в Яндекс.Метрике, а также о двух схемах работы, действующей и новой, по сборке и визуализации сквозной аналитики через системы Google Analytics, Yandex Clickhouse, Google BigQuery, Yandex Datalens, Google DataStudio, Microsoft PowerBI.

Блок 1. Веб-аналитика

Исторически так сложилось, что мы всегда устанавливали и настраивали Яндекс.Метрику и Google Analytics для проектов, с которыми работаем по долгу службы. Пиксели соцсетей — мы, конечно, также берём в расчёт, однако это отдельный класс сервисов и здесь мы в него не углубляемся. Аналогично и с электронной торговлей: настроив её единожды, мы пользуемся новыми отчётами по товарам и продажам в обоих системах. В целом далее опустим нюансы и их различия, а также наличие или отсутствие каких-либо уникальных отчётов в каждой из них.

Долгое время среди всех вариантов сбора данных из рекламных источников мы предпочитали Google Analytics. Поскольку в нём доступны Measurement Protocol и возможность загружать данные в систему, в том числе по расходам из рекламных кабинетов, которые мы подключаем благодаря нашим партнёрам из OWOX BI и их инструменту Pipeline.

Недавно мы делились своим опытом о том, как собрать в Яндекс.Метрике отчёты «Источники, расходы и ROI» и «Источники заказов», которые могут стать особенно актуальными в связи с предстоящими ограничениями в работе иностранных сервисов. Статью можно найти здесь. Получается, что для бесперебойной работы основных отчётов, необходимых для специалистов по рекламе, по источнику / каналу / кампании / ключевому запросу / расходу / ДРР достаточно Яндекс.Метрики. Чувство веры в импортозамещении окрепло, выдыхаем и идём дальше.

Блок 2. Сквозная аналитика: сбор сырых данных, обработка и визуализация

Текущая схема подготовки отчётов на базе Power BI

Но что делать, когда могущества Метрики иногда не хватает? Например, если необходим типичный отчёт по нескольким аккаунтам с определённым набором целевых действий (звонки, заявки, callback и тд). Для его сборки требуется информация из разных сервисов и аккаунтов, которые следует объединить в одном дашборде.

Ранее для решения подобных задач мы применяли схему с использованием Microsoft PowerBI, Сервиса K50 и Google BigQuery. Она была проста и состояла из 4-х шагов:

  • добавляем в K50:BI сведения из нужных аккаунтов (коннекторы есть в K50:BI);
  • объединяем внутри K50:BI схожие данные в одну таблицу;
  • настраиваем экспорт таблиц из K50:BI в Google Big Query;
  • подключаемся к Google Big Query и переносим всё в Power BI.

Почему мы не подключаемся напрямую в K50:BI, зачем нужно звено в виде базы? Дело в том, что API K50:BI не справляется с большим объёмом данных. Если речь идёт про крупного клиента, для оперативного обновления гораздо удобнее получать данные из базы. Они всегда под рукой, и обновление происходит гораздо быстрее.

Преобразование данных, например, фильтрацию или группировку, можно производить в Power Query, а расчёт дополнительных мер — в DAX. В итоге дашборды будут именно в удобном для клиента виде. Один из примеров — отчёт «Сравнение периодов», где, выбрав 2 схожих периода, мы можем посмотреть изменения показателей по источникам или кампаниям.

Подготовка к замещению

На фоне ограничений платежных систем и зарубежных сервисов мы перешли на Yandex Clickhouse и PostgreSQL в связке с Yandex Datalens. Отметим, что отечественных BI-сервисов достаточно, какой использовать в работе вопрос лишь вкуса и доверия к продукту.

Ниже рабочий дашборд в Datalens, который собран на данных из Яндекс.Директ, выгруженных в PostgreSQL.

Сбор и обработка данных

Новая схема похожа на прежнюю, но из процесса исключены все иностранные сервисы, рискующие быть отключенными в будущем. Это касается как Google Big Query, так и Power BI. Обновлённые шаги выглядят так:

  • добавляем в PostgreSQL данные из нужных аккаунтов (используя свои коннекторы на python);
  • внутри базы PostgreSQL объединяем похожие данные с помощью SQL. Все предварительные преобразования данных также происходят внутри базы с помощью SQL;
  • подключаемся к PostgreSQL и забираем уже подготовленные данные из view в Yandex Datalens или Metabase.

Все преобразования, которые происходили в Power Query, теперь реализованы в SQL. Что касается DAX, все расчётные меры также придётся писать в SQL.

Если говорить про организацию работы скриптов на python, тут может быть полезен Apache Airflow. Если не задействовать K50, а работать только со своими скриптами, то Airflow может помочь управлять расписанием загрузки данных в базу и выполнять роль планировщика задач.

Если всё же говорить про использование K50:BI как одного из продуктов Яндекса, то можно организовать загрузку данных из него в PostgreSQL. Конечно, чем меньше звеньев в цепочке, тем лучше. Но K50:BI имеет ряд проверенных временем коннекторов, которые предоставляют довольно точные данные.

В качестве примера, мы собрали отчёт из нескольких источников по новой схеме:

Блок 3. Google Таблицы и Яндекс Документы

Ранее для решения стандартных задач с предоставлением счётчиков статистики или онлайн-таблиц, где собраны данные из рекламных кабинетов, мы использовали Google Sheets и встроенный в него Google Script. Теперь же проработали схему перехода на подходящий аналог, где данные собираются из рекламных кабинетов систем аналитики и сall-tracking при помощи api. Затем обрабатываются и группируются по заданным параметрам, в зависимости от потребностей бизнеса, и записываются в Google Sheets. Все собранные отчёты резервируются на Яндекс.Диске в формате .xls при помощи отдельного скрипта, который проверяет каждый час, были ли изменения в данных.

Есть два альтернативных варианта построения отчётности с использованием MS Excel и встроенного в него Power Query или VBA:

  • внутри Excel документа располагаем код с коннекторами к данным (рекламные кабинеты, системы аналитики, сall-tracking) и обработчик этих данных. После чего загружаем их на Яндекс.Диск для доступа online;
  • используя python, получаем данные статистики по api, обрабатываем и складываем в таблицы (.xls). После записываем информацию на Яндекс.Диск для доступа online, а обновление реализуем путём перезаписи материала в файле.

Второй вариант подойдёт на случай блокировки MS Office на территории РФ. Файлы в формате .xls открываются в OpenOffice.

Наша команда, как и раньше, устремлена только вперёд, но теперь с глобальными проработками дополнительных сценариев развития ситуации, вплоть до самых абсурдных. Будем держать вас в курсе последних изменений и возможных замещений в аналитике.

0
3 комментария
Александр Морин

Часто если клиент крупный, ему требуется максимальная кастомизация отчёта. К сожалению, российские сервисы (даже упомянутый Datalens от Яндекса) не всегда могут предоставить достаточный для этого функционал. Поэтому многие большие агентства выбирают Power BI, который даёт неограниченные возможности в обработке данных. Русского Power BI к сожалению не существует, но это можно компенсировать указанными в статье инструментами.

Помимо этого, важно помнить про защиту данных. Если Яндексу мы априори доверяем (так как там находится сама реклама и статистика метрики), то сторонним сервисам крупные клиенты доверяют не всегда. В этом еще одна причина держать свои отчёты.

Ответить
Развернуть ветку
Alexey Laptev

В сервисах сквозной аналитики выпущенных в РФ есть все готовые маркетинговые отчеты со всеми очистками данных и прочими вспомогательными действиями.

Какой смысл делать самодельные отчеты и потом мучаться с их поддержкой?

Ответить
Развернуть ветку
Александр Морин

Часто если клиент крупный, ему требуется максимальная кастомизация отчёта. К сожалению, российские сервисы (даже упомянутый Datalens от Яндекса) не всегда могут предоставить достаточный для этого функционал. Поэтому многие большие агентства выбирают Power BI, который даёт неограниченные возможности в обработке данных. Русского Power BI к сожалению не существует, но это можно компенсировать указанными в статье инструментами.

Помимо этого, важно помнить про защиту данных. Если Яндексу мы априори доверяем (так как там находится сама реклама и статистика метрики), то сторонним сервисам крупные клиенты доверяют не всегда. В этом еще одна причина держать свои отчёты.

Ответить
Развернуть ветку
Читать все 3 комментария
null