Автоматизация загрузки данных в Google Analytics, Google Big Query, Яндекс Метрику и Facebook

Всем привет! Я Лаптев Алексей, основатель и главный разработчик сервиса сквозной аналитики и коллтрекинга Utmstat, а также Telegram-канала про сквозную аналитику. Сегодня расскажу про возможности автоматизации загрузки данных в Google Analytics, Google Big Query, Яндекс Метрику и Facebook.

Зачем это вообще надо

Обучение рекламных кампаний

С развитием машинного обучения, рекламные кампании в Яндекс Директ, Google Ads и Facebook начали показывать рекламу не только по простым таргетингам - ключевое слово, гео, пол, возраст, интерес.

Но и пытаются искать вашу аудиторию похожую на ту, что уже сделали у вас покупки. То есть вы говорите им client id клиентов, совершивших покупки и рекламная площадка пытается найти похожих клиентов, кто с наибольшей вероятностью у вас купит.

Чтобы это работало, рекламной площадке нужно загрузить десятки, а лучше сотни таких client id и открутить минимум несколько десятков тысяч рублей бюджета. Тогда внутренний ИИ обучится и выдаст нужную аудиторию.

Загрузка данных осуществляется через загрузку конверсий по api или js-события, где и передается этот client id.

Загрузка конверсий производится в Google Analytics, Яндекс Метрику и Facebook.

Построение сквозной аналитики

Актуально для тех, кто строит аналитику на базе Google Analytics, Google Big Query, Google Data Studio и Power BI.

Схема примерно такая:

Задача: загрузить заявки, продажи, расходы, трафик в Google Analytics и Google Big Query для построения дальнейших дашбордов.

Проблемы на рынке

Низкая точность данных

И непонимание что туда вообще загрузилось.

Проверить очень легко, задайте себе или вашему подрядчику вопросы:

  1. Какой % продаж загрузилось в Google Analytics, Яндекс Метрику и Facebook
  2. Какой % не загрузилось в Google Analytics, Яндекс Метрику и Facebook
  3. Попросите показать конверсию в Google Analytics, Яндекс Метрику и Facebook по конкретной сделки из CRM.

Уверен, большая часть ответит: "Не знаю o_O".

Низкая техническая квалификация

Настройкой целей, загрузкой данных, обычно занимаются те, кто настраивает рекламу или аналитики. Техническая экспертиза у них обычно низкая и вряд ли они знают нюансы, о которых знает профессиональный разработчик:

  1. Первый шаг в стабильной работе - продуманная архитектура данных, а не цели уровня "Посмотрел 5 минут", "Нажал кнопку внизу 2".
  2. Конверсия по цели может срабатывать ложно из-за непонимания механики работы или не срабатывать вообще.
  3. При загрузке данных по API - нужно их связывать со сделкой в CRM, чтобы можно было понять что реально загрузилось. А это уже не самая простая задача.
  4. Весь код надо тестировать и покрывать логами. Разместить js код на сайте и думать что он будет стабильно работать - очень наивно.
  5. Сервисы периодически отваливаются, например забрали права - это все нужно вовремя решать.

Как следствие, аналитика ведется по весьма примерным данным и лично слышал от какого-то аналитика, что и по 30% ему нормально анализируется :)

Если вас такая точность не устраивает - читаем дальше.

Решение

Чтобы загрузка данных была точной, стабильной и прозрачной, нужно выполнить следующие условия:

  1. Заранее спроектировать весь диапазон передаваемых событий, а не придумывать на ходу.
  2. Каждую конверсию передаваемую во внешний сервис нужно привязывать к конкретной сделке из CRM, чтобы потом можно было найти по id.
  3. Нужно логгировать все отправленные конверсии, чтобы можно было легко понять что ушло, что не ушло и почему.

Только в этом случае вы получите управляемый процесс загрузки данных во внешний сервис и как следствие точные данные для обучения рекламных кампаний и построения сквозной аналитики.

Примеры логов

Facebook

Не загружается конверсия. Знаем о проблеме с точностью до сделки, что-то справами.

Или наоборот все загружается. Информация по каждой сделке.

Google Analytics - Расходы

Понятно когда и куда загрузились расходы.

Google Analytics 3

Пример отправки event на заявку и transaction на продажу. Если в Google Analytics вдруг "нет" данных, всегда можно посмотреть что, когда и куда ушло.

Google Analytics 4

Отправка события на каждую новую заявку.

Google Big Query

Подробный лог сколько данных в какие таблицы загрузилось.

Яндекс Метрика

Видно статус загрузки звонков, оффлайн-конверсий.

Принципы загрузки данных

Общая схема

Так работает в UTMSTAT.

Загрузка данных в Google Analytics 3

В Google Analytics 3 есть 2 сущности - событие (event) и транзакция (transaction) в электронной торговле.

В event загружается факт новой заявки, в transaction факт продажи, попутно передавая id заявки в доп параметры.

Название событий заранее продуманы, в итоге имеем полный порядок в данных.

Загрузка данных в Google Analytics 4

Тут уже проще.

Создали событие UTMSTAT_LEAD и факт по каждой новой заявке закидываем туда.

Загрузка данных в Google Big Query

Создали копии некоторых внутренних таблиц из ClickHouse в Big Query и транслируем данные в них. Подробнее здесь.

Загрузка данных в Facebook

У Facebook есть 2 стандартных события - Lead и Purchase.

Передаем по API, в интерфейсе Facebook видна история и можно понять по какой конкретно заявке пришло событие.

Загрузка данных в Яндекс Метрику

Создаем цель Звонок для звонков и ретаргетинговую цель UTMSTAT_LEADS для всех типов заявок.

Итого

Загрузка данных во внешние сервисы не самый простой и надежных процесс, но имея подробную информацию о статусе всех загруженных данных, можно уже понимать какая точность этих данных и вовремя реагировать на проблемы.

Если для вас в приоритете точность данных, а не экономия незначительных денег ценой траты месяцев времени, рекомендую отдать решение данной задачи профессиональным инструментам.

0
7 комментариев
Написать комментарий...
Vyacheslav Teplyakov

Это все понятно и лежит наверху. Самый тёмный и не освещенный лес, про который написано или админами для админов или вообще ничего, это работа с big guery. Как там делать эту базу, как вести её, как подключать и сводить данные. Об этом очень мало информации. Я в итоге собираю все в power bi и там работаю с моделью, но это не то чего хочется.

Ответить
Развернуть ветку
Alexey Laptev
Автор

Все что хотите сводить в BigQuery уже реализовано в UTMSTAT и прочих аналогичных сервисах в сильно лучшем виде, чем вы это сможете сделать сами.

Никаких прорывных инсайтов вы там не найдете. Основная мотивация работы в PowerBI, Google Data Studio и GBQ - это  бесплатность и потому что модно!

3000 в мес - дорого, 300 часов своего времени на костыли почему-то  нет.

BigQuery и прочие усложнения актуальны для крупных клиентов с бюджетами в несколько млн рублей. Там действительно специфичные задачи и не всегда коробочное решение подходит.

Ну и для таких клиентов не составляет труда прочитать документацию по GBQ - там не сложно, было бы желание и потребность.

А для малобюджетных клиентов лучше коробочные решения - гарантия экспертизы по техническим работам и разумные деньги.

Ответить
Развернуть ветку
Alexey Laptev
Автор

По поводу GBQ - UTMSTAT создает там нужные таблицы и заливает данные. Вам проектировать это не надо и уже -1 сложная проблема.

Ответить
Развернуть ветку
Vyacheslav Teplyakov

Вот вы бы рассказали как оно работает в вашей цепочке и вопроса у меня бы не было. Покрвыряюсь, посмотрю, спасибо!

Ответить
Развернуть ветку
Alexey Laptev
Автор

В статье рассказано:

"Создали копии некоторых внутренних таблиц из ClickHouse в Big Query и транслируем данные в них. Подробнее здесь."

Подробнее здесь.

Здесь это здесь - https://hello.utmstat.com/google-big-query

Вам рассказывают, вы не читаете.

Ответить
Развернуть ветку
EveryStraus _

Резюмируя, автоматизация завязана на использовании вашего сервиса? ☺

Ответить
Развернуть ветку
Alexey Laptev
Автор

Всегда можно написать свою, принципы объяснены, вопрос лишь в экономической целесообразности.

Ответить
Развернуть ветку
4 комментария
Раскрывать всегда