Автоматизация загрузки данных в Google Analytics, Google Big Query, Яндекс Метрику и Facebook
Всем привет! Я Лаптев Алексей, основатель и главный разработчик сервиса сквозной аналитики и коллтрекинга Utmstat, а также Telegram-канала про сквозную аналитику. Сегодня расскажу про возможности автоматизации загрузки данных в Google Analytics, Google Big Query, Яндекс Метрику и Facebook.
Зачем это вообще надо
Обучение рекламных кампаний
С развитием машинного обучения, рекламные кампании в Яндекс Директ, Google Ads и Facebook начали показывать рекламу не только по простым таргетингам - ключевое слово, гео, пол, возраст, интерес.
Но и пытаются искать вашу аудиторию похожую на ту, что уже сделали у вас покупки. То есть вы говорите им client id клиентов, совершивших покупки и рекламная площадка пытается найти похожих клиентов, кто с наибольшей вероятностью у вас купит.
Чтобы это работало, рекламной площадке нужно загрузить десятки, а лучше сотни таких client id и открутить минимум несколько десятков тысяч рублей бюджета. Тогда внутренний ИИ обучится и выдаст нужную аудиторию.
Загрузка данных осуществляется через загрузку конверсий по api или js-события, где и передается этот client id.
Загрузка конверсий производится в Google Analytics, Яндекс Метрику и Facebook.
Построение сквозной аналитики
Актуально для тех, кто строит аналитику на базе Google Analytics, Google Big Query, Google Data Studio и Power BI.
Схема примерно такая:
Задача: загрузить заявки, продажи, расходы, трафик в Google Analytics и Google Big Query для построения дальнейших дашбордов.
Проблемы на рынке
Низкая точность данных
И непонимание что туда вообще загрузилось.
Проверить очень легко, задайте себе или вашему подрядчику вопросы:
- Какой % продаж загрузилось в Google Analytics, Яндекс Метрику и Facebook
- Какой % не загрузилось в Google Analytics, Яндекс Метрику и Facebook
- Попросите показать конверсию в Google Analytics, Яндекс Метрику и Facebook по конкретной сделки из CRM.
Уверен, большая часть ответит: "Не знаю o_O".
Низкая техническая квалификация
Настройкой целей, загрузкой данных, обычно занимаются те, кто настраивает рекламу или аналитики. Техническая экспертиза у них обычно низкая и вряд ли они знают нюансы, о которых знает профессиональный разработчик:
- Первый шаг в стабильной работе - продуманная архитектура данных, а не цели уровня "Посмотрел 5 минут", "Нажал кнопку внизу 2".
- Конверсия по цели может срабатывать ложно из-за непонимания механики работы или не срабатывать вообще.
- При загрузке данных по API - нужно их связывать со сделкой в CRM, чтобы можно было понять что реально загрузилось. А это уже не самая простая задача.
- Весь код надо тестировать и покрывать логами. Разместить js код на сайте и думать что он будет стабильно работать - очень наивно.
- Сервисы периодически отваливаются, например забрали права - это все нужно вовремя решать.
Как следствие, аналитика ведется по весьма примерным данным и лично слышал от какого-то аналитика, что и по 30% ему нормально анализируется :)
Если вас такая точность не устраивает - читаем дальше.
Решение
Чтобы загрузка данных была точной, стабильной и прозрачной, нужно выполнить следующие условия:
- Заранее спроектировать весь диапазон передаваемых событий, а не придумывать на ходу.
- Каждую конверсию передаваемую во внешний сервис нужно привязывать к конкретной сделке из CRM, чтобы потом можно было найти по id.
- Нужно логгировать все отправленные конверсии, чтобы можно было легко понять что ушло, что не ушло и почему.
Только в этом случае вы получите управляемый процесс загрузки данных во внешний сервис и как следствие точные данные для обучения рекламных кампаний и построения сквозной аналитики.
Примеры логов
Facebook
Не загружается конверсия. Знаем о проблеме с точностью до сделки, что-то справами.
Или наоборот все загружается. Информация по каждой сделке.
Google Analytics - Расходы
Понятно когда и куда загрузились расходы.
Google Analytics 3
Пример отправки event на заявку и transaction на продажу. Если в Google Analytics вдруг "нет" данных, всегда можно посмотреть что, когда и куда ушло.
Google Analytics 4
Отправка события на каждую новую заявку.
Google Big Query
Подробный лог сколько данных в какие таблицы загрузилось.
Яндекс Метрика
Видно статус загрузки звонков, оффлайн-конверсий.
Принципы загрузки данных
Общая схема
Так работает в UTMSTAT.
Загрузка данных в Google Analytics 3
В Google Analytics 3 есть 2 сущности - событие (event) и транзакция (transaction) в электронной торговле.
В event загружается факт новой заявки, в transaction факт продажи, попутно передавая id заявки в доп параметры.
Название событий заранее продуманы, в итоге имеем полный порядок в данных.
Загрузка данных в Google Analytics 4
Тут уже проще.
Создали событие UTMSTAT_LEAD и факт по каждой новой заявке закидываем туда.
Загрузка данных в Google Big Query
Создали копии некоторых внутренних таблиц из ClickHouse в Big Query и транслируем данные в них. Подробнее здесь.
Загрузка данных в Facebook
У Facebook есть 2 стандартных события - Lead и Purchase.
Передаем по API, в интерфейсе Facebook видна история и можно понять по какой конкретно заявке пришло событие.
Загрузка данных в Яндекс Метрику
Создаем цель Звонок для звонков и ретаргетинговую цель UTMSTAT_LEADS для всех типов заявок.
Итого
Загрузка данных во внешние сервисы не самый простой и надежных процесс, но имея подробную информацию о статусе всех загруженных данных, можно уже понимать какая точность этих данных и вовремя реагировать на проблемы.
Если для вас в приоритете точность данных, а не экономия незначительных денег ценой траты месяцев времени, рекомендую отдать решение данной задачи профессиональным инструментам.
Это все понятно и лежит наверху. Самый тёмный и не освещенный лес, про который написано или админами для админов или вообще ничего, это работа с big guery. Как там делать эту базу, как вести её, как подключать и сводить данные. Об этом очень мало информации. Я в итоге собираю все в power bi и там работаю с моделью, но это не то чего хочется.
Все что хотите сводить в BigQuery уже реализовано в UTMSTAT и прочих аналогичных сервисах в сильно лучшем виде, чем вы это сможете сделать сами.
Никаких прорывных инсайтов вы там не найдете. Основная мотивация работы в PowerBI, Google Data Studio и GBQ - это бесплатность и потому что модно!
3000 в мес - дорого, 300 часов своего времени на костыли почему-то нет.
BigQuery и прочие усложнения актуальны для крупных клиентов с бюджетами в несколько млн рублей. Там действительно специфичные задачи и не всегда коробочное решение подходит.
Ну и для таких клиентов не составляет труда прочитать документацию по GBQ - там не сложно, было бы желание и потребность.
А для малобюджетных клиентов лучше коробочные решения - гарантия экспертизы по техническим работам и разумные деньги.
По поводу GBQ - UTMSTAT создает там нужные таблицы и заливает данные. Вам проектировать это не надо и уже -1 сложная проблема.
Вот вы бы рассказали как оно работает в вашей цепочке и вопроса у меня бы не было. Покрвыряюсь, посмотрю, спасибо!
В статье рассказано:
"Создали копии некоторых внутренних таблиц из ClickHouse в Big Query и транслируем данные в них. Подробнее здесь."
Подробнее здесь.
Здесь это здесь - https://hello.utmstat.com/google-big-query
Вам рассказывают, вы не читаете.
Резюмируя, автоматизация завязана на использовании вашего сервиса? ☺
Всегда можно написать свою, принципы объяснены, вопрос лишь в экономической целесообразности.