Выгрузка сырых данных Яндекс.Метрики в PostgreSQL
Эта статья является продолжением цикла статей про то как своими руками организовать выгрузку сырых данных сервиса Яндекс Метрика в базу PostgreSQL.
Вот полный список:
Шаг 2 - Выгрузка сырых данных Яндекс.Метрики в PostgreSQL (Текущая статья)
А так же напомню, если у вас возникли задачи в области аналитики, компания Бизнес-Метрика готова предложить свою экспертную помощь.
Поскольку мы стабильная компания, наши контакты остались прежними: ссылка на Telegram-канал, ссылка на сайт.
Почему Veeneo и что это такое?
Veeneo - это облачный сервис, который предоставляет следующие интеграции:
- С рекламными кабинетами (Яндекс.Директ, Вконтакте, myTarget, AdvCake, Admitad).
- С сервисами хранения данных (База данных BigQuery, База данных PostgreSQL, Google Таблицы).
- С сервисами аналитики (Google Analytics 4).
- С омниканальными платформами (UseDesk).
- С сервисами коллтрекинга (Calltouch).
Данный набор интеграций позволяет собрать Custom веб/маркетинговую аналитику в базах Google BigQuery/PostgreSQL:
- Для исследований данных без ограничений.
- Для нужд BI-аналитики.
- Для развития Data Science проектов.
- Для построения Custom сквозной аналитики.
Одной из ключевых особенностей этого сервиса является возможность интеграции без программирования, что делает его доступным для всех пользователей, независимо от их технических навыков.
Благодаря разработанному в рамках сервиса подходу no code, процесс интеграции и использования решений становится максимально простым и интуитивно понятным.
Для начала интеграции необходимо пройти регистрацию на сайте veeneo.ru.
Это довольно стандартная процедура (регистрация, подтверждение через почту), поэтому подробно на ней здесь не буду останавливаться.
После регистрации войдите в свой аккаунт:
Пока активных проектов у вас нет, поэтому кликаем на кнопку “Добавить проект”.
Открывается окно создания (добавления) проекта:
В этом окне есть инструкция, которая объясняет, что понимается под проектом и какие есть особенности в его настройках.
Придумайте название проекту и можно приступать к добавлению приемников данных для проекта. Для этого кликните на нужный чекбокс - PostgreSQL и система выдаст следующие поля для заполнения:
Важно! В данном цикле статей рассматривается именно интеграция с базой данных PostgreSQL. Для интеграции с Google BigQuery, переходите в наш раздел документации и идите по шагам.
У вас должны быть данные
host, port, database, user, password
Введя эти данные Veeneo самостоятельно после запуска создаст вам нужные таблицы в базе данных.
А если вы уже прошли самостоятельно путь создания базы данных, с помощью статьи “Создание базы данных PostgreSQL для данных сервиса Яндекс Метрика”, используйте данные с шага 2.3.1. той статьи
Если обслуживанием баз данных занимается программист или системный администратор, то эти данные нужно получить у него.
После проверки корректности ввода нажмите “добавить проект”.
Всплывает окно, что проект «…» успешно добавлен.
Кликните на кнопку добавить связку.
Открывается окно и выбираем Yandex Metrica:
ID счетчика вы можете найти в аккаунте сервиса Яндекс Метрика в списке счетчиков (https://metrika.yandex.ru/list).
Для копирования токена перейдите по ссылке получить токен.
Выберете нужные чекбоксы:
- “Импорт визитов” - это выгрузка только визитов из сервиса Яндекс Метрика. Что такое визиты можно узнать здесь.
- “Импорт просмотров” это выгрузка только хитов (просмотров страниц и целей) из Яндекс Метрики. Что такое хиты можно почитать в этой статье.
Рекомендуем включить оба и так вы получите максимум информации.
Нажмите статус связки : ВКЛЮЧЕНО.
PostgreSQL импорт ВКЛЮЧЕНО.
Нажмите добавить.
Далее:
если вы увидите окно успешного добавления, значит все сделано правильно, если нет - либо вернитесь на этап редактирования, либо нажмите “Вернуться на страницу связки” и повторите свои действия.
После того, как связка добавлена, вернитесь на экран связки и убедитесь, что она готова. И что на главном экране связок и проектов включены флажки активности.
Если вы правильно настроили данные рабочей базы данных и данные сервиса Яндекс Метрика, то на следующий день в вашей базе начнут появляться исходные данные счетчика сайта, который вы подключили в сервисе Яндекс Метрика.
Подключаем DBeaver для проверки данных
Допустим, у вас все хорошо, и данные загружены. Подключитесь к базе данных через какой-нибудь SQL клиент, я предлагаю использовать DBeaver или PGadmin. Про дальнейшие шаги расскажу на примере бесплатной версии DBeaver, которую можно скачать здесь: https://dbeaver.io/download/
Когда вы скачаете и установите дистрибутив, то подключить базу данных к DBeaver можно так:
Откройте основное меню и выберите «База данных», а в нем - новое подключение, далее PostgreSQL.
Введите данные базы
db_name : имя базы данных
db_user : пользователь
db_pass : пароль
db_port : 5432
Host : адрес сервера
После того, как нашли необходимую информацию, нажмите на слоника и заведите данные в открывшуюся форму (см. ниже)
Далее нажмите на кнопку внизу слева - «Тест соединения…».
Если все верно с настройками и данными подключения, то вы увидите что, соединение установлено. Нажмите «ОК».
Вернитесь в окно «Настройки соединения» и нажмите «Готово».
DBeaver соединен с вашей базой данных и она присутствует в окне доступных баз данных. Зеленая галочка говорит, что база данных готова к работе.
Теперь можно писать SQL-запросы.
Чтобы посмотреть на таблицу и ее данные кликаем дважды на название таблицы.
Откроется вкладка с таблицей
На этой вкладке можно скопировать название таблицы для написания запросов, посмотреть какой тип данных имеет тот или иной показатель и параметр и так далее.
Чтобы начать писать код нажимаем на вкладку SQL.
После этого откроется окно в котором можно писать sql запросы.
Например, следующий SQL-запрос позволяет посмотреть сколько записей загружено в таблицы и оценить объем первой ночной загрузки данных:
В примере ниже:
- таблица хитов содержит 33 записи и весит 224 Кб, т.е. ~7Кб на 1 запись
- таблица визитов содержит 334 записи и весит 80 Кб, т.е. ~0.2Кб на 1 запись.
Теперь все готово к работе по изучению поведения посетителей сайта на основе данных, которые собирают счётчики вашего сайта в сервисе Яндекс Метрика, а оттуда поступают в вашу базу данных.
Напомню, что данный цикл статей описывает этапы интеграции сырых данных Яндекс.Метрики и PostgreSQL:
Переходите к следующей статье.
-----
Наш сайт Услуги аналитики данных
Телеграм-канал (Канал про настройку и применение аналитики данных в бизнесе. Web/Mobile аналитика. Трекеры, DWH, ETL, BI)
Всем экспоненциального роста!