Кейс: как с помощью no-code загружать данные в ClickHouse для создания своего DWH на примере расходов из Яндекс Директ
Всем привет! Я Лаптев Алексей, основатель и главный разработчик сервиса no-code интеграций apimonster.
Задача
Текущие сервисы аналитики не подходят и хочется сделать свой, загрузив необходимые данные в Clickhouse и реализовав нужные дашборды в каком нибуть PowerBi/Datalens.
Дисклеймер
Пример сделан на базе Яндекс Директ, но по аналогичной схеме можно загружать данные из любого сервиса, поддерживаемого в ApiMonster.
На чем делать свой DWH?
Если вы решили самостоятельно анализировать сырые данные и построить свой DWH, то в качестве хранилища рекомендую Clickhouse или в крайнем случае Google Sheets (если данных немного).
В качестве сервиса где развернуть Clickhouse — Yandex Cloud.
Данные решения позволят сделать свой DWH с минимальными трудозатратами без проблем с различными коннекторами.
Решение
Шаг 1. Подключаем подключаем сервис, откуда будем брать данные
В нашем случае это яндекс директ.
Убеждаемся что данные начинают поступать в виде вебхуков.
Шаг 2. Подключаем Clickhouse
Пример настроек
Шаг 3. Настраиваем связку
Связка
Настройка значений полей для кликхауса. Поля из таблицы подтягиваются автоматически.
Результат
В кликхаусе расходы из директа
Почему задачу лучше решать через no-code
Довольно очевидно — стабильно ловить вебхуки и корректно заливать данные в Clickhouse — относительно сложная задача, требующая серьезной разработки и знания некоторых нюансов.
Если вы не готовы потратить месяц на разработку и далее постоянно поддерживать работоспосбоность решения — проще и дешевле отдать задачу в ApiMonster.
Есть настройка под ключ.