Кейс: как с помощью no-code загружать данные в ClickHouse для создания своего DWH на примере расходов из Яндекс Директ

Всем привет! Я Лаптев Алексей, основатель и главный разработчик сервиса no-code интеграций apimonster.

Текущие сервисы аналитики не подходят и хочется сделать свой, загрузив необходимые данные в Clickhouse и реализовав нужные дашборды в каком нибуть PowerBi/Datalens.

Пример сделан на базе Яндекс Директ, но по аналогичной схеме можно загружать данные из любого сервиса, поддерживаемого в ApiMonster.

Если вы решили самостоятельно анализировать сырые данные и построить свой DWH, то в качестве хранилища рекомендую Clickhouse или в крайнем случае Google Sheets (если данных немного).

В качестве сервиса где развернуть Clickhouse — Yandex Cloud.

Данные решения позволят сделать свой DWH с минимальными трудозатратами без проблем с различными коннекторами.

Шаг 1. Подключаем подключаем сервис, откуда будем брать данные

В нашем случае это яндекс директ.

Убеждаемся что данные начинают поступать в виде вебхуков.

Шаг 2. Подключаем Clickhouse

Пример настроек

Шаг 3. Настраиваем связку

Связка

Настройка значений полей для кликхауса. Поля из таблицы подтягиваются автоматически.

В кликхаусе расходы из директа

Довольно очевидно — стабильно ловить вебхуки и корректно заливать данные в Clickhouse — относительно сложная задача, требующая серьезной разработки и знания некоторых нюансов.

Если вы не готовы потратить месяц на разработку и далее постоянно поддерживать работоспосбоность решения — проще и дешевле отдать задачу в ApiMonster.

Есть настройка под ключ.