Кейс: как с помощью no-code загружать данные в ClickHouse для создания своего DWH на примере расходов из Яндекс Директ

Всем привет! Я Лаптев Алексей, основатель и главный разработчик сервиса no-code интеграций apimonster.

Кейс: как с помощью no-code загружать данные в ClickHouse для создания своего DWH на примере расходов из Яндекс Директ

Задача

Текущие сервисы аналитики не подходят и хочется сделать свой, загрузив необходимые данные в Clickhouse и реализовав нужные дашборды в каком нибуть PowerBi/Datalens.

Дисклеймер

Пример сделан на базе Яндекс Директ, но по аналогичной схеме можно загружать данные из любого сервиса, поддерживаемого в ApiMonster.

На чем делать свой DWH?

Если вы решили самостоятельно анализировать сырые данные и построить свой DWH, то в качестве хранилища рекомендую Clickhouse или в крайнем случае Google Sheets (если данных немного).

В качестве сервиса где развернуть Clickhouse — Yandex Cloud.

Данные решения позволят сделать свой DWH с минимальными трудозатратами без проблем с различными коннекторами.

Решение

Шаг 1. Подключаем подключаем сервис, откуда будем брать данные

В нашем случае это яндекс директ.

Кейс: как с помощью no-code загружать данные в ClickHouse для создания своего DWH на примере расходов из Яндекс Директ

Убеждаемся что данные начинают поступать в виде вебхуков.

Кейс: как с помощью no-code загружать данные в ClickHouse для создания своего DWH на примере расходов из Яндекс Директ

Шаг 2. Подключаем Clickhouse

Кейс: как с помощью no-code загружать данные в ClickHouse для создания своего DWH на примере расходов из Яндекс Директ

Пример настроек

Кейс: как с помощью no-code загружать данные в ClickHouse для создания своего DWH на примере расходов из Яндекс Директ

Шаг 3. Настраиваем связку

Связка

Кейс: как с помощью no-code загружать данные в ClickHouse для создания своего DWH на примере расходов из Яндекс Директ
Кейс: как с помощью no-code загружать данные в ClickHouse для создания своего DWH на примере расходов из Яндекс Директ

Настройка значений полей для кликхауса. Поля из таблицы подтягиваются автоматически.

Кейс: как с помощью no-code загружать данные в ClickHouse для создания своего DWH на примере расходов из Яндекс Директ

Результат

В кликхаусе расходы из директа

Кейс: как с помощью no-code загружать данные в ClickHouse для создания своего DWH на примере расходов из Яндекс Директ

Почему задачу лучше решать через no-code

Довольно очевидно — стабильно ловить вебхуки и корректно заливать данные в Clickhouse — относительно сложная задача, требующая серьезной разработки и знания некоторых нюансов.

Если вы не готовы потратить месяц на разработку и далее постоянно поддерживать работоспосбоность решения — проще и дешевле отдать задачу в ApiMonster.

Есть настройка под ключ.

1
Начать дискуссию