Как настроить понятную аналитику для маркетологов? Мы объединили ClickHouse и DataLens, сэкономив сотни человекочасов

Всем привет! На связи Виктория Качайкина — СРО букмекерской компании BetBoom. И сегодня простым языком расскажу о том, как мы закрыли сотни запросов маркетологов, сохранив время и нервы аналитиков.

Источники данных

BetBoom — большая компания, с более 600 сотрудников, которые регулярно проводят несколько маркетинговых акций одновременно. И чтобы понять эффективность рекламных кампаний, наши ребята постоянно анализируют огромное количество данных из разных источников и систем.

Мы используем несколько источников и систем хранения данных:

  • Базы данных (ClickHouse,MySql, PostgreSQL и т.д)
  • Системы для сбора и анализа данных web ресурсов (Google Analytics, Яндекс.Метрика)
  • Системы для сбора и анализа данных мобильных приложений (AppMetrica, Firebase)
  • Платформа для анализа рекламного трафика (AppsFlyer)
  • Онлайн- и оффлайн-таблицы (Google Sheets, Excel)

Работать со всеми продуктами сразу можно и нужно, но главное правильно настроить процесс взаимодействия с данными.

Как мы работали раньше?

Маркетолог придумал акцию, запустил, а потом пытается выяснить, сколько регистраций принесла эта акция. Он идет к аналитику, аналитик выгружает данные, отдает маркетологу. Маркетолог ушёл довольный.

А в чем сложности? Проблема в том, что на второй день маркетолог понимает, что необходимо узнать не только количество регистраций, но и сумму депозитов, и снова идет к аналитику. Аналитик вновь подготавливает документ, снова отдает маркетологу.

Так, а в чем опять проблема? В том, что все это трудозатратный процесс, требующий много человеческих ресурсов. А можно было бы автоматизировать процесс анализа данных.

И вот мы пришли к тому, что аналитик стал “выгружатором”, не заинтересован в работе, да и вообще в своей профессии.

Итог такого подхода: постоянная загруженность аналитика однотипными

запросами, которые приходится решать вручную.

“Надо что-то менять!” — подумали мы и пришли к тому, что нужно научить всех работать с данными.

Какие решения у нас были

Казалось бы самое стандартное решение — это написать что-то свое, что закрыло бы наши нужды, или обратиться уже к готовым существующим системам.

Недостатки самописных систем

  • Дорого (качественный продукт требует хороших разработчиков, а хорошие разработчики стоят дорого)
  • Долго (продукт не разрабатывается и не внедряется быстро)
  • Уступают готовым коммерческим продуктам

Недостатки готовых систем

  • Требуют интеграции, на которую необходимо выделять ресурсы
  • Без работы аналитика практически бесполезны
  • Нужна постоянная интеграция, т.к нет возможности изменять и добавлять данные

Из-за весомых недостатков мы отказались от обоих вариантов.

Приложим небольшую памятку о базовой информации для внедрения аналитики и пойдем дальше.

.А дальше мы синкнулись по желаемому результату и требованиям к системе. Если коротко, нам нужно все.

Доступ к данным необходим всем. А значит необходим сервис, воплощающий удобство, простоту и легкость в использовании с неограниченным сроком хранения данных.

И как мы решили эту задачу?

Мы объединили возможности ClickHouse и DataLens.

Все наши данные из разных источников мы сливаем в ClickHouse, который служит DWH-системой. В ClickHouse мы собираем витрину данных, для этого используем возможности выбранной базы данных.

DataLens достаточно гибкий и простой в настройке и поддержке инструмент, позволяющий подключить множество источников данных, настроить персональные уровни доступа, визуализировать данные и кастомизировать под требования каждого подразделения.

К чему нас привел такой подход?

  • Мы минимизировали затраты на системы (они обходятся нам всего в 2500 рублей в месяц)

  • Дали доступ к данным в простом и удобном интерфейсе

  • Получили удобный сервис, позволяющий получить все необходимое быстро и в режиме онлайн

Чем хотелось бы завершить эту статью?

Во-первых, благодарностью, что дочитали до конца. Спасибо!

Во-вторых, рекомендацией. Любой процесс требует профессионального подхода, недостаточно иметь доступ к данным и уметь пользоваться Python, нужно понимать в какой момент и откуда появляется информация. Только с таким подходом можно будет смело ориентироваться на данные и эффективно их использовать в своей работе.

На этом у нас все! Поделитесь в комментариях своим опытом интеграции систем аналитики.

0
30 комментариев
Написать комментарий...
Дмитрий Ходаков

Мне кажется, что у вас получилось очень крутое решение!
Мой опыт интеграции систем аналитики: Excel c помощью VBA использую как оболочку для доступа к данным. Например, данные хранятся где-то в MySql и их там куча таблиц с миллионами строк. Нет необходимости отдельно скачивать их и потом обрабатывать. Можно из VBA сформировать sql-запрос, отобрать только нужное, обработать на лету по требуемой логике, отформатировать и красиво вывести в отчете Excel (или разбить по страницам, или по отдельным файлам, или сгенерировать файлы вообще другого формата).
Спектр возможностей достаточно широкий, но о них далеко не все знают. Можно обрабатывать данные хранящиеся в разных источниках (Excel, txt, csv, html, xml, Access, MySql и т.п, плюс запросы к web сайтам и работа по api). Наверняка я не все перечислил. Все зависит от задачи и конечного результата.
Собираюсь написать развернутую статью на эту тему. Хочу сделать несколько примеров автоматизации (пусть даже небольших) для реальных компаний с vc, с честной обратной связью и полученным эффектом. Кому интересно поучаствовать - дайте знать.

Ответить
Развернуть ветку
К М

жду! пишите

Ответить
Развернуть ветку
Vladislav

Тоже не понимаете смысл картинки на привьюхе? 🤔

Ответить
Развернуть ветку
К М

понимаю. "Щасливая маркетологиня"

Ответить
Развернуть ветку
BetBoom
Автор

Нет, просо это наш красивый директор по продукту Вика :)

Ответить
Развернуть ветку
Константин Могилевкин

Хорошее решение! Спасибо за статью
А как вы следите за качеством хранимых данных и их актуальностью?

Ответить
Развернуть ветку
BetBoom
Автор

Пока готового автоматического функционала нет, мы вручную проверяем целостность и актуальность данных, но мы уже работаем на автоматизацией этого процесса, как только сделаем, обязательно напишем кейс! ;)

Ответить
Развернуть ветку
Константин Могилевкин

Обращайтесь к нам, мы поможем бесплатно)

Ответить
Развернуть ветку
Vitaliy Ivanov

А вы чем занимаетесь? Далеко от СПб?)

Ответить
Развернуть ветку
Константин Могилевкин

Мы занимаемся Data Management решениями, в Казани, около 1600 км от СПБ)

Ответить
Развернуть ветку
Vitaliy Ivanov

Интересное направление, получается, вы помогаете правильно работать с данными?) Хотелось бы в Казань доехать, все жизненные ситуации уводят))) а команда большая уже?

Ответить
Развернуть ветку
Константин Могилевкин

satorilab.ru, ждем вас в гости)

Ответить
Развернуть ветку
Vitaliy Ivanov

Кстати домен поменялся, когда на сайт залетел, это фича такая?))

Ответить
Развернуть ветку
Константин Могилевкин

Естественно, готовимся к полноценному сайту)

Ответить
Развернуть ветку
Vitaliy Ivanov

А проджектов в команду не ищите случайно?))

Ответить
Развернуть ветку
Константин Могилевкин

Ради Вас готовы открыть набор, пишите в личку)

Ответить
Развернуть ветку
BetBoom
Автор

Круто, что помогаем найти нужны людей своими публикациями! :)

Ответить
Развернуть ветку
Александр Львов

А сколько ресурсов потратили на настройку всех систем и сколько уходит на их поддержание?

Ответить
Развернуть ветку
BetBoom
Автор

Привет! Спасибо за вопрос, на самом деле поддержка особая не нужна. Вообще все зависит от вашей архитектуры, чтобы делать классные реалтайм дашборды, самое главное и ресурсоемкое – это настроить отправку событий в кликхаус.

У нас по архитектуре межсервисное общение и так было по ивентам, дополнительно писать в кликхаус не составило труда.
Просто потом нам достаточно было одного специалиста который дружит с sql, а на поддержке и выводе новых данных у нас все тот же специалист.

Ответить
Развернуть ветку
Vitaliy Ivanov

В целом получается, можно хоть проджектом быть, если умеешь Эксель, power bi, tableau, sql это уже будет резюме круче, чем даже аналитик Джун?)

Ответить
Развернуть ветку
Валентин Потапов

Можно кратенько, чем лучше сводных таблиц в экселе ?

Ответить
Развернуть ветку
Ivan Kizimenko

Кратенько: Быстрее работает =)

Ответить
Развернуть ветку
Валентин Потапов

Бэк там вроде 1, эксел в ОП памяти шустр. О какой скорости вы пишете ?

Ответить
Развернуть ветку
Vitaliy Ivanov

Интересно тоже понаблюдать над дискуссией)) интересно, чем Иван парирует)))

Ответить
Развернуть ветку
Ivan Kizimenko

Логично, что будет зависеть от того как это дело приготовить.

Но какой эксель, когда можно открыть дэшборд на планшете/телефоне или на ноутбуке рядового менеджера где и так оперативки не хватает из-за 10 вкладок хрома.

Ответить
Развернуть ветку
Валентин Потапов

Не пробовал сам, но подозреваю, что сводную эксела выставить в веб 3 кликами можно. Готовят лучше на том что знают, что более известно в этом классе чем Эксел даже и придумать сложно.

Ответить
Развернуть ветку
Ivan Kizimenko

Для создания дэшбордов, по моему куча всего, что популярнее экселя.
Ну и если говорить про сводные, то это уже не задача DataLens, все будет на стороне инженеров, которые готовят витрины и в таком раскладе Экселю останется только функция визуализации, с чем прекрасно справляется DataLens.

Помимо того, чтобы выставить в веб эксельку надо еще и о доступах подумать.

В итоге все опять же сводится к тому, что уже есть в компании, что они умеют готовить и какие есть ограничения.

ИМХО Если до этого как то не особо работали с данными, то приходить и настраивать все через эксель не самый оптимальный вариант.

Ответить
Развернуть ветку
Валентин Потапов

Понятно, выбор архитектурных комитетов. Сравнимые инструменты. Быстрее не получится при наличии сноровки и готовой оснастки

Ответить
Развернуть ветку
Ivan Kizimenko

"Недостатки готовых систем:
- Требуют интеграции, на которую необходимо выделять ресурсы"

Готовые систему как раз часто имеют интеграции со всеми популярными сервисами и это их +, а в вашем решении как раз и пришлось заинтегрировать все, слить в CH и следить, чтоб интеграции были актуальны.
Сам процесс ETL/ELT в статье слабо отражен, хотя по сути это 80% всей работы.

Для себя кстати мы выбрали связку CH+Superset,
DataLens тестил, не все получилось реализовать

Ответить
Развернуть ветку
Рома Ткачев

Практика показывает, что все подобные решения красиво выглядят, когда смотришь на них издалека. Когда начинается углубление в нюансы, сразу проявляются моменты типа «ну вот этого у нас пока нет», «вот тут ограничения не с нашей стороны вообще» и т.д.

а маркетологам именно такие нюансы зачастую и нужны. Я постоянно работаю с такими запросами и далеко не все из них можно решить с помощью даже самой продвинутой системы

Ответить
Развернуть ветку
27 комментариев
Раскрывать всегда