Как настроить понятную аналитику для маркетологов? Мы объединили ClickHouse и DataLens, сэкономив сотни человекочасов
Всем привет! На связи Виктория Качайкина — СРО букмекерской компании BetBoom. И сегодня простым языком расскажу о том, как мы закрыли сотни запросов маркетологов, сохранив время и нервы аналитиков.
Источники данных
BetBoom — большая компания, с более 600 сотрудников, которые регулярно проводят несколько маркетинговых акций одновременно. И чтобы понять эффективность рекламных кампаний, наши ребята постоянно анализируют огромное количество данных из разных источников и систем.
Мы используем несколько источников и систем хранения данных:
- Базы данных (ClickHouse,MySql, PostgreSQL и т.д)
- Системы для сбора и анализа данных web ресурсов (Google Analytics, Яндекс.Метрика)
- Системы для сбора и анализа данных мобильных приложений (AppMetrica, Firebase)
- Платформа для анализа рекламного трафика (AppsFlyer)
- Онлайн- и оффлайн-таблицы (Google Sheets, Excel)
Работать со всеми продуктами сразу можно и нужно, но главное правильно настроить процесс взаимодействия с данными.
Как мы работали раньше?
Маркетолог придумал акцию, запустил, а потом пытается выяснить, сколько регистраций принесла эта акция. Он идет к аналитику, аналитик выгружает данные, отдает маркетологу. Маркетолог ушёл довольный.
А в чем сложности? Проблема в том, что на второй день маркетолог понимает, что необходимо узнать не только количество регистраций, но и сумму депозитов, и снова идет к аналитику. Аналитик вновь подготавливает документ, снова отдает маркетологу.
Так, а в чем опять проблема? В том, что все это трудозатратный процесс, требующий много человеческих ресурсов. А можно было бы автоматизировать процесс анализа данных.
Итог такого подхода: постоянная загруженность аналитика однотипными
запросами, которые приходится решать вручную.
“Надо что-то менять!” — подумали мы и пришли к тому, что нужно научить всех работать с данными.
Какие решения у нас были
Казалось бы самое стандартное решение — это написать что-то свое, что закрыло бы наши нужды, или обратиться уже к готовым существующим системам.
Недостатки самописных систем
- Дорого (качественный продукт требует хороших разработчиков, а хорошие разработчики стоят дорого)
- Долго (продукт не разрабатывается и не внедряется быстро)
- Уступают готовым коммерческим продуктам
Недостатки готовых систем
- Требуют интеграции, на которую необходимо выделять ресурсы
- Без работы аналитика практически бесполезны
- Нужна постоянная интеграция, т.к нет возможности изменять и добавлять данные
Из-за весомых недостатков мы отказались от обоих вариантов.
Приложим небольшую памятку о базовой информации для внедрения аналитики и пойдем дальше.
.А дальше мы синкнулись по желаемому результату и требованиям к системе. Если коротко, нам нужно все.
Доступ к данным необходим всем. А значит необходим сервис, воплощающий удобство, простоту и легкость в использовании с неограниченным сроком хранения данных.
И как мы решили эту задачу?
Мы объединили возможности ClickHouse и DataLens.
Все наши данные из разных источников мы сливаем в ClickHouse, который служит DWH-системой. В ClickHouse мы собираем витрину данных, для этого используем возможности выбранной базы данных.
DataLens достаточно гибкий и простой в настройке и поддержке инструмент, позволяющий подключить множество источников данных, настроить персональные уровни доступа, визуализировать данные и кастомизировать под требования каждого подразделения.
К чему нас привел такой подход?
Мы минимизировали затраты на системы (они обходятся нам всего в 2500 рублей в месяц)
Дали доступ к данным в простом и удобном интерфейсе
- Получили удобный сервис, позволяющий получить все необходимое быстро и в режиме онлайн
Чем хотелось бы завершить эту статью?
Во-первых, благодарностью, что дочитали до конца. Спасибо!
Во-вторых, рекомендацией. Любой процесс требует профессионального подхода, недостаточно иметь доступ к данным и уметь пользоваться Python, нужно понимать в какой момент и откуда появляется информация. Только с таким подходом можно будет смело ориентироваться на данные и эффективно их использовать в своей работе.
На этом у нас все! Поделитесь в комментариях своим опытом интеграции систем аналитики.
Мне кажется, что у вас получилось очень крутое решение!
Мой опыт интеграции систем аналитики: Excel c помощью VBA использую как оболочку для доступа к данным. Например, данные хранятся где-то в MySql и их там куча таблиц с миллионами строк. Нет необходимости отдельно скачивать их и потом обрабатывать. Можно из VBA сформировать sql-запрос, отобрать только нужное, обработать на лету по требуемой логике, отформатировать и красиво вывести в отчете Excel (или разбить по страницам, или по отдельным файлам, или сгенерировать файлы вообще другого формата).
Спектр возможностей достаточно широкий, но о них далеко не все знают. Можно обрабатывать данные хранящиеся в разных источниках (Excel, txt, csv, html, xml, Access, MySql и т.п, плюс запросы к web сайтам и работа по api). Наверняка я не все перечислил. Все зависит от задачи и конечного результата.
Собираюсь написать развернутую статью на эту тему. Хочу сделать несколько примеров автоматизации (пусть даже небольших) для реальных компаний с vc, с честной обратной связью и полученным эффектом. Кому интересно поучаствовать - дайте знать.
жду! пишите
Тоже не понимаете смысл картинки на привьюхе? 🤔
понимаю. "Щасливая маркетологиня"
Нет, просо это наш красивый директор по продукту Вика :)
Хорошее решение! Спасибо за статью
А как вы следите за качеством хранимых данных и их актуальностью?
Пока готового автоматического функционала нет, мы вручную проверяем целостность и актуальность данных, но мы уже работаем на автоматизацией этого процесса, как только сделаем, обязательно напишем кейс! ;)
Обращайтесь к нам, мы поможем бесплатно)
А вы чем занимаетесь? Далеко от СПб?)
Мы занимаемся Data Management решениями, в Казани, около 1600 км от СПБ)
Интересное направление, получается, вы помогаете правильно работать с данными?) Хотелось бы в Казань доехать, все жизненные ситуации уводят))) а команда большая уже?
satorilab.ru, ждем вас в гости)
Кстати домен поменялся, когда на сайт залетел, это фича такая?))
Естественно, готовимся к полноценному сайту)
А проджектов в команду не ищите случайно?))
Ради Вас готовы открыть набор, пишите в личку)
Круто, что помогаем найти нужны людей своими публикациями! :)
А сколько ресурсов потратили на настройку всех систем и сколько уходит на их поддержание?
Привет! Спасибо за вопрос, на самом деле поддержка особая не нужна. Вообще все зависит от вашей архитектуры, чтобы делать классные реалтайм дашборды, самое главное и ресурсоемкое – это настроить отправку событий в кликхаус.
У нас по архитектуре межсервисное общение и так было по ивентам, дополнительно писать в кликхаус не составило труда.
Просто потом нам достаточно было одного специалиста который дружит с sql, а на поддержке и выводе новых данных у нас все тот же специалист.
В целом получается, можно хоть проджектом быть, если умеешь Эксель, power bi, tableau, sql это уже будет резюме круче, чем даже аналитик Джун?)
Можно кратенько, чем лучше сводных таблиц в экселе ?
Кратенько: Быстрее работает =)
Бэк там вроде 1, эксел в ОП памяти шустр. О какой скорости вы пишете ?
Интересно тоже понаблюдать над дискуссией)) интересно, чем Иван парирует)))
Логично, что будет зависеть от того как это дело приготовить.
Но какой эксель, когда можно открыть дэшборд на планшете/телефоне или на ноутбуке рядового менеджера где и так оперативки не хватает из-за 10 вкладок хрома.
Не пробовал сам, но подозреваю, что сводную эксела выставить в веб 3 кликами можно. Готовят лучше на том что знают, что более известно в этом классе чем Эксел даже и придумать сложно.
Для создания дэшбордов, по моему куча всего, что популярнее экселя.
Ну и если говорить про сводные, то это уже не задача DataLens, все будет на стороне инженеров, которые готовят витрины и в таком раскладе Экселю останется только функция визуализации, с чем прекрасно справляется DataLens.
Помимо того, чтобы выставить в веб эксельку надо еще и о доступах подумать.
В итоге все опять же сводится к тому, что уже есть в компании, что они умеют готовить и какие есть ограничения.
ИМХО Если до этого как то не особо работали с данными, то приходить и настраивать все через эксель не самый оптимальный вариант.
Понятно, выбор архитектурных комитетов. Сравнимые инструменты. Быстрее не получится при наличии сноровки и готовой оснастки
"Недостатки готовых систем:
- Требуют интеграции, на которую необходимо выделять ресурсы"
Готовые систему как раз часто имеют интеграции со всеми популярными сервисами и это их +, а в вашем решении как раз и пришлось заинтегрировать все, слить в CH и следить, чтоб интеграции были актуальны.
Сам процесс ETL/ELT в статье слабо отражен, хотя по сути это 80% всей работы.
Для себя кстати мы выбрали связку CH+Superset,
DataLens тестил, не все получилось реализовать
Практика показывает, что все подобные решения красиво выглядят, когда смотришь на них издалека. Когда начинается углубление в нюансы, сразу проявляются моменты типа «ну вот этого у нас пока нет», «вот тут ограничения не с нашей стороны вообще» и т.д.
а маркетологам именно такие нюансы зачастую и нужны. Я постоянно работаю с такими запросами и далеко не все из них можно решить с помощью даже самой продвинутой системы