Эпическое кейс-приключение в мире BI: наш путь от Looker Studio к Yandex DataLens

Пройденный нами путь от Looker Studio до Yandex DataLens напоминает эпическое путешествие в онлайн-игре или греческой мифологии. Как герои легенд, мы встречались с вызовами, проходили между Сциллой и Харибдой. В конце концов одержали победу и решили увековечить приключение в этой статье.

BI системы помогают строить и визуализировать аналитические отчёты о состоянии компании из разных источников. Некоторые из них созданы специально для работы с маркетинговыми инструментами. Для своих клиентов мы используем BI-отчеты с 2018 года. Они позволяют детально отслеживать статистику, эффективность рекламных каналов, выявлять сильные и слабые стороны текущей стратегии и принимать грамотные решения для корректировок.

В начале пути для визуализации отчетности по контекстной рекламе мы использовали Looker Studio (в прошлом — Google Data Studio). Мы даже выпускали подробный материал о создании красивых отчетов в Google Data Studio и делились шаблоном отчета.

С ростом количества проектов и усложнением бизнес-задач старая система начала давать сбои. Некоторые отчеты подолгу грузились, а кастомные метрики требовали всё больше усилий. Мы поняли: настал момент для нового решения.

Переход на новую BI-систему — это всегда риск. Мы не знали, справимся ли с новой технологией, получим ли мы те же данные, которые умел показывать Looker. Однако что-то подсказывало: впереди нас ждет не просто инструмент, а настоящее открытие.

Итак, мы обратили внимание на Yandex DataLens. Эта система обещала поддержку более объемных данных, возможности визуализации и автоматизации аналитики. В какой-то момент мы поняли, что DataLens может стать нашим проводником в новой реальности. Он не просто BI-инструмент — он будто открывал нам карту с путеводными знаками, которых так не хватало.

Смелость — это не отсутствие страха, а решимость двигаться вперед, несмотря на него. Мы начали переход на Yandex DataLens. Настройка системы, импорт данных и интеграция с привычными процессами оказались настоящим вызовом. С первого взгляда всё казалось запутанным, каждый шаг требовал новых решений. Но мы знали: впереди нас ждет вознаграждение.

С самого начала стали явными отличия систем. В Yandex DataLens отсутствуют:

Решили закрывать задачу силами отдела контекстной рекламы. Мы завели БД в Яндекс облаке и начали собирать данные из рекламных кабинетов с помощью скрипта на Python. Обновление скриптом требовало много усилий: он часто сбоил и мог подвисать на больших объемах данных.

Было сложно копировать шаблон отчета, потому что использовался гугл документ для вывода комментариев. А это означает работу с разными источниками данных. Также предстояло регулярно обновлять данные из-за особенностей корректировки статистики Директом. Расхождение данных связано с продолжительным сроком подтягивания их Яндексом (это может занимать 21 день).

Мы столкнулись с трудностями, которые чуть было не заставили нас сдаться. Миграция данных из Looker, настройка фильтров и графиков — всё казалось сложнее, чем ожидали. Словно невидимый враг, старая система сопротивлялась нововведениям, а DataLens ещё не стал своим.

Итак, мы собрали первый шаблон отчета для клиентов с аналитикой. Его недостатком стало отсутствие возможности сравнивать данные из прошлых периодов. Другой сложностью выявилось клонирование шаблона для другого клиента. Смена источника как в ДатаСтудио стала невозможной, а воркбуков ещё не было.

Резюме проблем этого этапа:

Шло время, и DataLens раскрывался перед нами как мощный инструмент. Мы стали видеть возможности, которых не замечали раньше. Проблему сбора данных мы решили кардинально, создав сервис на базе нашего Сеодроида — informbox.ru/services/yandex-datalens. На момент его запуска основной задачей было экспортирование данных из Яндекс.Директ в ClickHouse. Сейчас сервис поддерживает уже 4 источника данных:

А также он умеет перекладывать их в БД КликХаус и MySQL.

Созданные в Yandex DataLens при помощи Сеодроида отчеты надежны и безопасны, потому что особое внимание уделяется конфиденциальности данных. А расхождения с рекламными системами сведены к минимуму, потому что обновление данных за предыдущий период происходит каждый день. В отчете предусмотрена наглядная визуализация, возможность добавлять и комментировать нужные срезы.

Работу по созданию отчетов мы уложили всего в три шага:

Каждый отчет, который ранее был медленным или недоступным, становился мгновенным и более информативным. Мы словно победили врага, преодолев все сложности. Наши данные начали оживать — это было настоящее откровение! Мы смогли видеть всё, что было скрыто ранее. Мы достигли кульминации, почувствовали себя мастерами новой системы и были готовы двигаться дальше.

С появлением воркбуков стало проще копировать шаблон для другого клиента. Но обнаружилось, что поля имеют уникальные идентификаторы, которые при копировании шаблонов меняются. Проведя ряд экспериментов, мы нашли выход в создании кастомных полей.

Осталась проблема с копированием комментариев к отчету. Потому как они у нас хранятся в отдельной гугл таблице, копировать воркбук оттуда не представляется возможным. Для каждого отчета комментарии нужно подключать вручную, указывая нужные поля как источники.

Итак, описанная версия уже сильно радовала, но оставалось желание устранить еще пару проблем:

С новым арсеналом мы вернулись в привычные процессы. DataLens и Seodroid стали частью нашей работы и изменили подход к аналитике. Каждый отчет, каждый график, каждая метрика теперь обладали новой мощью. Мы поняли: этот путь дал нам не просто BI-систему, а инструмент для стратегического роста.

Для вывода показателей в динамике мы рассчитываем показатели через формулы и отдельные поля. Сравниваем их и выводим так:

Импорт данных из Гугл таблиц в КликХаус мы реализуем в сервисе informbox.ru/services/yandex-datalens. Теперь у отчета единственный источник данных — ClickHouse. Это позволяет легко клонировать отчет для другого клиента, меняя только источники данных и нужные цели.

За весь период работы с BI-отчетностями с 2018 года мы не раз меняли свои подходы и используемые инструменты. Когда Looker Studio потерял актуальность, Yandex DataLens показал себя как достойный аналог. А вопрос об автоматизации системы управления аналитики мы решили созданием своего собственного Сеодроида вместо покупки других сервисов. Сейчас мы уже не представляем свою работу без DataLens и Сеодроида.

Разработка Сеодроида позволила нам усовершенствовать работу с большими объемами информации разных клиентов. Он быстро импортирует данные из Яндекс Директа, Метрики, CallTouch, онлайн таблиц в ClickHouse, а также настраивается под любые временные срезы и категории. Пример эффективности метода описали в кейсе «Сэкономили заводу >60 часов в год благодаря BI-системе Yandex DataLens».

Мы прошли путь героя — путь перемен и роста. Если и вам нужен этот рывок, не бойтесь начать новое путешествие. Будет трудно, но это того стоит!

Делитесь, как проходят переходы на новые инструменты у вас? Легко или обычно это тернистые пути?

Делаем невозможное возможным в Информбокс - informbox.ru
Следите за новостями Агентства в телеграм-канале - @t.me/informbox

Ответим на ваши вопросы в чате - @t.me/agency_informbox_bot