Как настроить автоматическое обновление панелей в Power BI из Google Analytics

Всем привет! Меня зовут Иван Спиридонов, я создатель сервиса сквозной аналитики R7K12. К нам часто обращаются руководители различных компаний с одной и той же проблемой — визуализация данных. Ежедневно сталкиваясь с огромными объёмами информации в цифровом виде, достаточно тяжело их качественно анализировать и делать какие-либо выводы.

Для того, чтобы иметь возможность быстро оценить результаты проделанной работы и видеть реальную картину происходящего, были разработаны системы визуализации, такие как Power BI. Комплексное программное обеспечение позволяет обрабатывать большое количество данных и формировать на их основе визуальные элементы (диаграммы, карты, графики и т.п) для облегчения восприятия информации.

С их помощью руководители могут изучать информацию по ключевым показателям, представленную в виде дашбордов, что значительно упрощает процесс принятия решений. В этом кейсе мы бы хотели рассказать о собственном опыте настройки автоматического обновления панелей в Power BI на основании данных из Google Analytics

Нашей команде не раз приходилось работать с Power BI при создании интеграций в R7K12, поэтому для удобства мы разделили настройку автоматического обновления панелей на шесть этапов:

1. Создание аккаунта в Google Cloud.

2. Подключение сервиса BigQuery.

3. Установка и настройка Windows Server.

4. Выгрузка данных из Google Analytics в BigQuery.

5. Передача информации из BigQuery в PowerBI.

6. Настройка автообновления в PowerBI.

Ниже рассмотрим подробнее каждый из пунктов.

Автообновление панели Power BI будет полноценно функционировать только на постоянно включенном компьютере, поэтому одним из обязательных этапов настройки автообновления является использование виртуальной машины. Для этих целей мы выбрали Windows Server на базе Google Cloud Platform.

Поэтому сперва нам нужно создать аккаунт в Google Cloud (после регистрации вы получите 300 долларов на счет GC):

1. Откройте сайт https://console.cloud.google.com/.

2. Выберите страну из списка и примите условия бесплатного пробного периода.

3. Введите личные и платежные данные. Затем нажмите кнопку «Начать бесплатный пробный период».

4. Подтвердите регистрацию в Google Cloud, нажав кнопку «ОК».

После того, как мы успешно создали аккаунт в Google Cloud Platform, можно сразу же переходить к подключению облачной базы данных BigQuery. Обычно после регистрации GCP автоматически создает проект, в котором уже подключен BigQuery. Но на всякий случай я покажу, как это проверить:

1. Откройте раздел «API и сервисы» и выберите пункт «Библиотека».

2. В строке поиска введите «BigQuery API» и кликните по нему.

3. Если сервис подключен, вы увидите соответствующую запись.

4. В противном случае нажмите кнопку «Включить»

Далее нам необходимо установить и настроить виртуальную машину Windows Server в аккаунте Google Cloud.

1. Открываем консоль и выбираем раздел «Compute Engine».

2. Ждем, пока сервис активируется, затем нажимаем кнопку «Создать».

3. Выбираем подходящие параметры для виртуальной машины. Для этого в блоке «Загрузочный диск» жмем кнопку «Изменить».

4. Нажимаем на «Windows Server 2019 Datacenter» и кликаем по кнопке «Выбрать».

5. Выделяем галочками оба пункта в блоке «Брандмауэр». После завершения настройки жмем кнопку «Создать».

6. Устанавливаем пароль для виртуальной машины.

7. В новом окне копируем пароль, нажав на специальный значок в конце строки.

8. Затем скачиваем RDP-файл для установки Windows Server.

10. Открываем этот файл на компьютере и нажимаем кнопку «Подключить».

11. Вставляем скопированный ранее пароль в окно для ввода и жмем «ОК».

12. В появившемся окне нажимаем кнопку «Да», после чего произойдет запуск виртуальной машины.

На этом этапе установка и настройка виртуальной машины завершена.

Отправить информацию из Google Analytics в Power BI можно несколькими способами. Самый простой — воспользоваться прямой интеграцией между этими двумя системами, но при таком способе передачи существует вероятность сэмплирования данных.

Следующий вариант подходит тем, кого не смущают денежные вложения в процессе работы. С помощью сервиса OWOX BI вы можете передать данные из GA в облачное хранилище BigQuery, а оттуда через протокол ODBC в Power BI. Наша команда использовала данные, собранные сервисом R7K12.

Зарегистрировать бесплатную учетную запись Power BI можно по этой ссылке. Обратите внимание на то, что личный электронный адрес не подойдет для этих целей, так как сервис не поддерживает платформы outlook.com, hotmail.com, gmail.com и т. д.

Заполните форму регистрации, указав все необходимые личные данные.

2.1 Открываем официальный сайт Microsoft Power BI.

2.2 Скачиваем последнюю версию Power BI Desktop на виртуальную машину.

2.3 Запускаем программу и авторизируемся в системе под своим логином и паролем.

Для передачи данных из BigQuery в PowerBI мы будем использовать драйвер ODBC.

Для передачи данных из BigQuery в PowerBI мы будем использовать драйвер ODBC.

3.1 Скачиваем и устанавливаем ODBC драйвер по данной ссылке (версия драйвера должна подходить вашей операционной системе).

3.2 Создаем источник ODBC. Для этого перейдите в Панель управления/Все элементы панели управления/Администрирование. И выберите «Источники данных ODBC» вашей разрядности.

3.3 В окне «Администратор источника данных ODBC» перейдите на вкладку «Пользовательский DSN» и нажмите кнопку «Добавить».

3.4 В окне «Создание нового источника данных» выберите драйвер «Simba ODBC Driver for Google BigQuery» и нажмите кнопку «Готово».

3.5 После этого откроется окно настройки подключения ODBC. Впишите в поле «Data Source Name» название нового источника. Выберите в поле «OAuth mechanism” из выпадающего списка значение «User Authentication» и нажмите кнопку “Sign In…».

3.6 Выберите аккаунт Google BigQuery и подтвердите разрешение на получение автономного доступа.

3.7 Далее скопируйте токен доступа и вставьте в поле «Confirmation Code».

3.8 Нажмите на поле «Refresh Token» для генерации токена обновления.

3.9 Из выпадающего списка «Catalog (Project)» выберите нужный проект и нажмите кнопку «Test».

3.10 Появится уведомление об успешном тесте. После этого нажмите кнопку «ОК» в окне «Test Result» и еще раз в окне настройки драйвера.

После того, как мы установили и настроили драйвер ODBC, можно приступать к непосредственному импортированию данных из BigQuery в Power BI Desktop:

4.1 На вкладке «Главная страница» основного меню Power BI нажмите кнопку «Получить данные». В группе «Другое» выберите пункт «ODBC» (или впишите в строку поиска «ODBC»).

4.2 Далее в выпадающем списке «Имя источника данных (DSN)» выберите созданный ранее источник. В нашем примере источник «BigQuery ODBC».

4.3 Откройте Расширенные параметры и вставьте запрос для получения данных из BigQuery. После этого нажмите «ОК».

4.4 Чтобы проверить подключение, мы воспользовались шаблоном запроса для получения данных из R7K12 (вместо строки `project.dataset.table_*` введите название вашего проекта, набора данных и таблицы). Если вы используете другой сервис, вам необходимо составить собственный шаблон.

Обратите внимание, что для подключения через ODBC к BigQuery посредством запросов, необходимо использовать стандартный SQL.

4.5 В окне «Драйвер ODBC» выберите тип подключения «По умолчанию или пользовательский» и нажмите кнопку «Подключение».

4.6 Далее появится таблица предварительного просмотра данных. Нажмите кнопку «Загрузить» и подключение будет настроено.

1. Скачиваем персональный шлюз на этой странице. Во время установки выбираем тип шлюза «One-premises data gateway (personal mode)».

2. Авторизируемся с помощью email-адреса и пароля, которые мы использовали ранее для входа в PowerBI.

3. После завершения установки окно со шлюзом оставляем открытым.

4. Возвращаемся на страницу с Power BI и обновляем ее. Затем проверяем, отображается ли в настройках установленный шлюз (заходим во вкладку «Наборы данных» и открываем раздел «Подключение шлюза»). Если шлюз отображается корректно, вы увидите следующую запись.

5. Далее переходим в раздел «Учетные данные источников данных» и выбираем команду «Изменить учетные данные».

6. Жмем на кнопку «Войти» (заполнять пустые поля не нужно).

7. После этого открываем раздел «Запланированное обновление», чтобы выставить часовой пояс и время обновления панели (важно, чтобы указанный временной промежуток был позже, чем обновление данных в BigQuery). В конце нажимаем кнопку «Применить».

8. Проверяем, работает ли автообновление. Для этого переходим в меню «Моя рабочая область» и выбираем вкладку «Наборы данных». Под колонкой «Следующее обновление» должна обязательно стоять дата и время.

9. Теперь открываем вкладку «Отчеты» и кликаем по своему проекту.

10. Для быстрого доступа к панели можно создать специальную ссылку в Power BI. Для этого выбираем команду Файл → Опубликовать в интернете и копируем полученную ссылку.

11. Открываем ссылку в новой вкладке.

На этом настройка автообновления панели в Power BI закончена. После этого в сервис будут регулярно поступать актуальные данные из BigQuery, и вы сможете ежедневно отслеживать статистику и динамику их развития. Установка и настройка всех компонентов потребует немного дополнительного времени, но все это полностью компенсирует полученный результат. В итоге вы получите удобный и практичный инструмент, который сэкономит не только ваше время, но и средства.