Как быстро подготовить SEO-отчетность с помощью BI-систем
В этой статье мы поговорим про необходимость бизнеса в импорте данных, как импортировать SEO данные в BQ и получать их в различных BI-системах, какие графики и вариации данных доступны уже сейчас и покажем несколько примеров визуализации данных с помощью SEOWORK .
Необходимость бизнеса в импорте данных
У каждого бизнеса как правило имеются свои целевые метрики и важные сегменты, которые дают наибольшую прибыль. Для кого-то это рост видимости маржинальной категории, а для кого-то это положительная динамика видимости в мобильных, или даже рост спроса на собственный бренд.
К сожалению, ни в одной системе аналитики не найдется универсальных дашбордов, которые бы покрывали потребности всех ниш бизнеса для оценки SEO-метрик и не только.
Также SEO-специалисты, работающие как в инхаус, так и в агентствах, наверняка прочувствовали на себе боль предоставления регулярной отчетности руководству в определенном, согласованном в компании, формате.
Быстрый и простой выход из этой ситуации — кастомные дашборды в BI-системах, где можно реализовывать самые смелые потребности бизнеса в визуализации и автоматизации данных и минимизировать потери полезного времени специалистов, которое они теряют во время составления SEO-отчетов клиентам или руководству.
BI-системы
Основные преимущества BI-систем:
- Построение простых дашбордов без особой технической подготовки.
- Несложная предобработка данных. То есть заменять значение и переименовать столбцы можно и без знания языка dax, например.
- Возможность онлайн публикации и шаринга. Ваши коллеги и клиенты тоже могут отслеживать ваши дашборды и быть в курсе событий.
Наиболее популярные BI-системы
На рынке представлено несколько продуктов, но мы остановимся на наиболее популярных. Вы можете добавить в комментариях те системы, которыми пользуетесь вы.
- Power BI — продукт с многолетним опытом на рынке. В рамках PBI доступно огромное количество возможностей, не особо сложный в использовании с базовыми потребностями в визуализации. Но за счет расширенных возможностей и наличия собственного языка формул DAX имеет наиболее высокий порог сложности в отличии от других BI-систем.
- Google Data Studio — более прост в использовании чем PBI, но и более ограничен в возможностях.
В работе с нашими пользователями мы используем две эти системы в зависимости от того, какая BI-система используется внутри пользователя-компании. Тем не менее еще широко распространены:
- Tableau — это продукт с достаточно большим опытом на рынке и расширенными возможностями. Позиционируется как удобный и понятный интерфейс, работу с ним может осилить пользователь и без какого-либо опыта в анализе данных.
- Data Lens — BI система, которую Яндекс анонсировал чуть больше года назад. Молодой продукт по сравнению с другими популярными BI-системами на рынке. Работает в связке с Яндекс Облаком.
- Qlik Sense — также одна из популярных BI-систем. При необходимости чуть более сложных отчетов понадобится язык формул Set Analytics.
Импорт данных в BI-системы
Есть 2 варианта интеграции наших данных в BI:
- когда пользователь самостоятельно получает данные через API и складывает их в свое хранилище, в дальнейшем импортирует в BI
- или мы предоставляем такую возможность не разбираться в API и забирать данные уже через готовые базы, например Google Bigquery. Во всех популярных BI-системах имеются встроенные коннекторы к популярным базам данных, различным платформам, к веб-интерфейсам и прочим источникам. Также есть коннектор к Google Bigquery, где хранятся наши данные.
Если вы работаете напрямую с API
Если вы используете первый вариант, работы с помощью API, то потребуются:
- Ресурсы разработчика. Работа с API требует некоторого технического бэкграунда для составления get-запроса и настройки автоматического обновления данных.
- Собственное хранилище. Также потребуется собственное хранилище данных, куда данные будут импортированы из SEO-систем и где будут храниться в дальнейшем.
- Продумать бизнес-логику. Предварительно перед визуализацией данных в BI необходимо продумать бизнес-логику дашборда:
а) Какие метрики и срезы вывести на одном дашборде,
б) Какие визуальные элементы будут максимально наглядно отражать выбранные метрики и срезы,
в) Что даст бизнесу и вашему отделу в частности аналитика на основе построенного дашборда.
Работа с данными в BQ
Для клиентов SEOWORK доступен автоматический экспорт и автообновление данных напрямую в Google Bigquery.
Google BQ – это такая облачная база данных для хранения и работы с огромными массивами данных. Каждый желающий пользователь может подключиться к нашей BQ и получить свои данные из SEOWORK в формате таблиц в БД. Также возможна модель работы, когда мы импортируем данные в BQ пользователя, для этого потребуется заранее сообщить ключ в формате JSON.
Преимущества при работе с BQ напрямую без погружения в работу API:
- Не требуются ресурсы разработчика. Если у вас не хватает технического бэкграунда составить get-запрос и настроить автоматический импорт данных, то мы можем предоставить обновляемые данные в нашей BQ.
- Перезапись неактуальных данных в прошлом. При удалении части данных из источника импорта данных, они перезапишутся в BQ в прошлом.
- Нет необходимости в дополнительном хранилище. Все данных хранятся в нашей или вашей BQ и доступны пользователю.
- Поможем с бизнес-логикой. Сможем подсказать, какие данные и как можно визуализировать еще перед импортом данных в BQ.
- Можем автоматизировать импорт данных в вашу BQ.
Как получить данные SEOWORK в BQ
В первую очередь необходимо обратиться в поддержку SEOWORK и обсудить бизнес-требования к импорту данных в BQ. После того как данные из SW будут экспортированы, потребуется получить их в своем аккаунте в BQ.
В BQ доступно 3 уровня данных: Проект -> Набор данных -> Таблица. Подключаясь к BQ SEOWORK, в названии проекта всегда будет «seowork» и два набора данных source и views:
Подробнее про наборы данных:
- {client}_source — таблицы с сырыми данными, полученными напрямую из SW.
- {client}_views — представления (виртуальные таблицы), которые обращаются к сырым таблицам source, но при этом обрабатывают данные от дублей, также возможен подсчет новых метрик и полей. Именно к представлению следует подключаться при работе с BI системами.
! Если пользователь планирует дальше работать с данными в BI-системах самостоятельно, мы рекомендуем создать отдельный проект в своем аккаунте BQ и создать уже в нем представления с нашей помощью. Это необходимо для получения полного доступа к данным и проекту, в противном случае не все встроенные BI-коннекторы увидят данные.
Какие отчеты уже можно строить в BQ
Мы приведем несколько примеров, но, конечно, возможности системы значительно больше.
Сравнение desktop и mobile видимости на одном дашборде:
Видимость по важным категориям, доля и динамика занимаемого спроса в каждой из категорий:
Сравнение видимости конкурентов в динамике и по средним значениям:
Оценка динамики и средних значений спроса на бренды конкурентов:
Сравнение и оценка видимости в регионах:
Данные доступные для импорта из SEOWORK
В рамках модулей пользователь может получить импорт следующих данных:
Для каждого уровня данных будет сформирован отдельный в GET-запрос, в зависимости от того какие данные необходимо получить на выходе.
Порядок получения данных в BQ или с помощью API
Для того, чтобы интегрировать данные из SEOWORK, достаточно написать в поддержку. Мы выдадим токен API или предоставим доступ к данным в BQ.
Полезные ссылки
Презентация по интеграции https://presentations.seowork.ru/webinar_BI_SEO.pdf
Вебинар на youtube
Анна Хряпина, аналитик SEOWORK
Кстати, если не про seo говорить, но про импорт данных в bigquery, то присмотритесь к https://garpun.com/garpunfeeds/
Там не только импорт рекламных данных, но и Лиды из Фейсбука и пр. систем, а так же просто можно из базы данных вытянуть.
3 потока бесплатно в принципе, и этого на многое хватит под клиента. Ну или для неспешного тестирования.
Спасибо за рекомендацию, посмотрим.
Годно, но в именно seo мало кому в реальности не нужно, seo аналитиков в штате по пальцам, а аналитик в продуктовой команде и так нагрузку держит огого и проще импортирует самые важные показатели, да еще и с готового сервиса типа гугл аналитикс или семраш и смешает с тем, что есть в би сам, благо, ему зп платят за это немалую.
Был всплеск гугл студио в 2016-2017 в seo компаниях, когда клиентов подсаживали. да сдох
Хорошо что в вашей компании есть такие возможности, но у многих их нет. Даже если аналитики и есть в команде, то они как правило загружены не seo-задачами.
Поэтому возможности API мы планируем расширять. В том числе планируем тянуть данные из модуля Тех монитор и трафик.
В тех мониторе что-то собираем с помощью своих краулеров, например такие показатели как ответ сервера, вес страницы, дубли страниц и тд, что-то берем из Я.Вебмастер и сейчас работаем над тем чтобы и из Google Search Console данные забирать.
Все это будет доступно в API и в BQ для наших пользователей. Плюс в том, что данные на выходе получаешь из одной системы и не приходится подключаться к API каждой системы в отдельности.