{"id":13522,"url":"\/distributions\/13522\/click?bit=1&hash=81e5909e95332a851886ed9a622a0ca4586865e654c22f63b9aca7f80d88d7e9","title":"\u0421\u0435\u0440\u0432\u0438\u0441\u044b \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043b\u0443\u0447\u0448\u0435, \u0435\u0441\u043b\u0438 \u0438\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0441\u0447\u0430\u0441\u0442\u043b\u0438\u0432\u044b","buttonText":"\u041a\u0430\u043a \u044d\u0442\u043e","imageUuid":"1dd84041-6b2a-59f9-9a75-cfc316641283","isPaidAndBannersEnabled":false}
SEO
Seowork

Как быстро подготовить SEO-отчетность с помощью BI-систем

В этой статье мы поговорим про необходимость бизнеса в импорте данных, как импортировать SEO данные в BQ и получать их в различных BI-системах, какие графики и вариации данных доступны уже сейчас и покажем несколько примеров визуализации данных с помощью SEOWORK .

Необходимость бизнеса в импорте данных

У каждого бизнеса как правило имеются свои целевые метрики и важные сегменты, которые дают наибольшую прибыль. Для кого-то это рост видимости маржинальной категории, а для кого-то это положительная динамика видимости в мобильных, или даже рост спроса на собственный бренд.

К сожалению, ни в одной системе аналитики не найдется универсальных дашбордов, которые бы покрывали потребности всех ниш бизнеса для оценки SEO-метрик и не только.

Также SEO-специалисты, работающие как в инхаус, так и в агентствах, наверняка прочувствовали на себе боль предоставления регулярной отчетности руководству в определенном, согласованном в компании, формате.

Быстрый и простой выход из этой ситуации — кастомные дашборды в BI-системах, где можно реализовывать самые смелые потребности бизнеса в визуализации и автоматизации данных и минимизировать потери полезного времени специалистов, которое они теряют во время составления SEO-отчетов клиентам или руководству.

BI-системы

Основные преимущества BI-систем:

  • Построение простых дашбордов без особой технической подготовки.
  • Несложная предобработка данных. То есть заменять значение и переименовать столбцы можно и без знания языка dax, например.
  • Возможность онлайн публикации и шаринга. Ваши коллеги и клиенты тоже могут отслеживать ваши дашборды и быть в курсе событий.

Наиболее популярные BI-системы

На рынке представлено несколько продуктов, но мы остановимся на наиболее популярных. Вы можете добавить в комментариях те системы, которыми пользуетесь вы.

  • Power BI — продукт с многолетним опытом на рынке. В рамках PBI доступно огромное количество возможностей, не особо сложный в использовании с базовыми потребностями в визуализации. Но за счет расширенных возможностей и наличия собственного языка формул DAX имеет наиболее высокий порог сложности в отличии от других BI-систем.
  • Google Data Studio — более прост в использовании чем PBI, но и более ограничен в возможностях.

В работе с нашими пользователями мы используем две эти системы в зависимости от того, какая BI-система используется внутри пользователя-компании. Тем не менее еще широко распространены:

  • Tableau — это продукт с достаточно большим опытом на рынке и расширенными возможностями. Позиционируется как удобный и понятный интерфейс, работу с ним может осилить пользователь и без какого-либо опыта в анализе данных.
  • Data Lens — BI система, которую Яндекс анонсировал чуть больше года назад. Молодой продукт по сравнению с другими популярными BI-системами на рынке. Работает в связке с Яндекс Облаком.
  • Qlik Sense — также одна из популярных BI-систем. При необходимости чуть более сложных отчетов понадобится язык формул Set Analytics.

Импорт данных в BI-системы

Есть 2 варианта интеграции наших данных в BI:

  • когда пользователь самостоятельно получает данные через API и складывает их в свое хранилище, в дальнейшем импортирует в BI
  • или мы предоставляем такую возможность не разбираться в API и забирать данные уже через готовые базы, например Google Bigquery. Во всех популярных BI-системах имеются встроенные коннекторы к популярным базам данных, различным платформам, к веб-интерфейсам и прочим источникам. Также есть коннектор к Google Bigquery, где хранятся наши данные.

Если вы работаете напрямую с API

Если вы используете первый вариант, работы с помощью API, то потребуются:

  • Ресурсы разработчика. Работа с API требует некоторого технического бэкграунда для составления get-запроса и настройки автоматического обновления данных.
  • Собственное хранилище. Также потребуется собственное хранилище данных, куда данные будут импортированы из SEO-систем и где будут храниться в дальнейшем.
  • Продумать бизнес-логику. Предварительно перед визуализацией данных в BI необходимо продумать бизнес-логику дашборда:

а) Какие метрики и срезы вывести на одном дашборде,

б) Какие визуальные элементы будут максимально наглядно отражать выбранные метрики и срезы,

в) Что даст бизнесу и вашему отделу в частности аналитика на основе построенного дашборда.

Работа с данными в BQ

Для клиентов SEOWORK доступен автоматический экспорт и автообновление данных напрямую в Google Bigquery.

Google BQ – это такая облачная база данных для хранения и работы с огромными массивами данных. Каждый желающий пользователь может подключиться к нашей BQ и получить свои данные из SEOWORK в формате таблиц в БД. Также возможна модель работы, когда мы импортируем данные в BQ пользователя, для этого потребуется заранее сообщить ключ в формате JSON.

Преимущества при работе с BQ напрямую без погружения в работу API:

  • Не требуются ресурсы разработчика. Если у вас не хватает технического бэкграунда составить get-запрос и настроить автоматический импорт данных, то мы можем предоставить обновляемые данные в нашей BQ.
  • Перезапись неактуальных данных в прошлом. При удалении части данных из источника импорта данных, они перезапишутся в BQ в прошлом.
  • Нет необходимости в дополнительном хранилище. Все данных хранятся в нашей или вашей BQ и доступны пользователю.
  • Поможем с бизнес-логикой. Сможем подсказать, какие данные и как можно визуализировать еще перед импортом данных в BQ.
  • Можем автоматизировать импорт данных в вашу BQ.

Как получить данные SEOWORK в BQ

В первую очередь необходимо обратиться в поддержку SEOWORK и обсудить бизнес-требования к импорту данных в BQ. После того как данные из SW будут экспортированы, потребуется получить их в своем аккаунте в BQ.

В BQ доступно 3 уровня данных: Проект -> Набор данных -> Таблица. Подключаясь к BQ SEOWORK, в названии проекта всегда будет «seowork» и два набора данных source и views:

Подробнее про наборы данных:

  • {client}_source — таблицы с сырыми данными, полученными напрямую из SW.
  • {client}_views — представления (виртуальные таблицы), которые обращаются к сырым таблицам source, но при этом обрабатывают данные от дублей, также возможен подсчет новых метрик и полей. Именно к представлению следует подключаться при работе с BI системами.

! Если пользователь планирует дальше работать с данными в BI-системах самостоятельно, мы рекомендуем создать отдельный проект в своем аккаунте BQ и создать уже в нем представления с нашей помощью. Это необходимо для получения полного доступа к данным и проекту, в противном случае не все встроенные BI-коннекторы увидят данные.

Какие отчеты уже можно строить в BQ

Мы приведем несколько примеров, но, конечно, возможности системы значительно больше.

Сравнение desktop и mobile видимости на одном дашборде:

Видимость по важным категориям, доля и динамика занимаемого спроса в каждой из категорий:

Сравнение видимости конкурентов в динамике и по средним значениям:

Оценка динамики и средних значений спроса на бренды конкурентов:

Сравнение и оценка видимости в регионах:

Данные доступные для импорта из SEOWORK

В рамках модулей пользователь может получить импорт следующих данных:

Для каждого уровня данных будет сформирован отдельный в GET-запрос, в зависимости от того какие данные необходимо получить на выходе.

Порядок получения данных в BQ или с помощью API

Для того, чтобы интегрировать данные из SEOWORK, достаточно написать в поддержку. Мы выдадим токен API или предоставим доступ к данным в BQ.

Полезные ссылки

Презентация по интеграции https://presentations.seowork.ru/webinar_BI_SEO.pdf

Вебинар на youtube

Анна Хряпина, аналитик SEOWORK

0
6 комментариев
Написать комментарий...
Artur Geraschenko

Кстати, если не про seo говорить, но про импорт данных в bigquery, то присмотритесь к https://garpun.com/garpunfeeds/

Там не только импорт рекламных данных, но и Лиды из Фейсбука и пр. систем, а так же просто можно из базы данных вытянуть.

3 потока бесплатно в принципе, и этого на многое хватит под клиента. Ну или для неспешного тестирования.

Ответить
Развернуть ветку
Seowork
Автор

Спасибо за рекомендацию, посмотрим. 

Ответить
Развернуть ветку
Richard Daniel

Годно, но в именно seo мало кому в реальности не нужно, seo аналитиков в штате по пальцам, а аналитик в продуктовой команде и так нагрузку держит огого и проще импортирует самые важные показатели, да еще и с готового сервиса типа гугл аналитикс или семраш и смешает с тем, что есть в би сам, благо, ему зп платят за это немалую.
Был всплеск гугл студио в 2016-2017 в seo компаниях, когда клиентов подсаживали. да сдох

Ответить
Развернуть ветку
Анна Хряпина

Хорошо что в вашей компании есть такие возможности, но у многих их нет. Даже если аналитики и есть в команде, то они как правило загружены не seo-задачами.
Поэтому возможности API мы планируем расширять. В том числе планируем тянуть данные из модуля Тех монитор и трафик. 
В тех мониторе что-то собираем с помощью своих краулеров, например такие показатели как ответ сервера, вес страницы, дубли страниц и тд, что-то берем из Я.Вебмастер и сейчас работаем над тем чтобы и из Google Search Console данные забирать. 
Все это будет доступно в API и в BQ для наших пользователей. Плюс в том, что данные на выходе получаешь из одной системы и не приходится подключаться к API каждой системы в отдельности. 

Ответить
Развернуть ветку
Richard Daniel

Вы не поняли, аналитик это не тот, кто собирает данные в дашборды компании по api, а кто анализирует данные и из них обозначает проблемы и решения. Если у ваших заказчиков нет в команде аналитика, им не нужны эти дашборды, тем более специфические по seo. А это действительно так, вы сами подтвердили, что нет у заказчиков аналитиков.
А если он есть, в продуктовой команде например, он сам составит и подгонит seo к нужным зависимостям и метрикам.
Давайте переформулирую тогда.

Зачем в компании, не имеющей аналитика, данные с агрегаторора такого сервиса в кастомные би дашборды и кто вообще будет их туда внедрять и потом анализировать, если аналитика нет?

Ответить
Развернуть ветку
Seowork
Автор

Зачастую BI подключают достаточно крупные компании, в которых есть аналитики или соответствующие компетенции у других специалистов. Тем не менее, иногда и в небольших компаниях есть потребность в дашбордах для оперативного реагирования на изменения. 

Ответить
Развернуть ветку
Читать все 6 комментариев
null