Нестандартный анализ SEO или как посчитать влияние редизайна на SEO в ecommerce

Если вы занимаетесь аналитикой или менеджментом в продукте, где SEO играет важную роль и является частью стратегии привлечения клиентов, то вы уже задавались вопросом как менее шумно и более эффективно анализировать результативность работы в области поисковой оптимизации. Как принимать решения на данных или, что еще важнее, как проверить, что те или иные крупные изменения не привели вас к ослаблению этого канала привлечения.

Мы с командой долго планировали редизайн сайта, который не претерпевал значительных изменений уже более 10-ти лет. И большую часть таких изменений на продукт достаточно не сложно проверить и посчитать – можно сравнивать воронки, точечно проверять ранее сформулированные для редизайна гипотезы или даже строить пути по пользовательским сессиям (об этом я чуть позже расскажу в будущих статьях).

Но что делать с оценкой влияния такого массового изменения на SEO было не совсем понятно.

Стандартные методы нам не подходят из-за специфики продукта – мы помогаем продавать билеты на мероприятия, на которые часто имеем эксклюзивные права. Что делает нас продуктом, где достаточно большой процент трафика нам привлекает сам организатор, известность которого так же влияет на органический трафик, независимо от позиции наших страниц в поиске.

В общем, на первый взгляд задача казалась более тривиальной, чем оказалась на самом деле :)

Чтобы понять специфику вопроса и задачи лучше, нужно узнать не просто мнения, но скорее понимание и дефиниции сторон.

Не буду растягивать эту главу и просто соберу буллет-поинтами то, какие заметки удалось собрать в процессе изучения вопроса:

• Было бы неправильно грести под одну гребенку разные страницы или даже объединять их в группы для анализа по типам – каждая страница в нашем конкретном случае уникальна, так как все мероприятия разные и над ними осуществляется разная работа (даже несмотря на общий редизайн и изменение общего шаблона страниц);
• За аналитикой общего редизайна нельзя потерять и размыть частную работу по SEO оптимизации для отдельных проектов, так как такой отчет скорее всего будет использоваться не просто как оценка редизайна, а как аналитика результативности SEO стратегии в целом. Нужно помочь нашей команде оценить редизайн и, вместе с этим, команде SEO оценить их частную работу;
• Как я упоминал выше – просто трафик из Search консоли для нас не может являться универсальным показателем, так как на него влияет очень много шумов, которые мы не сможем вычистить;
• Страницы могут пропадать и появляться. Листинг предложений на нашем ресурсе может быть как и постоянным/реккурентным, так и разовым. Это нужно несомненно учитывать;
• Ресурс команды SEO не резиновый, а ряд данных можно собрать только мануально и делать это нужно регулярно. Объем данных для мануального сбора не должен зааффектить работу ребят и отнять у них слишком много ресурсов.

Как мы выяснили – задача интересная! Идем ковыряться в чертогах разума и гуглить.

Все что удалось придумать поначалу не подходило по 1-2 пунктам, а удовлетворение каждого пункта для нас в этой задаче и при условиях специфики продукта – важно.

Ниже методы, которые я нашел, их pros и cons конкретно в нашем случае (хотя, вынужден отметить, наш случай далеко не уникальный для e-commerce, так что эта таблица может быть актуальна и для вас):

В самый последний момент и неожиданно для себя я нашел нестандартное (я хочу верить, что мало кто так натягивал сову на глобус ранее) применение диаграмме скаттера в контексте этой задачи.

На идею того, что было бы круто связать два ключевых показателя и посмотреть их зависимость, меня натолкнул мой хороший друг дата-сатанист в прошлом и, по совместительству, руководитель одного продукта в настоящем – Михаил Ключников.

А теперь давайте по порядку разберем этот интересный способ поженить метрики.

Стоит еще раз оговориться, что ряд тезисов работает и применим к нашей специфике продукта, но, я уверен, эти тезисы будут актуальны для многих e-commerce компаний!

В нашем продукте простой анализ SEO не подходит по двум основным причинам (но не только по ним):

• Высокий уровень или прирост органического трафика из поисковой выдачи может происходить независимо от того, были ли произведены изменения. И даже могут быть не связаны с позицией страницы в этой самой выдаче;
• Позиции в поисковой выдаче могут не приносить трафика, несмотря на все возможные виды сделанных шагов на пути к SEO оптимизации. Это может зависеть от сезона и предложения внутри ниши, и принести ощутимый результат позже.

При этом диаграмма скаттера, где одна точка это страница+запрос, покажет зависимость этих двух метрик. А разноцветное отображение серий и отображение векторов по сущностям от одной серии к другой покажет динамику.

В контексте же редизайна – облака (скопления) таких точек и миграция этих облаков от серии к серии покажет результативность массовых изменений, как раз таких, как редизайн.

Шаг первый

Нужно собирать данные о позициях страниц в поиске и impressions на выбранных поисковых запросах. Этот список нужно составить заранее, определив, какие страницы проживут дольше и на каких будут происходить изменения.

После того, как удалось собрать такой список, необходимо направиться к SEO специалистам и определить ряд поисковых запросов, по которым пользователи находят эти страницы в поиске.

В итоге мы получаем примерно такую табличку:

То есть, как вы могли заметить, страницы – штуки не уникальные. На каждую страницу может вести несколько разных запросов, а позиции в поиске и трафик на эту страницу сильно от них (запросов) зависит.

Шаг второй

Собираем данные о позициях и impressions на этих страницах. Делаем это сериями с равным интервалом.

Например, интервалом выбрана неделя, значит мы помещаем в одну серию информацию о средней позиции страницы в поиске за неделю и суммарный объем impressions, который при таком запросе и на такой странице удалось собрать. Получается что-то такое:

Шаг третий

Сводим таблицу в формат, который принимают диаграммы скаттера от Google Sheets, или просим аналитиков сделать тоже самое на питоне. Вдаваться в подробности не буду, так как конечный формат данных очень зависит от инструмента построения диаграмм, который вы выбрали.

После сведения строим диаграмму. Ось X у нас будет содержать в себе impressions, а ось Y – позиции. Ось Y, кстати, лучше развернуть, чтобы самая большая позиции была внизу, а самая маленькая – сверху. Это позже поможет нам более наглядно и логично читать и анализировать эти диаграммы. Сделать это просто – можно сделать позиции страниц отрицательными числами по тому же модулю (например, 3 превратиться в -3, просто для удобства чтения).

По итогу у нас должно получиться что-то такое:

На самом деле, все очень просто читается и анализируется. Давайте по пунктам.

Стоит отметить, что это пример данных, поэтому в них нет примеров, как что-то стало хуже :) Но по абсолютной аналогии с паттернами улучшений, которые я покажу, работают и паттерны ухудшения, только вектора (скоро вы поймете, о чем я) будут направлены в другую сторону.

Нам нужно оценить влияние массовых изменений, а значит – и влияние будет массовое. Напомню, что каждая точка на диаграмме это запрос+страница. Соотвественно, если мы меняем шаблон сразу группы страниц, то и изменения на графике должны произойти группой.

Ниже на картинке я оставил только одну серию, чтобы не было мешанины и было легче понять, где группы:

На графике отчетливо видно два облака. Каждое из них – это группа страниц. Например, страницы товара и страницы категорий. Они выделились в такие обособленные группы на графике, потому что объемы траффика и позиции в поиске для каждой группы разные.

Давайте добавим последнюю серию, чтобы посмотреть, что стало с облаками (группами страниц):

Я выделил новую серию желтыми фигурами, чтобы было нагляднее, и проложил вектора. Что вы видите на этом графике?

На самом деле, на графике очень хорошо видно, как целые группы страниц пошли по диагонали вверх в новой серии, а это значит, что изменения шаблонов у этих типов страниц прошли успешно – они поднялись выше в поиске (вектор вверх по оси Y) и зависимо от этого получили больше трафика (вправо по оси X).

Стоит отметить, что консистентное движение на ~45º вправо вверх указывает о чистой причинно-следственной связи: Лучшая оптимизация SEO –> Выше позиция в поиске –> Больше трафика.

Давайте же разберем частные случаи направления векторов и как следствие заключений, которые можно сделать по каждому смещению в ту или иную сторону:

• Облака на месте, движения нет – очевидно, что ничего не изменилось в общем. Вероятно, есть изменения частных случаев, но это мы разберем в следующих разделах статьи.

• Облака поехали вправо, но не сдвинулись с места по оси Y. Такое движение говорит о том, что мы глобально не повлияли со стороны SEO на качество групп страниц, но стали органически получать больше трафика. Это связано с увеличивающимся трендом в поиске и может говорить о старте сезона, например.

• Облака пошли вверх, но не сдвинулись по оси X. Такое поведение свойственно для улучшений SEO, которые привели к улучшению, но пока не получили результата в трафике. Проще: мы уже в топе, но нас пока/еще/вообще не ищут (так же может свидетельствовать о неверно выбранных и используемых на странице ключевых словах).

• Все пошло влево и вниз. Произошло массовое ухудшение.

Напомню, что одна из задач, которую мы преследовали, это не только оценить результативность массовых изменений групп страниц, но и проанализировать результат точечных работ над отдельно взятыми страницами на платформе.

В этом нам поможет то, что я уже упоминал ранее – каждая точка на скаттер диаграмме это буквально страница+запрос.

То есть, если:

• сохранить каждую связку страница+запрос под своим id в таблице аналитики
• связать векторами старые и новые точки, относящиеся к одним и тем же страницам
  

...то мы увидим движение не только групп, но и отбившихся от стаи точек, которые, по той или иной причине, стали эффективнее основной массы или менее эффективнее.

Прикинем:

Чтобы было удобнее, можно тем же скриптом окрашивать вектора, отличающиеся углом наклона от общей массы более чем медианное значение вектора в этой массе.

Таким образом, на графике видно, что 4 частных случая отбились от группы и улучшились/ухудшились больше, чем это сделали остальные.

А так как мы храним связку страница+запрос по каждой из этих точек, мы можем с легкостью проверить, какие изменения происходили с этими страницами в течении этой серии. И понять, как они могли привести к тем или иным результатам.

В первую очередь в заключении я хотел бы перечислить несколько замечаний, о которых вы могли подумать, пока читали эту статью:

• Для более простого понимания и быстрой подготовки скриншотов в статье приведены сэмпл-данные, в реальных условиях облака будут менее очевидны и одними Google Sheets обойтись будет тяжело. Такой подход лучше проворачивать вооружившись аналитиком и питоном, чтобы правильно идентифицировать страницы по точкам и сразу строить вектора движений от серии к серии, чего Google Sheet сможет сделать только с помощью костылей.
• На реальных данных модель показывает чуть больший разброс по градусам векторов, но все равно не составляет труда вычислить частные случаи по отличающемуся от медианы показателю с шагом в 15-20%.
• Групп страниц может быть больше, их тоже лучше размечать в дата-сете, а не по паттерну траффик+позиция, так как одинаковые показатели могут быть у страниц из абсолютно разных групп.
• Автор статьи не аналитик, а менеджер продукта, поэтому воспринимайте это как описание альтернативного подхода, а не как законченную инструкцию к действию :)

Такой метод анализа отлично подходит для оценки результативности SEO стратегии в целом, и/или массовых/частных изменений. Он позволяет более тонко прощупывать изменения и накапливать базу данных, насмотренности и понимания своего продукта и того, какие действия приводят к тем или иным результатам.

В моих дальнейших планах я изучаю возможности автоматизации сбора всех типов необходимых для отчета данных, чтобы поставить этот процесс на поток и собрать удобный дашборд, который позволит держать руку на пульсе уже не только при глобальных изменениях, но на регулярной основе.