SEO-эксперименты от Pinterest

SEO один из драйверов роста для Pinterest. Однако не всегда просто найти выигрышные стратегии в наших масштабах. Тактика SEO включает пробы самых известных методик в надежде найти лучшую. В один день трафик может быть хорошим, в другой – плохим. И вы точно не знаете, что повлияло на это. Из-за таких ситуаций SEO воспринимают как магию.

Цель нашего SEO – помочь миллионам интернет-пользователей открыть для себя Pinterest и оценить его в качестве инструмента с визуальными закладками. Спустя время мы поняли, что единственный способ понять, положительно ли влияют изменения на поведение пользователя – это запустить A/B тестирование. К сожалению, у нас не было подобных инструментов для теста поисковых систем, поэтому мы создали экспериментальный фреймворк, и использовали его, чтобы превратить “магию” в науку.

С помощью фреймворка мы хотели создать инструмент, который позволяет мерить эффект, который оказывают изменения в контенте, и что более важно общий прирост пользователей.

Инструмент включает три компонента:

• Конфигурации экспериментов и групповых диапазонов
• Ежедневный сбор данных для расчета трафика на страницы в каждой экспериментальной группе (мы измеряем трафик по количеству уникальных сессий, направленных поисковыми системами на страницы Pinterest).
• Дашборд для отображения результатов.

Обычно A/B тестирование проводится по сегментам пользователей, мы сегментировали страницы. Например, 50% страниц были в экспериментальной группе (enabled), другие 50% в контрольной (control). Страницы распределялись на основе их URL:

‘enabled’ if hash(experiment_name + page_url) in enabled_group_range

‘control’ if hash(experiment_name + page_url) in control_group_range

Хэширование URL страницы вместе с названием эксперимента обеспечивало равномерное распределение страниц между группами и позволяло проводить множество экспериментов с различными размерами групп одновременно.

После запуска эксперимента мы измеряем эффект каждой группы, сравнения траффик.

Мы видим, что трафик между двумя группами не был одинаковым еще до начала эксперимента, экспериментальная группа получала немного больше, чем контрольная. Это связано с тем, что некоторые страницы популярнее других, поэтому вне зависимости от того, как мы их распределяли, различия в трафике между группами могли сохраняться. Для того, чтобы сократить этот разброс и недельные колебания, мы заново отобразим эти данные с разницей между двумя группами на следующем рисунке:

Теперь проще увидеть, что трафик у экспериментальной группы увеличился после запуска.

Для измерения эффективности эксперимента, мы сравнили среднюю разницу до и после запуска. Расстояние между двумя линиями на последнем рисунке, отмеченных точками, это показатель среднего прироста или потери в процессе эксперимента.

Существуют сотни методов поисковой оптимизации: карта сайта, ссылки, дизайн, упрощающий работу поиска, и так далее. Стратегия успешного SEO может отличаться в зависимости от продукта, страницы, и даже времени года. Определение того, что лучше всего подходит для каждого случая, помогает нам расти, даже если мы располагаем ограниченными ресурсами. Проведя большое количество экспериментов, мы выяснили, что некоторые известные SEO приемы не сработали, в то же время те методы, в которых мы не были уверены, работали как часы.

Например, однажды мы заметили, что Google Webmaster Tool обнаружил слишком много дубликатов тега Title на страницах бордов. Теги Title были установлены как “{board_name} on Pinterest”. Существует множество бордов, созданных разными пользователями с одинаковыми именами. Как известно, тег Title является важным фактором в SEO, и мы задались вопросом: не приведет ли сохранение уникальности тегов к увеличению траффика? Мы провели эксперимент по сокращению дубликатов тега Title, включив пин в расчет при определении тега “{board_name} on Pinterest | ({number} Pins)”. Но в итоге обнаружили, что статистически значимых изменений между двумя группами не оказалось.

Что же в итоге сработало? Pinterest заполнен десятками миллиардов пинов, но текстовые описания у них могут отсутствовать. Мы предположили, что решением проблемы будет улучшение текстового контента на страницах, и начали с относительно простого подхода по улучшению текста. Пины добавляются различными пользователями, и некоторые содержат более подробное описание. Для многих пинов мы брали наилучшее описание из других пинов, которые содержали то же самое изображение, и добавляли его к основному тексту. Результаты эксперимента превзошли наши ожидания, и мы решили больше инвестировать в текстовые описания с использованием сложных технологий, например таких, как визуальный анализ. Серия последующих экспериментов показала более чем 30% рост траффика в прошлом году.

В большинстве случаев влияние эксперимента на траффик обнаруживается через пару дней после запуска. Разница между группами продолжает расти в течение одной-двух недель, пока не станет устойчивой. Подобные знания не только помогают нам быстрее запускать успешные эксперименты, но также отключать неудачные эксперименты как можно раньше. Но путь к этим знаниям весьма тернист.

На рисунке показаны результаты эксперимента по тесту рендеринга на JavaScript для увеличения производительности страниц. Нашей главной задачей было убедиться, что изменения не окажут негативного влияния на SEO. Мы заметили небольшое падение трафика на второй день, но решили подождать еще немного, так как подумали, что для настройки краулеров может потребоваться больше времени.

К сожалению, никакого восстановления траффика не произошло, и мы отключили эксперимент, но слишком поздно –– через несколько дней. В результате на восстановление траффика страниц экспериментальноый группы ушел почти месяц. Зато теперь мы знаем, как и когда принимать решения в подобных ситуациях. Кроме того, мы узнали о важности проведения экспериментов для не-SEO проектов, чтобы доказать, что они не оказывают негативного влияния на SEO.

Вышеупомянутый эксперимент, возможно, оказался провальным, но его успех заключается в том, что он предотвратил колоссальное падение трафика в гипотетически возможной ситуации. Обычно мы проводим SEO эксперименты по всем глобальным изменениям, влияющим на технические страницы. В частности, основные изменения в макетах, тегах заголовков, формах регистрации и рендеринг контента с помощью JavaScript должны быть протестированы с помощью экспериментального фреймворка.

Мы все еще находимся на ранней стадии расширения масштабов SEO экспериментов. В планах усовершенствование существующего фреймворка, добавление возможностей для сегментации и фильтрации, что позволит запускать более сложные и разнообразные эксперименты.

Джулия Ан, инженер-программист Growth-тим в Pinterest

Этот текст мы перевели специально для телеграм-канала «Маркетинг по науке». Подписывайтесь!