A/B, или сплит-тест в SEO: как не уснуть со скуки

Цель A/B теста достаточно проста – определить наилучший вариант из двух или нескольких возможных. После этой фразы обычно идет описание инструментов тестирования, примеры на английском, анализ данных... Я тоже раньше скептически относилась к данным тестам, пока наконец не разобрала суть и плюсы данного метода.

К слову, не обещаю, что при чтении моей статьи вы тоже не заскучаете. Но это попытка разжевать и объяснить доступным языком классную фишку в SEO.

• Определение A/B теста
• Создание гипотезы
  
• Title и description в тестировании
  
• И все-таки, когда нужно проводить тестирование?
  
• A/B тест + Python = ❤
  
• Когда лучше избежать сплит-теста?
  

A/B тестирование — это сплит-тест, который проводится путем деления аудитории на сегменты. Например, группе "1" показываем новую категорию сайта с внедренной фильтрацией, а группе "2" – старую версию, которой пользовались до этого все юзеры (или наоборот). Эффективность наших изменений оцениваем по группе "1", группа "2" служит нам стандартным значением.

Проще говоря, мы поделили их на A и B группы.

1 пользователь = 1 сегмент. Вы можете присвоить для разных визитов на 2 версии свои utm-метки и отслеживать данные в Метрике или Analytics, отсеивая случайные заходы, внутренние переходы и своих сотрудников.

Как вы их создаете и разделяете сегменты, зависит только от вас. Однако важно помнить, что страницы, которые вы тестируете должны иметь (желательно) схожие показатели трафика или конверсии . Также, безусловно, имеет смысл учитывать внешние факторы, которые могут повлиять на результаты вашего эксперимента.

Гипотеза — это предсказание результатов вашего эксперимента. Если ваша цель — поднять позиции в поиске, повысить количество и качество трафика, иногда все же необходимо проводить тесты A/B в SEO.

Например, вы стараетесь повысить позиции в Яндексе, переписывая мета-теги, текст, внедряя коммерческие факторы... Однако алгоритмы Яндекса могут работать совершенно по-разному в различных нишах. Одинаково одно – сайт/страница должны быть релевантными.

Учитывая это, мы предполагаем, что дав пользователю качественный контент и выбор, мы повысим релевантность страницы, что, возможно, повлияет на результаты по трафику или конверсии.

С чего можно начать в сплит-тестировании?

Допустим, мы написали мы симпатичных мета-тегов для страниц по продаже кухонь:

Вместо CTR вы можете выбрать любой удобный для себя показатель: количество переходов, достижение цели, заказ обратного звонка – смотря, каких целей вы добиваетесь и на что ориентирован ваш тест. Сейчас нам важно проверить, какие мета-теги "заходят" не только поисковым системами, но и потенциальным клиентам.

Что по итогу показал сплит-тест:

Сразу отвечая на возможные вопросы: это не CTR отдельного мета-тега, а CTR страницы с данным мета-тегом. То есть учитывайте, что вам придется выводить среднее значение, если вы тестируете сразу оба элемента.

Благодаря именно срезу кликабельности, а не перебирая возможные мета-теги в попытке угадать настроение поисковой системы и пользователей, страница сейчас на 4 месте в Яндексе по Уфе:

К слову, хорошо парсит теги из ТОПа выдачи данный инструмент, что избавит вас от подборов вручную. Впрочем, что-то делать вручную в SEO – это уже почти моветон :)

А что там по Аналитике, которая предоставляет даже более точный срез и спектр исследований? Как раз его можно использовать, если вам нужно протестировать элементы на странице, а не текстовые факторы.

Переходим в исследования и создаем тест:

Например, мне недавно нужно было понять количество пользователей на сайте Реформа, которые выбирают Jivosite в качестве связи с менеджером, и которые кликают по номеру в шапке сайта. В принципе, это можно примерно посмотреть в Метрике, или запросить информацию у колл-центра, но нам же интересно наложение сегментов.

Выбираем необходимые параметры и запускаем тест:

Также можно сразу в A/B тестировании сравнить статистику пользователей по потокам, но это для продвинутых SEO-специалистов (впрочем, на VC все такие):

Зачем нужно эти непонятные циферки, спросят обычные пользователи? Чтобы идентифицировать каждый поток и собирать с него статистику действий на сайте:

Если вы провели эксперимент правильно, то в итоге позиции (или другой показатель) сайта могут вырасти.

Но если нам так важны результаты, почему бы не провести тестирование в одном разделе, а затем применить получившиеся данные ко всему сайту?

Во-первых, без грамотного A/B теста не обходится ни один крупный интернет-магазин или маркетплейс. Необходимо понять, что больше понравится потребителю: карточка товара "Сахар 5кг" с описанием вплоть до качества крупинок, либо карточка с сухим указанием производителя и цены за 100гр/1кг.

Во-вторых, вы ставите теорию, придумываете гипотезу и получаете результаты эксперимента. Если вы остановитесь только на первом пункте, можете потерять время, трафик и потенциальных клиентов.

В третьих, сплит-тест можно провести в любом масштабе и объеме. Можете анализировать весь сайт, а можете отдельные страницы. Последнее сильно не повлияет на общий трафик.

Здесь абзац для тех, кто более-менее понимает в питоне. Если для вас данный язык программирования пока незнаком, рекомендую перейти к следующему разделу.

В принципе, почти любой алгоритм в SEO сейчас можно "запитонить". Если взять группы A и B, присвойте им свои переменные. Но аккуратнее: единственным различием между группами будет являться то, что вы измеряете. Так что сложных тестов здесь проводить не нужно – но выборка может быть огромная.

Для зависимой переменной (т. е. что мы пытаемся измерить) фиксируем значение X (что меряем) rate.

• 0 – Пользователь совершил конверсию
• 1 – Пользователь не совершил конверсию.
  

Устанавливаем переменные для нужных значений:

• Статистическая разница между группами в тесте, когда разница действительно присутствует. Допустим, вы ее установили на уровне 0,8.
• Критическое значение, которое зависит от уровня достоверности. Допустим, он равен 90%, значит, ваше критическое значение – 0,1.
• Эффективность — насколько велика ожидаемая разница между коэффициентами.

Пример скрипта тут. Далее выгружаем статистические данные в DataFrame? вам еще нужно будет установить переменные для ваших групп – думаю, если вы дошли до данного этапа, с выгрузкой и анализом данных вы уже справитесь.

Огромный плюс в том, что данный метод позволяет анализировать действительно огромные выборки и маркетплейсы.

1. Не запускайте тестирование, когда на трафик влияет сезонность. Получите неверные данные и расстроитесь.
2. То же самое относится и к глобальным изменениям на сайте. Захотите переделать сайт и провести тест – пожалуйста, но после внедрения всех изменений и индексирования их поисковыми системами.
3. Если не сохранилась исходная страница со старыми данными.
4. Не установлен тег rel=canonical" для страниц. Каноникл указывает исходную страницу, которую следует проиндексировать. Это помогает избежать случайной индексации другой дублирующей тестовой страницы.
5. И наконец, вы убеждены на все 100%, что ваши страницы индексируют обе поисковые системы. Ну, мало ли что бывает.

Допом хорошие статьи по A/B тестированию:

• https://askusers.ru/blog/seo/a-b-testirovanie-sayta/
  
• https://www.ashmanov.com/education/articles/a-b-testirovanie/
• https://semantica.in/blog/kak-provodit-a-b-testirovanie-dlya-seo-perevod.html

Резюмирую: не бойтесь изучать новое в своей сфере, иногда это очень полезно и интересно :)