Как я сервис для A/B-тестов выбирал

Привет. Меня зовут Паша Злобин — я маркетолог-аналитик в IT-Agency. В агентстве я запускаю рекламные проекты для топовых компаний России, строю конвейер-гипотез и провожу A/B-тесты — всё ради непоправимой пользы клиентам.

А поскольку А/В-тесты занимают большую часть моего рабочего времени, я задался вопросом поиска стабильно работающего инструмента, который не стыдно показать большим клиентам. В статье расскажу, какие есть доступные варианты и их плюсы и минусы, а также разберу какой-нибудь более сложный инструмент. Поехали!

Многие наверняка помнят сервис Google Optimize. Как говорится родоначальник в области массовых АБ тестов для сайтов, во всяком случае для меня, в те времена юного маркетолога и моего ближайшего окружения. Гугловский сервис позволял с помощью удобного визуального редактора настраивать тесты на вашем сайте, меняя элементы, разделяя тестовый трафик и получая достоверные результаты для выводов.

Тем кто не в теме, например, хотите вы поменять заголовок на первом экране лендинга — пожалуйста, сервис вам в помощь. Сделайте два варианта с разными текстами, разделите трафик 50/50 или в нужной вам пропорции и на выходе получите данные, у кого глубина просмотра выше или время на сайте и тому подобные срезы.

Или думается вам, что нужно сократить количество полей в форме, чтобы повысить количество конверсий — без проблем. Сократите на тестовом варианте и посмотрите, какой из них принесёт больше конверсий.

Так вот после небольшого экскурса, я хочу рассказать, а какие вообще варианты для тестирования гипотез и увеличения конверсии на сайте есть.

Почему я говорю про российские сервисы? До начала СВО, я, как веб-аналитик не встречал сервисов в России. Может, конечно, потребность была не такая и Гугл Оптимайз её закрывал, но факт был в том, что зарубежных подобных сервисов было огромное количество. Виной тому, как мне кажется, служил бум стартапов, который и всполошил рынок немного ранее.

Но тут наступили всем известные события 2022 года, которые при только нарастающем спросе на АВ-тестирование обнажили дефицит отечественных разработок. Да, такой дефицит был везде — например, я в то время работал с несколькими облачными платформами, которые как одно из главных УТП стали ставить именно соблюдение отечественного 152-ФЗ о персональных данных.

Поэтому в России стали появляться аналогичные стартапы от крупных IT-компаний, чему я несказанно рад.

Но, давайте продолжать, после небольшой исторической справки, начать хочу с российского аналога Гугл Оптимайза. Почему не с самого гугловского сервиса? Всё просто, его больше нет! Да и как уже говорил, мы за про российские сервисы.

Яндекс одним из первых выпустил собственный продукт для А/В-тестирования. Он прекрасен тем, что есть бесплатная версия и доступен в обычном счётчике Яндекс Метрики. НО, тут есть свои подводные камни — функционал бесплатной версии сильно ограничен и использовать его для больших корпораций не имеет смысла.

На бесплатном триале можно тестить что-то небольшое, например, для своего блога, что я и покажу далее.

Платная версия есть, но с ней я не работал.

Официальный сайт сервиса вот тут.

Полностью российская разработка для продуктовой, поведенческой аналитики и АВ тестирования. Помимо этого платформа предоставляет сервис веб-аналитики, есть возможность персонализировать клиентский опыт и функционал профиля клиента. На рынок продукт вышел, судя по всему, даже чуть раньше Вариокуба и активно развивается.

Что касается цен - здесь мы также можем получить бесплатную версию (ограничена количеством MTU) и более серьезный функционал для крупного бизнеса. Тарифы прозрачны и размещены на сайте продукта.

Официальный сайт сервиса вот тут.

Ещё один российский сервис для А/В-тестирования. Судя по информации на сайте есть гибкая сегментация, фильтрация по собственным идентификаторам пользователей.

По описанию, продукт интересный. Забегая вперед, скажу, что к сожалению попробовать его на вкус у меня так и не получилось, т.к. для этого нужно подписывать договор. Во всяком случае я договорился о презентации и если будет что-то интересное, добавлю потом в статью.

Официальный сайт сервиса вот тут.

Поскольку я решил искать сервис для больших клиентов в агентстве, но при этом пробовать на рабочих проектах и одновременно показывать вам всё я не могу из-за NDA, тесты проведу на примере своего блога → pavezlo.ru

Мой блог создан на Вордпресс и, как я понял, после общения с разработчиком, особо разгуляться с АБ тестами не получится. Например, запустить в тест другой вариант серого узкого баннера не так-то просто ввиду того, что он реализован через виджеты Вордпресса в которых всё сложно.

Поэтому я решил брать что попроще и остановился на двух вариантах:

Далее, как уже говорил, я возьму российские сервисы и настрою в каждом АВ-тесты.

Перейдём непосредственно к заведению А/В-тестов. Сначала переходим в разделе эксперименты и жмём «Кампании разработка».

После нажатия кнопки «Добавить» появляется окно в котором и не так много настроек, я на старте ожидал тут увидеть полноценный блок с настройками, но тут мы чисто вводим название и выбираем наш домен.

Я завёл сразу два АВ-теста. Один на картинку для статьи и один для текста на главной, как и говорил ранее. Далее кликаем по названию теста и проваливаемся внутрь, где собственно и скрываются все настройки.

Там нужно сделать несколько важных вещей.

Чтобы в нём потом внести изменения и получать по ним данные.

Чаще всего это 50/50, но в зависимости от задачи, может различаться.

Чтобы оценивать эффективность АВ-тестов нужно определить, с помощью чего это будет делаться. Отправки формы, клики по кнопке, просмотры и т.д. В моём случае это клик по статье, чтобы перейти к её прочтению и просмотр страницы.

Для этого нужно перейти в соответствующий раздел и добавить их.

Важный этап, чтобы целевые действия у нас срабатывали и отслеживались, необходимо добавить их к страницам теста, в нашем случае это все страницы сайта. Идём в соответствующий раздел «Страницы».

И добавляем туда наши действия.

Остался один блок, причём самый ключевой, т.к. именно в нём нужно прописать изменения на сайте. Как я понял, там есть два варианта, сделать это через код либо непосредственно на сайте.

А поскольку я с кодом не очень дружу, я выбрал «Настроить на сайте». Давайте расскажу, как я настраивал тесты там.

Кратко говоря, в визуальном редакторе выбираем элемент, вносим в него правки, добавляем действие для отслеживания и сохраняем.

На финальном этапе остается только запустить АB-тест.

Аналитика запущенных тестов отслеживается в отдельном разделе. Покажу, что я получил по тесту картинки для статьи.

На картинке видно, что новый вариант картинки сильно проигрывает исходному варианту. Что собственно подтверждает и встроенный в сервис раздел рекомендаций.

Добавлю, что система сама рассчитывает вероятность ошибки и определяет продолжительность эксперимента (удобно - факт!)

Мне сервис понравился, он позволяет делать гибкие настройки фактически с любой сложностью реализации. При этом сначала множество блоков для настроек испугало, но в итоге каждый из них — это дополнительная возможность для настройки тестов. Кроме того, функционал позволяет реализовать гораздо более сложные гипотезы и изменение целых сценариев, что, безусловно, интересно крупным компаниям.

Отметил, что на старте разобраться самому сложно, поэтому используйте инструкции и помощь поддержки сервиса — всё подробно расскажут и покажут.

Второй тест я уже настраивал сам без их помощи и в целом всё получилось.

Для запуска АВ-теста в Вариакубе Яндекс Метрики нужно перейти в соответствующий раздел из меню счётчика.

После чего необходимо установить код счётчика Вариакуба на сайте. Процесс такой же как и с Метрикой, просто ставите в раздел head сайта нужный код и после этого у вас открывается возможность создавать эксперименты.

Создаём новый и называем его созвучно тестируемому элементу на сайте. В настройках есть отдельный блок про конверсии, с помощью которых можно отслеживать эффективность АВ-тестов. Это очень удобно, т.к. по идее это все цели которые и так используются в веб-аналитике и дополнительно настраивать ничего не нужно.

Самый важный блок это настройка вариантов теста. Тут также есть исходный вариант без изменений и возможность добавлять новые, для теста. По умолчанию один тестовый уже создан.

Вся настройка происходит в визуальном редакторе, для этого проваливаемся в «Вариант 1» (его кстати лучше переименовать в более понятное описание).

Тут выбираем нужный элемент и в специальном окне вносим изменения в текст. Как вы видите, там можно менять и цвет текста/фона, и размер. Также есть доступ к css и html коду, которые проще использовать разработчикам.

В Вариакубе мне понравилось, как отображаются результаты АБ-тестов. То есть помимо банальных лучше/хуже по конверсии и last click, сервис считает доверительный интервал и p-value — показатели, которые демонстрируют насколько достоверен АВ-тест и достаточно ли данных для однозначного принятия решений по эксперименту.

Я показал, как настраивать тесты в двух сервисах, но не коснулся прочих их функций. Кратко опишу основные из возможностей.

В рамках своих задач я попробовал два сервиса и могу их сравнить между собой. Если говорить о простоте и лёгкости запусков, то на мой взгляд выигрывает Вариакуб Яндекс Метрики, если говорить про вариативность настроек и гибкость — то, однозначно, UХ Rocket.

Основываясь на своём опыте запусков АВ-тестов для клиентов, бизнесу чаще всего нужна именно возможность настройки сложных, кастомных экспериментов, где лучше подойдёт UX Rocket. Для малого же бизнеса и своего блога — мне достаточно и Вариакуба.

Если вам нужна помощь в запуске АБ-тестов, пишите мне в Телеграм или подписывайтесь на мой блог — там я много делюсь статьями про аналитику и маркетинг.