[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "create", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-158433683", "adfox_url": "//ads.adfox.ru/228129/getCode?p1=bxbwd&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid21=&puid22=&puid31=&fmt=1&pr=" } } ]
{ "author_name": "Natalya Sturza", "author_type": "self", "tags": ["\u043a\u0435\u0439\u0441\u044b","a_b_\u0442\u0435\u0441\u0442\u0440\u043e\u0432\u0430\u043d\u0438\u0435","\u043e\u043d\u043b\u0430\u0439\u043d_\u0441\u0435\u0440\u0432\u0438\u0441\u044b_\u0434\u043b\u044f_a_b_\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f"], "comments": 18, "likes": 16, "favorites": 1, "is_advertisement": false, "section_name": "default", "id": "5538" }
Natalya Sturza
7 773

Кейс российского проекта: Какой онлайн-сервис для проведения А/B-тестирования выбрать

Команда Performance Media протестировала онлайн-сервисы для проведения экспериментов и написала для рубрики Growth Hacks обзор восьми инструментов для проведения А/В-тестирования.

Эксперимент начался с осознания важности и эффективности оптимизации конверсии, с прочтения статей в блогах Optimizely, VWO, KissMetrics и разделе Growth Hacks, c изучения кейсов — так мы дошли до понимания необходимости введения в своей компании практики проведения оптимизации целевых страниц.

Что мы делаем. Условно, приводим из различных каналов посетителей на созданные нами же посадочные страницы для совершения определенного целевого действия. Посетители уже таргетированы, а значит, мы ожидали хороших показателей конверсии. Но то, что получалось в результате не совсем нас радовало, и мы понимали, что можно добиваться больших результатов, получать больше лидов и, соответственно, больше прибыли, затратив при этом соизмеримо малые бюджеты на доведение посадочной страницы до «высококонверсионности».

Переломным моментом, после которого команда поверила, что нужно вводить практику оптимизации конверсий, стал банальнейший эксперимент по смене цвета кнопки на лендинге, увеличивший конверсию в 2,9 раза.

В целом, здесь будет описан опыт тестирования десятка онлайн-сервисов на реальных рекламных кампаниях. При выборе инструмента необходимо обращать внимание на ту функциональность, которая важна для вас.

Для нас это было:

  • Возможность бесплатно потестить сервис в полную силу. То есть на реальной рекламной кампании с большим потоком трафика. Бесплатный демо-период есть практически у всех сервисов. Те, у которых его нет, рассчитаны на крупные западные аналитически компании, где к каждому клиенту индивидуальный подход, мы такие не использовали (Monetate, Maxymiser, Sitespect).
  • Возможность загрузки своего варианта страницы. Это означает, что мы хотим создать свою красивую страничку и загрузить ее в сервис, там же сделать изменения в онлайн-редакторе и запустить тест. При этом страница остается на нашем домене, а сгенерированный в ходе настройки эксперимента скрипт вставляется на наш сайт. Далее трафик, приходящий на наш домен, распараллеливается между N-вариантами страниц: главной оригинальной страницей и N-количеством вариантов страниц, которые генерятся с помощью сервиса. Такая возможность есть не у всех сервисов. Нами не рассматривался вариант использования шаблонов сайтов или целевых страниц, хотя для кого-то это, вероятно, очень удобно.
  • Удобный и неглючный онлайн-редактор страниц. Онлайн-редакторы построены на основе методологии WYSIWYG (What You See Is What You Get — что видишь, то и получаешь) Так как у нас это был первый опыт проведения A/B-тестирования, было решено не заморачивать разработчиков созданием вариантов, а править элементы сайта посредством такой функциональности. Сразу скажу — для тех, кто очень мало понимает в разработке сайтов, такой редактор будет сложен в освоении, так как надо понимать, что такое HTML, CSS и даже JS. Неудобные, громоздкие или совсем неудачные редакторы со стороны UI у следующих сервисов: lpgenerator, Abtest (им простительно, закрылись не выдержав отсутствия интереса со стороны российского рынка), Landerapp. Удобные и приятные в сравнении с предыдущими: Convert, Unbounce (тут вообще полноценный конструктор страницы, жаль только на основе готовых шаблонов сервиса), VWO, Optimizely. Некоторые сервисы не удалось попробовать — или слетал CSS загруженной страницы во всех браузерах или слетал в Safari, что к данному моменту исправлено.
  • Правильное подцепление целей. Несложные цели можно настраивать прямо в сервисах, это как правило click-трекинг и посещение страниц, но в некоторых есть и учет кастомных JS-событий.
  • Цена. Тут каждому свое, в таблице приведены тарифы использованных сервисов. Мы не остановились ни на одном, так как еще на демо-периоде исключили все неподходящие, и у нас не осталось ни одного.

Unbounce (создание страниц только внутри сервиса)

Сайт: unbounce.com

Поддержка тестирования: A/B.

Тарифные планы:

  • $49 — 5 тысяч посетителей.
  • $99 — 25 тысяч посетителей.
  • $199 — 200 тысяч посетителей.

Шаблоны, редактор: шаблоны и онлайн-конструктор.

Демоверсия: 30 дней.

Платформа для создания посадочных страниц и ведения маркетинговых кампаний, имеющая внутри себя функциональность A/B и MVT-тестирования, так как интегрирована VWO.

Конструктор страниц довольно удобный и приятный в использовании. Не нашли, как загрузить свою страницу для изменения, что очевидно, так как сервис позиционируется как инструмент для создания страниц без разработчиков. Шаблоны страниц тусклые и неинтересные. В сервисе есть не просто онлайн-редактор блоков, а полноценный онлайн-конструктр, с помощью которого можно создать простую страницу с 0.

Интеграция с сервисами: MailChimp, Google Analytics, CRM-системами.

VWO

Сайт: vwo.com

Поддержка тестирования: A/B, MVT и тестирование iOS-приложений.

Тарифные планы:

  • $49 — 10 тысяч посетителей.
  • $499 — 40 тысяч посетителей.
  • Индивидуальный тарифный план — около миллиона посетителей в месяц, тестирование на мобильных, связанные аккаунты, личный консультант.

Шаблоны и редактор: онлайн-редактор.

Демоверсия: 14 дней.

Трекинг целей: сlick-трекинг, просмотры страниц и настраиваемые JS-события.

Очень приятный и понятный интерфейс, самый удобный из онлайн-редакторов, различные варианты настройки трекинга целей — посещение страниц, отправка форм, клики, кастомные события, интеграция с Google Tag Manager, классные отчеты об экспериментах, тепловая карта.

На самом деле, этот сервис понравился больше всех остальных, но в первом тесте у нас не подгрузился CSS, что далее было исправлено с помощью техподдержки сайта. Но мы в этот момент доросли уже до тестирования более серьезных изменений, которые онлайн-редактором произвести невозможно.

Сервис развивается постоянно, есть дополнительные приятные вещи — например, идеи для экспериментов, пошаговая инструкция по сложной функциональности, калькуляторы расчета значимости.

Convert

Сайт: convert.com

Поддержка тестирования: A/B, MVT.

Тарифные планы:

  • $9 — 2 тысячи посетителей.
  • $29 — 10 тысяч посетителей, MVT.
  • $59 — 30 тысяч посетителей, MVT.
  • $99 — 50 тысяч посетителей, MVT, тестирование мобильных сайтов.
  • $139-$1499 — тарифные планы для агентств. Безлимитное количество проектов и тестов, онлайн-поддержка, интеграция с Google-Analytics.

Шаблоны и редактор: онлайн-редактор.

Демоверсия: 15 дней.

Удобный редактор своих страниц. Приятный сочный интерфейс, понятные отчеты, но логика трудна для понимая — к этому сервису дольше всего привыкали.

Из минусов — есть дополнительные барьеры для начала эксперимента вроде того, что нужно где-то в глубине найти кнопку, по которой подключить загруженную страницу. Кроме того, есть путаница в разделе целей по разным экспериментам — они отображаются в общем неразделенном по экспериментам разделе.

Периодически перестает считать цели, выявлялись ошибки и недоработки сервиса, исправлялись техподдержкой, но на следующий день трекинг целей опять слетал по неизвестной причине.

Техподдержка, действительно, заслуживает отдельной похвалы — быстро, содержательно и дружелюбно отвечают (они из Канады).

Clickthroo (создание страниц только внутри сервиса)

Сайт: clickthroo.com

Поддержка тестирования: A/B.

Тарифные планы:

  • $195 — 50 тысяч посетителей, 5 проектов.
  • $395 — 100 тысяч посетителей, 10 проектов.
  • $695 — 100 тысяч посетителей, безлимитное количество проектов.
  • $1195 — 250 тысяч посетителей, безлимитное количество проектов.

Шаблоны и редактор: шаблоны и онлайн-конструктор.

Трекинг целей: посещение страницы, установка пикселя, iframe, JS-событие.

Демо-версия: 14 дней демо-доступа.

Понятный и удобный сервис, таргетирование трафика, понятный онлайн-редактор. Минусы: нет возможности загрузки собственных страниц, есть шаблоны в виде разметки блоков страниц, для начинающих будет непонятным блок трекинга целей.

Функциональности очень много, но при этом работать это должно через шаблоны, нет описания, как какую опцию интегрировать в шаблон.

Abtasty

Сайт: abtasty.com

Поддержка тестирования: A/B, MVT.

Тарифные планы:

  • Бесплатно — до 2 тысяч посетителей, неограниченное количество тестов, проектов и вариантов страниц, до 30 дней.
  • 40-220 евро — от 10 до 100 тысяч, неограниченное количество проектов и тестов.
  • Premium-тариф с индивидуальными настройками — от 10 тысяч до 1 млн посетителей, мультивариантное тестирование, геотаргетинг, сегментирование и прочее.

Шаблоны и редактор: онлайн-редактор.

Трекинг целей: Click-трекинг, JS-события, просмотры, e-commerce.

Демоверсия: 30 дней.

Удобный и простой редактор. Удобно цепляются цели тестирования. Время на изучение почти не потребовалось — интерфейс очень простой и понятный. Цели считаются очень хорошо. Большой простор для настройки всяких параметров, таргетинга.

Однако начала слетать верстка тех элементов, которые даже не трогались в редакторе. Проблема не ушла, техподдержка не решила. Сейчас в техподдержку нельзя написать с демо-аккаунта. При размещении страницы на своей стороне появился бесконечный редирект, отчего странницы стали мигать, перепрыгивая с одного на другой вариант.

Удалили все эксперименты, так как рекламная кампания шла полным ходом.

Optimizely

Сайт: optimizely.com

Поддержка тестирования: А/В и MVT.

Тарифные планы:

  • $19 — 2 тысячи посетителей, 1 проект, таргетинг, персонализация, тестирование мобильных сайтов.
  • $79 — 20 тысяч посетителей, 2 проекта, кросс-браузерное тестирование.
  • $399 — 200 тысяч посетителей, 5 проектов, мультивариантное тестирование, сегментация.
  • Безлимитный тариф — геотаргетинг, история тестирования, IP-таргетинг, безлимитное число проектов.

Шаблоны и редактор: онлайн-редактор.

Трекинг целей: просмотры, клики на элементы, кастомные JS-события.

Демоверсия: 30 дней.

Приятный редактор, удобный интерфейс, понятная настройка целей тестирования. Интеграция с сервисами аналитики MixxPanel, Google Analytics, KISSMetrics, ClickTale и другими.

Возникали проблемы с загрузкой СSS в Safari, через некоторое время были устранены разработчиками, но к тому времени нам было уже неактуально использование сервиса.

В целом положительные впечатления.

ABtest

Сайт: abtest.ru

Тарифные планы: использование сервиса бесплатно, разработчики перевели использование в бета-режим и развивать далее не собираются (по их словам).

Редактор: разрешает подгружать свои страницы в ужасно глючный онлайн-редактор.

Трекинг: позволяет подсчитывать цели — посещение страниц, клики по блокам, JS-события.

Остались недовольны использованием сервиса, до реальной РК не дошло — еще на этапе внесения изменений в подгруженную страницу через WYSIWYG-редактор слетали измененные блоки: произвольно меняли положение и сдвигались.

CEO проекта заявил, что далее не планирует развивать сервис, так как он не нашел своего рынка в РФ.

LPgenerator (создание страниц только внутри сервиса)

Сайт: lpgenerator.ru

Тарифные планы:

  • 1240 рублей — 3 500 посетителей, 2 домена, 25 страниц.
  • 1960 рублей — 9 тысяч посетителей, 5 доменов, 50 страниц.
  • 3999 рублей — трафик, количество доменов и страниц не ограничено, подключение собственных доменов.
  • 14 730 рублей — трафик, количество доменов и страниц не ограничено, подключение собственных доменов, 15 клиентских аккаунтов, персональный брендинг.

Демоверсия: 14 дней.

Сервис позиционируется как платформа для создания посадочных страниц из шаблонов, собственно, поэтому нет возможности загрузки собственных вариантов сайта и поэтому до использования его в эксперименте не дошли.

Есть свой набор шаблонов и платных и бесплатных. Редактор требует временных затрат для изучения. Огромная и удобная функциональность, оперативная техподдержка, интеграция с сервисами аналитики, сервисами email-рассылки, CRM-системами, телефонией и прочим.

Специально не стали здесь анализировать возможность проведения тестов в GA Experiments, так как его использование влечет создание дополнительных вариантов страниц на вашей стороне, то есть силами разработчиков, а здесь мы рассмотрели сервисы, с помощью которых даже далекий от кодинга человек сможет провести А/B-тестирование на своем сайте.

Ниже сравнительная таблица по сервисам:

Сервис Стоимость A/B или MVT Шаблоны, редактор Дней демо-доступа Объект тестирования
Unbounce
$49-$199 A/B и MVT шаблоны и конструктор 30 веб-страницы
VWO
$49-$499 A/B и MVT редактор 14 веб-страницы и iOS
Convert
$9-$1499 A/B и MVT редактор 15 веб и мобильные страницы
Clickthroo
$195-$1195 A/B шаблоны и конструктор 14 веб-страницы
ABTesty
$51-$278 A/B и MVT редактор 30 веб-страницы
Optimizely
$19-$399 A/B и MVT редактор 30 веб и мобильные страницы, iOS
ABtest
бесплатно A/B редактор - веб-страницы
LPgenerator $30-$352 A/B шаблоны и редактор 14 веб и мобильные страницы

К чему пришли сейчас

Онлайн-сервисы проведения экспериментов годятся для новичков, тех, кто только начинает свой путь в оптимизации конверсии. Они являются хорошим инструментом, чтобы начать и разобраться в мелких ньюансах, а также начать работу без разработчиков. Вот почему:

  • У сервисов нет возможности правильной настройки целей, так как в основной массе — это click-трекинг.
  • Постоянно что-то слетает — это техническая сторона сервисов, касающаяся генерации второго и n-нных вариантов из исходной страницы. Такого нельзя позволить при РК с большим трафиком или CPA.
  • Нет возможности вносить качественные изменения в переменные. Протестировать заголовок, цвет кнопки — пожалуйста, но ничего на порядок сложнее.

Сейчас мы разработали свою методику формирования гипотез и проведения экспериментов. И теперь работаем только с Ga Exp и проводим только мультивариантное тестирование.


Присылайте собственные кейсы, в результате которых вам удалось заметно улучшить (или, наоборот, ухудшить) показатели проекта. Интересные эксперименты обязательно попадут на страницы рубрики Growth Hacks.

#Кейсы #A_B_тестрование #онлайн_сервисы_для_A_B_тестирования

Статьи по теме
Эксперименты с App Store: Как приложению 7 Minute Workout удалось получить 1,5 млн загрузок
Кейс: Как приложение CoinKeeper увеличивало средний чек и количество платящих клиентов
Популярные материалы
Показать еще
{ "is_needs_advanced_access": false }

Комментарии Комм.

0 новых

Популярные

По порядку

Прямой эфир

Команда калифорнийского проекта
оказалась нейронной сетью
Подписаться на push-уведомления