Лого vc.ru

Кейс российского проекта: Какой онлайн-сервис для проведения А/B-тестирования выбрать

Кейс российского проекта: Какой онлайн-сервис для проведения А/B-тестирования выбрать

Команда Performance Media протестировала онлайн-сервисы для проведения экспериментов и написала для рубрики Growth Hacks обзор восьми инструментов для проведения А/В-тестирования.

Поделиться

Эксперимент начался с осознания важности и эффективности оптимизации конверсии, с прочтения статей в блогах Optimizely, VWO, KissMetrics и разделе Growth Hacks, c изучения кейсов — так мы дошли до понимания необходимости введения в своей компании практики проведения оптимизации целевых страниц.

Что мы делаем. Условно, приводим из различных каналов посетителей на созданные нами же посадочные страницы для совершения определенного целевого действия. Посетители уже таргетированы, а значит, мы ожидали хороших показателей конверсии. Но то, что получалось в результате не совсем нас радовало, и мы понимали, что можно добиваться больших результатов, получать больше лидов и, соответственно, больше прибыли, затратив при этом соизмеримо малые бюджеты на доведение посадочной страницы до «высококонверсионности».

Переломным моментом, после которого команда поверила, что нужно вводить практику оптимизации конверсий, стал банальнейший эксперимент по смене цвета кнопки на лендинге, увеличивший конверсию в 2,9 раза.

В целом, здесь будет описан опыт тестирования десятка онлайн-сервисов на реальных рекламных кампаниях. При выборе инструмента необходимо обращать внимание на ту функциональность, которая важна для вас.

Для нас это было:

  • Возможность бесплатно потестить сервис в полную силу. То есть на реальной рекламной кампании с большим потоком трафика. Бесплатный демо-период есть практически у всех сервисов. Те, у которых его нет, рассчитаны на крупные западные аналитически компании, где к каждому клиенту индивидуальный подход, мы такие не использовали (Monetate, Maxymiser, Sitespect).
  • Возможность загрузки своего варианта страницы. Это означает, что мы хотим создать свою красивую страничку и загрузить ее в сервис, там же сделать изменения в онлайн-редакторе и запустить тест. При этом страница остается на нашем домене, а сгенерированный в ходе настройки эксперимента скрипт вставляется на наш сайт. Далее трафик, приходящий на наш домен, распараллеливается между N-вариантами страниц: главной оригинальной страницей и N-количеством вариантов страниц, которые генерятся с помощью сервиса. Такая возможность есть не у всех сервисов. Нами не рассматривался вариант использования шаблонов сайтов или целевых страниц, хотя для кого-то это, вероятно, очень удобно.
  • Удобный и неглючный онлайн-редактор страниц. Онлайн-редакторы построены на основе методологии WYSIWYG (What You See Is What You Get — что видишь, то и получаешь) Так как у нас это был первый опыт проведения A/B-тестирования, было решено не заморачивать разработчиков созданием вариантов, а править элементы сайта посредством такой функциональности. Сразу скажу — для тех, кто очень мало понимает в разработке сайтов, такой редактор будет сложен в освоении, так как надо понимать, что такое HTML, CSS и даже JS. Неудобные, громоздкие или совсем неудачные редакторы со стороны UI у следующих сервисов: lpgenerator, Abtest (им простительно, закрылись не выдержав отсутствия интереса со стороны российского рынка), Landerapp. Удобные и приятные в сравнении с предыдущими: Convert, Unbounce (тут вообще полноценный конструктор страницы, жаль только на основе готовых шаблонов сервиса), VWO, Optimizely. Некоторые сервисы не удалось попробовать — или слетал CSS загруженной страницы во всех браузерах или слетал в Safari, что к данному моменту исправлено.
  • Правильное подцепление целей. Несложные цели можно настраивать прямо в сервисах, это как правило click-трекинг и посещение страниц, но в некоторых есть и учет кастомных JS-событий.
  • Цена. Тут каждому свое, в таблице приведены тарифы использованных сервисов. Мы не остановились ни на одном, так как еще на демо-периоде исключили все неподходящие, и у нас не осталось ни одного.

Unbounce (создание страниц только внутри сервиса)

Сайт: unbounce.com

Поддержка тестирования: A/B.

Тарифные планы:

  • $49 — 5 тысяч посетителей.
  • $99 — 25 тысяч посетителей.
  • $199 — 200 тысяч посетителей.

Шаблоны, редактор: шаблоны и онлайн-конструктор.

Демоверсия: 30 дней.

Платформа для создания посадочных страниц и ведения маркетинговых кампаний, имеющая внутри себя функциональность A/B и MVT-тестирования, так как интегрирована VWO.

Конструктор страниц довольно удобный и приятный в использовании. Не нашли, как загрузить свою страницу для изменения, что очевидно, так как сервис позиционируется как инструмент для создания страниц без разработчиков. Шаблоны страниц тусклые и неинтересные. В сервисе есть не просто онлайн-редактор блоков, а полноценный онлайн-конструктр, с помощью которого можно создать простую страницу с 0.

Интеграция с сервисами: MailChimp, Google Analytics, CRM-системами.

VWO

Сайт: vwo.com

Поддержка тестирования: A/B, MVT и тестирование iOS-приложений.

Тарифные планы:

  • $49 — 10 тысяч посетителей.
  • $499 — 40 тысяч посетителей.
  • Индивидуальный тарифный план — около миллиона посетителей в месяц, тестирование на мобильных, связанные аккаунты, личный консультант.

Шаблоны и редактор: онлайн-редактор.

Демоверсия: 14 дней.

Трекинг целей: сlick-трекинг, просмотры страниц и настраиваемые JS-события.

Очень приятный и понятный интерфейс, самый удобный из онлайн-редакторов, различные варианты настройки трекинга целей — посещение страниц, отправка форм, клики, кастомные события, интеграция с Google Tag Manager, классные отчеты об экспериментах, тепловая карта.

На самом деле, этот сервис понравился больше всех остальных, но в первом тесте у нас не подгрузился CSS, что далее было исправлено с помощью техподдержки сайта. Но мы в этот момент доросли уже до тестирования более серьезных изменений, которые онлайн-редактором произвести невозможно.

Сервис развивается постоянно, есть дополнительные приятные вещи — например, идеи для экспериментов, пошаговая инструкция по сложной функциональности, калькуляторы расчета значимости.

Convert

Сайт: convert.com

Поддержка тестирования: A/B, MVT.

Тарифные планы:

  • $9 — 2 тысячи посетителей.
  • $29 — 10 тысяч посетителей, MVT.
  • $59 — 30 тысяч посетителей, MVT.
  • $99 — 50 тысяч посетителей, MVT, тестирование мобильных сайтов.
  • $139-$1499 — тарифные планы для агентств. Безлимитное количество проектов и тестов, онлайн-поддержка, интеграция с Google-Analytics.

Шаблоны и редактор: онлайн-редактор.

Демоверсия: 15 дней.

Удобный редактор своих страниц. Приятный сочный интерфейс, понятные отчеты, но логика трудна для понимая — к этому сервису дольше всего привыкали.

Из минусов — есть дополнительные барьеры для начала эксперимента вроде того, что нужно где-то в глубине найти кнопку, по которой подключить загруженную страницу. Кроме того, есть путаница в разделе целей по разным экспериментам — они отображаются в общем неразделенном по экспериментам разделе.

Периодически перестает считать цели, выявлялись ошибки и недоработки сервиса, исправлялись техподдержкой, но на следующий день трекинг целей опять слетал по неизвестной причине.

Техподдержка, действительно, заслуживает отдельной похвалы — быстро, содержательно и дружелюбно отвечают (они из Канады).

Clickthroo (создание страниц только внутри сервиса)

Сайт: clickthroo.com

Поддержка тестирования: A/B.

Тарифные планы:

  • $195 — 50 тысяч посетителей, 5 проектов.
  • $395 — 100 тысяч посетителей, 10 проектов.
  • $695 — 100 тысяч посетителей, безлимитное количество проектов.
  • $1195 — 250 тысяч посетителей, безлимитное количество проектов.

Шаблоны и редактор: шаблоны и онлайн-конструктор.

Трекинг целей: посещение страницы, установка пикселя, iframe, JS-событие.

Демо-версия: 14 дней демо-доступа.

Понятный и удобный сервис, таргетирование трафика, понятный онлайн-редактор. Минусы: нет возможности загрузки собственных страниц, есть шаблоны в виде разметки блоков страниц, для начинающих будет непонятным блок трекинга целей.

Функциональности очень много, но при этом работать это должно через шаблоны, нет описания, как какую опцию интегрировать в шаблон.

Abtasty

Сайт: abtasty.com

Поддержка тестирования: A/B, MVT.

Тарифные планы:

  • Бесплатно — до 2 тысяч посетителей, неограниченное количество тестов, проектов и вариантов страниц, до 30 дней.
  • 40-220 евро — от 10 до 100 тысяч, неограниченное количество проектов и тестов.
  • Premium-тариф с индивидуальными настройками — от 10 тысяч до 1 млн посетителей, мультивариантное тестирование, геотаргетинг, сегментирование и прочее.

Шаблоны и редактор: онлайн-редактор.

Трекинг целей: Click-трекинг, JS-события, просмотры, e-commerce.

Демоверсия: 30 дней.

Удобный и простой редактор. Удобно цепляются цели тестирования. Время на изучение почти не потребовалось — интерфейс очень простой и понятный. Цели считаются очень хорошо. Большой простор для настройки всяких параметров, таргетинга.

Однако начала слетать верстка тех элементов, которые даже не трогались в редакторе. Проблема не ушла, техподдержка не решила. Сейчас в техподдержку нельзя написать с демо-аккаунта. При размещении страницы на своей стороне появился бесконечный редирект, отчего странницы стали мигать, перепрыгивая с одного на другой вариант.

Удалили все эксперименты, так как рекламная кампания шла полным ходом.

Optimizely

Сайт: optimizely.com

Поддержка тестирования: А/В и MVT.

Тарифные планы:

  • $19 — 2 тысячи посетителей, 1 проект, таргетинг, персонализация, тестирование мобильных сайтов.
  • $79 — 20 тысяч посетителей, 2 проекта, кросс-браузерное тестирование.
  • $399 — 200 тысяч посетителей, 5 проектов, мультивариантное тестирование, сегментация.
  • Безлимитный тариф — геотаргетинг, история тестирования, IP-таргетинг, безлимитное число проектов.

Шаблоны и редактор: онлайн-редактор.

Трекинг целей: просмотры, клики на элементы, кастомные JS-события.

Демоверсия: 30 дней.

Приятный редактор, удобный интерфейс, понятная настройка целей тестирования. Интеграция с сервисами аналитики MixxPanel, Google Analytics, KISSMetrics, ClickTale и другими.

Возникали проблемы с загрузкой СSS в Safari, через некоторое время были устранены разработчиками, но к тому времени нам было уже неактуально использование сервиса.

В целом положительные впечатления.

ABtest

Сайт: abtest.ru

Тарифные планы: использование сервиса бесплатно, разработчики перевели использование в бета-режим и развивать далее не собираются (по их словам).

Редактор: разрешает подгружать свои страницы в ужасно глючный онлайн-редактор.

Трекинг: позволяет подсчитывать цели — посещение страниц, клики по блокам, JS-события.

Остались недовольны использованием сервиса, до реальной РК не дошло — еще на этапе внесения изменений в подгруженную страницу через WYSIWYG-редактор слетали измененные блоки: произвольно меняли положение и сдвигались.

CEO проекта заявил, что далее не планирует развивать сервис, так как он не нашел своего рынка в РФ.

LPgenerator (создание страниц только внутри сервиса)

Сайт: lpgenerator.ru

Тарифные планы:

  • 1240 рублей — 3 500 посетителей, 2 домена, 25 страниц.
  • 1960 рублей — 9 тысяч посетителей, 5 доменов, 50 страниц.
  • 3999 рублей — трафик, количество доменов и страниц не ограничено, подключение собственных доменов.
  • 14 730 рублей — трафик, количество доменов и страниц не ограничено, подключение собственных доменов, 15 клиентских аккаунтов, персональный брендинг.

Демоверсия: 14 дней.

Сервис позиционируется как платформа для создания посадочных страниц из шаблонов, собственно, поэтому нет возможности загрузки собственных вариантов сайта и поэтому до использования его в эксперименте не дошли.

Есть свой набор шаблонов и платных и бесплатных. Редактор требует временных затрат для изучения. Огромная и удобная функциональность, оперативная техподдержка, интеграция с сервисами аналитики, сервисами email-рассылки, CRM-системами, телефонией и прочим.

Специально не стали здесь анализировать возможность проведения тестов в GA Experiments, так как его использование влечет создание дополнительных вариантов страниц на вашей стороне, то есть силами разработчиков, а здесь мы рассмотрели сервисы, с помощью которых даже далекий от кодинга человек сможет провести А/B-тестирование на своем сайте.

Ниже сравнительная таблица по сервисам:

Сервис Стоимость A/B или MVT Шаблоны, редактор Дней демо-доступа Объект тестирования
Unbounce
$49-$199 A/B и MVT шаблоны и конструктор 30 веб-страницы
VWO
$49-$499 A/B и MVT редактор 14 веб-страницы и iOS
Convert
$9-$1499 A/B и MVT редактор 15 веб и мобильные страницы
Clickthroo
$195-$1195 A/B шаблоны и конструктор 14 веб-страницы
ABTesty
$51-$278 A/B и MVT редактор 30 веб-страницы
Optimizely
$19-$399 A/B и MVT редактор 30 веб и мобильные страницы, iOS
ABtest
бесплатно A/B редактор - веб-страницы
LPgenerator $30-$352 A/B шаблоны и редактор 14 веб и мобильные страницы

К чему пришли сейчас

Онлайн-сервисы проведения экспериментов годятся для новичков, тех, кто только начинает свой путь в оптимизации конверсии. Они являются хорошим инструментом, чтобы начать и разобраться в мелких ньюансах, а также начать работу без разработчиков. Вот почему:

  • У сервисов нет возможности правильной настройки целей, так как в основной массе — это click-трекинг.
  • Постоянно что-то слетает — это техническая сторона сервисов, касающаяся генерации второго и n-нных вариантов из исходной страницы. Такого нельзя позволить при РК с большим трафиком или CPA.
  • Нет возможности вносить качественные изменения в переменные. Протестировать заголовок, цвет кнопки — пожалуйста, но ничего на порядок сложнее.

Сейчас мы разработали свою методику формирования гипотез и проведения экспериментов. И теперь работаем только с Ga Exp и проводим только мультивариантное тестирование.


Присылайте собственные кейсы, в результате которых вам удалось заметно улучшить (или, наоборот, ухудшить) показатели проекта. Интересные эксперименты обязательно попадут на страницы рубрики Growth Hacks.
Статьи по теме
Эксперименты с App Store: Как приложению 7 Minute Workout удалось получить 1,5 млн загрузок23 сентября 2014, 11:46
Кейс: Как приложение CoinKeeper увеличивало средний чек и количество платящих клиентов23 октября 2014, 10:00
Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

где тут кейс? просто перечислены веб-сервисы и их описания

Читайте внимательно: сервисы протестированы и к каждому написаны комменты по результатам.

0

Кейсы читай на blog.changeagain.me там ребята с помощью a/b и сплит тестов достигли 300% роста по конверсии и ревенью!

0

Нету еще в списке Google Analytics где бесплатно все.

Почему не описан GA Exp - потому что он выбивается из линейки и не является сервисом, в котором можно создать варианты.

0

Наличие онлайн-редактора страниц это и есть определение сервиса, в котором можно создать варианты?

Google Analytics на самом деле самый реальный инструмент. Все остальное, по сути, потуги к нему приблизиться упаковав это в коробку с бантиком за пару сотен УЕ.

Перепробовав все эти сервисы, я с вами соглашусь, к такому же выводу пришла

Ребята из changeagain.me - предалагают как раз optimizely для Google Analytics. Т.е. он заинтегрирован полностью с вашим GA, целями и т.д.

Написал редактору, можно было бы еще белорусский ChangeAgain.me вставить :)

У Visual Website Optimizer ещё есть Startup Plan за $19 на 4000 посетителей (спрашивайте в саппорте или могу кинуть линк на покупку в личку).

Ещё важно в VWO не использовать асинхронный трекинг код который предлагается по умолчанию. Если сайт отобразится раньше чем загрузится код, то элемент который изменяете моргнет, что на корню убивает корректность эксперимента. Вместо этого надо использовать их синхронный код и обязательно располагать его в head секции до контента (ну это и так должно быть понятно).

Также если вы уверены что ваш CDN (например Cloudflare) быстрее того что используют они - Amazon Cloudfront, то можно залить себе vis_opt.js и заодно сэкономить время на DNS-запрос к Cloudfront.

В этом плане мне нравится Optimizely которые раздают с Akamai сразу и свой код и варианты сайта одним файлом. Но они проигрывают VWO по фичам и по цене.

А предложение в конце статьи использовать Google Analytics Content Experiments немного странное - это разного класса инструменты. Инструменты вроде VWO и Optimizely прежде всего экономят время на создание экспериментов (у меня может от идеи до запуска теста пройти меньше 30 секунд - это для чего то простого вроде заголовка) и снижают барьер входа для людей без технических знаний (на самом деле весомый фактор для многих).

Google Analytics Content Experiments - можно использовать со всеми плюшками vwo и optimizely через changeagain.me + будут гоалсы все доступны

0

Глеб, спасибо, очень ценная информация!

0

По поводу "У сервисов нет возможности правильной настройки целей" не согласен. Пользуюсь VWO
Он автоматически интегрируется с Google Analytics и можно смотреть ЛЮБЫЕ данные по тестовому трафику. Нужно просто знать где.

Функционал тестирования от Google Analytics очень деревянный, подойдет только для простых тестов.

С удовольствием почитал бы кейс - как тестировать внедрение нового функционала на сайте, а не просто поменять цвет кнопочки.

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Сергей Погорелов

Школа стримеров...
Куда катится этот мир?

Продюсер проекта Sports.ru о киберспорте Ярослав Комков запустил сеть киберспортивных клубов GamerStadium
0
Дэн

вах, какая классная шутка! ты прямо петросян!

Mail.Ru Group анонсировала свою первую игру для виртуальной реальности VR Invaders
0
Leo Vl

Реальный бизнесмен и реальный бизнесплан, похоже что и криминала никакого нет. Писать говноброшюры под псевдонимами закон не запрещает.

Программист заработал более $3 млн на продажах некачественных книг на Amazon
0
Артем Смирнов
Labster.PRO

Проблема только в том, что в верифоне и подобных компаниях работают очень странные люди, и зачастую не делают логотип пэйпасса. Приходится ванговать, умеет ли терминал пэйпасс или нет.

«Ведомости» анонсировали запуск Apple Pay в России в октябре
0
Георгiй Фандеевъ
IBS

Смотрят. Но кагоцел (как и любой другой препарат) они не поэтому так активно предлагают :) В данном случае достаточно посмотреть кто стоит у истоков этого "лекарства", чтобы понять что к чему.

Рекламная кампания на основе данных об эпидемиях и погоде: опыт препарата «Кагоцел»
0
Показать еще