Офтоп
Natalya Sturza

Кейс российского проекта: Какой онлайн-сервис для проведения А/B-тестирования выбрать

Команда Performance Media протестировала онлайн-сервисы для проведения экспериментов и написала для рубрики Growth Hacks обзор восьми инструментов для проведения А/В-тестирования.

Эксперимент начался с осознания важности и эффективности оптимизации конверсии, с прочтения статей в блогах Optimizely, VWO, KissMetrics и разделе Growth Hacks, c изучения кейсов — так мы дошли до понимания необходимости введения в своей компании практики проведения оптимизации целевых страниц.

Что мы делаем. Условно, приводим из различных каналов посетителей на созданные нами же посадочные страницы для совершения определенного целевого действия. Посетители уже таргетированы, а значит, мы ожидали хороших показателей конверсии. Но то, что получалось в результате не совсем нас радовало, и мы понимали, что можно добиваться больших результатов, получать больше лидов и, соответственно, больше прибыли, затратив при этом соизмеримо малые бюджеты на доведение посадочной страницы до «высококонверсионности».

Переломным моментом, после которого команда поверила, что нужно вводить практику оптимизации конверсий, стал банальнейший эксперимент по смене цвета кнопки на лендинге, увеличивший конверсию в 2,9 раза.

В целом, здесь будет описан опыт тестирования десятка онлайн-сервисов на реальных рекламных кампаниях. При выборе инструмента необходимо обращать внимание на ту функциональность, которая важна для вас.

Для нас это было:

  • Возможность бесплатно потестить сервис в полную силу. То есть на реальной рекламной кампании с большим потоком трафика. Бесплатный демо-период есть практически у всех сервисов. Те, у которых его нет, рассчитаны на крупные западные аналитически компании, где к каждому клиенту индивидуальный подход, мы такие не использовали (Monetate, Maxymiser, Sitespect).
  • Возможность загрузки своего варианта страницы. Это означает, что мы хотим создать свою красивую страничку и загрузить ее в сервис, там же сделать изменения в онлайн-редакторе и запустить тест. При этом страница остается на нашем домене, а сгенерированный в ходе настройки эксперимента скрипт вставляется на наш сайт. Далее трафик, приходящий на наш домен, распараллеливается между N-вариантами страниц: главной оригинальной страницей и N-количеством вариантов страниц, которые генерятся с помощью сервиса. Такая возможность есть не у всех сервисов. Нами не рассматривался вариант использования шаблонов сайтов или целевых страниц, хотя для кого-то это, вероятно, очень удобно.
  • Удобный и неглючный онлайн-редактор страниц. Онлайн-редакторы построены на основе методологии WYSIWYG (What You See Is What You Get — что видишь, то и получаешь) Так как у нас это был первый опыт проведения A/B-тестирования, было решено не заморачивать разработчиков созданием вариантов, а править элементы сайта посредством такой функциональности. Сразу скажу — для тех, кто очень мало понимает в разработке сайтов, такой редактор будет сложен в освоении, так как надо понимать, что такое HTML, CSS и даже JS. Неудобные, громоздкие или совсем неудачные редакторы со стороны UI у следующих сервисов: lpgenerator, Abtest (им простительно, закрылись не выдержав отсутствия интереса со стороны российского рынка), Landerapp. Удобные и приятные в сравнении с предыдущими: Convert, Unbounce (тут вообще полноценный конструктор страницы, жаль только на основе готовых шаблонов сервиса), VWO, Optimizely. Некоторые сервисы не удалось попробовать — или слетал CSS загруженной страницы во всех браузерах или слетал в Safari, что к данному моменту исправлено.
  • Правильное подцепление целей. Несложные цели можно настраивать прямо в сервисах, это как правило click-трекинг и посещение страниц, но в некоторых есть и учет кастомных JS-событий.
  • Цена. Тут каждому свое, в таблице приведены тарифы использованных сервисов. Мы не остановились ни на одном, так как еще на демо-периоде исключили все неподходящие, и у нас не осталось ни одного.

Unbounce (создание страниц только внутри сервиса)

Сайт: unbounce.com

Поддержка тестирования: A/B.

Тарифные планы:

  • $49 — 5 тысяч посетителей.
  • $99 — 25 тысяч посетителей.
  • $199 — 200 тысяч посетителей.

Шаблоны, редактор: шаблоны и онлайн-конструктор.

Демоверсия: 30 дней.

Платформа для создания посадочных страниц и ведения маркетинговых кампаний, имеющая внутри себя функциональность A/B и MVT-тестирования, так как интегрирована VWO.

Конструктор страниц довольно удобный и приятный в использовании. Не нашли, как загрузить свою страницу для изменения, что очевидно, так как сервис позиционируется как инструмент для создания страниц без разработчиков. Шаблоны страниц тусклые и неинтересные. В сервисе есть не просто онлайн-редактор блоков, а полноценный онлайн-конструктр, с помощью которого можно создать простую страницу с 0.

Интеграция с сервисами: MailChimp, Google Analytics, CRM-системами.

VWO

Сайт: vwo.com

Поддержка тестирования: A/B, MVT и тестирование iOS-приложений.

Тарифные планы:

  • $49 — 10 тысяч посетителей.
  • $499 — 40 тысяч посетителей.
  • Индивидуальный тарифный план — около миллиона посетителей в месяц, тестирование на мобильных, связанные аккаунты, личный консультант.

Шаблоны и редактор: онлайн-редактор.

Демоверсия: 14 дней.

Трекинг целей: сlick-трекинг, просмотры страниц и настраиваемые JS-события.

Очень приятный и понятный интерфейс, самый удобный из онлайн-редакторов, различные варианты настройки трекинга целей — посещение страниц, отправка форм, клики, кастомные события, интеграция с Google Tag Manager, классные отчеты об экспериментах, тепловая карта.

На самом деле, этот сервис понравился больше всех остальных, но в первом тесте у нас не подгрузился CSS, что далее было исправлено с помощью техподдержки сайта. Но мы в этот момент доросли уже до тестирования более серьезных изменений, которые онлайн-редактором произвести невозможно.

Сервис развивается постоянно, есть дополнительные приятные вещи — например, идеи для экспериментов, пошаговая инструкция по сложной функциональности, калькуляторы расчета значимости.

Convert

Сайт: convert.com

Поддержка тестирования: A/B, MVT.

Тарифные планы:

  • $9 — 2 тысячи посетителей.
  • $29 — 10 тысяч посетителей, MVT.
  • $59 — 30 тысяч посетителей, MVT.
  • $99 — 50 тысяч посетителей, MVT, тестирование мобильных сайтов.
  • $139-$1499 — тарифные планы для агентств. Безлимитное количество проектов и тестов, онлайн-поддержка, интеграция с Google-Analytics.

Шаблоны и редактор: онлайн-редактор.

Демоверсия: 15 дней.

Удобный редактор своих страниц. Приятный сочный интерфейс, понятные отчеты, но логика трудна для понимая — к этому сервису дольше всего привыкали.

Из минусов — есть дополнительные барьеры для начала эксперимента вроде того, что нужно где-то в глубине найти кнопку, по которой подключить загруженную страницу. Кроме того, есть путаница в разделе целей по разным экспериментам — они отображаются в общем неразделенном по экспериментам разделе.

Периодически перестает считать цели, выявлялись ошибки и недоработки сервиса, исправлялись техподдержкой, но на следующий день трекинг целей опять слетал по неизвестной причине.

Техподдержка, действительно, заслуживает отдельной похвалы — быстро, содержательно и дружелюбно отвечают (они из Канады).

Clickthroo (создание страниц только внутри сервиса)

Сайт: clickthroo.com

Поддержка тестирования: A/B.

Тарифные планы:

  • $195 — 50 тысяч посетителей, 5 проектов.
  • $395 — 100 тысяч посетителей, 10 проектов.
  • $695 — 100 тысяч посетителей, безлимитное количество проектов.
  • $1195 — 250 тысяч посетителей, безлимитное количество проектов.

Шаблоны и редактор: шаблоны и онлайн-конструктор.

Трекинг целей: посещение страницы, установка пикселя, iframe, JS-событие.

Демо-версия: 14 дней демо-доступа.

Понятный и удобный сервис, таргетирование трафика, понятный онлайн-редактор. Минусы: нет возможности загрузки собственных страниц, есть шаблоны в виде разметки блоков страниц, для начинающих будет непонятным блок трекинга целей.

Функциональности очень много, но при этом работать это должно через шаблоны, нет описания, как какую опцию интегрировать в шаблон.

Abtasty

Сайт: abtasty.com

Поддержка тестирования: A/B, MVT.

Тарифные планы:

  • Бесплатно — до 2 тысяч посетителей, неограниченное количество тестов, проектов и вариантов страниц, до 30 дней.
  • 40-220 евро — от 10 до 100 тысяч, неограниченное количество проектов и тестов.
  • Premium-тариф с индивидуальными настройками — от 10 тысяч до 1 млн посетителей, мультивариантное тестирование, геотаргетинг, сегментирование и прочее.

Шаблоны и редактор: онлайн-редактор.

Трекинг целей: Click-трекинг, JS-события, просмотры, e-commerce.

Демоверсия: 30 дней.

Удобный и простой редактор. Удобно цепляются цели тестирования. Время на изучение почти не потребовалось — интерфейс очень простой и понятный. Цели считаются очень хорошо. Большой простор для настройки всяких параметров, таргетинга.

Однако начала слетать верстка тех элементов, которые даже не трогались в редакторе. Проблема не ушла, техподдержка не решила. Сейчас в техподдержку нельзя написать с демо-аккаунта. При размещении страницы на своей стороне появился бесконечный редирект, отчего странницы стали мигать, перепрыгивая с одного на другой вариант.

Удалили все эксперименты, так как рекламная кампания шла полным ходом.

Optimizely

Сайт: optimizely.com

Поддержка тестирования: А/В и MVT.

Тарифные планы:

  • $19 — 2 тысячи посетителей, 1 проект, таргетинг, персонализация, тестирование мобильных сайтов.
  • $79 — 20 тысяч посетителей, 2 проекта, кросс-браузерное тестирование.
  • $399 — 200 тысяч посетителей, 5 проектов, мультивариантное тестирование, сегментация.
  • Безлимитный тариф — геотаргетинг, история тестирования, IP-таргетинг, безлимитное число проектов.

Шаблоны и редактор: онлайн-редактор.

Трекинг целей: просмотры, клики на элементы, кастомные JS-события.

Демоверсия: 30 дней.

Приятный редактор, удобный интерфейс, понятная настройка целей тестирования. Интеграция с сервисами аналитики MixxPanel, Google Analytics, KISSMetrics, ClickTale и другими.

Возникали проблемы с загрузкой СSS в Safari, через некоторое время были устранены разработчиками, но к тому времени нам было уже неактуально использование сервиса.

В целом положительные впечатления.

ABtest

Сайт: abtest.ru

Тарифные планы: использование сервиса бесплатно, разработчики перевели использование в бета-режим и развивать далее не собираются (по их словам).

Редактор: разрешает подгружать свои страницы в ужасно глючный онлайн-редактор.

Трекинг: позволяет подсчитывать цели — посещение страниц, клики по блокам, JS-события.

Остались недовольны использованием сервиса, до реальной РК не дошло — еще на этапе внесения изменений в подгруженную страницу через WYSIWYG-редактор слетали измененные блоки: произвольно меняли положение и сдвигались.

CEO проекта заявил, что далее не планирует развивать сервис, так как он не нашел своего рынка в РФ.

LPgenerator (создание страниц только внутри сервиса)

Сайт: lpgenerator.ru

Тарифные планы:

  • 1240 рублей — 3 500 посетителей, 2 домена, 25 страниц.
  • 1960 рублей — 9 тысяч посетителей, 5 доменов, 50 страниц.
  • 3999 рублей — трафик, количество доменов и страниц не ограничено, подключение собственных доменов.
  • 14 730 рублей — трафик, количество доменов и страниц не ограничено, подключение собственных доменов, 15 клиентских аккаунтов, персональный брендинг.

Демоверсия: 14 дней.

Сервис позиционируется как платформа для создания посадочных страниц из шаблонов, собственно, поэтому нет возможности загрузки собственных вариантов сайта и поэтому до использования его в эксперименте не дошли.

Есть свой набор шаблонов и платных и бесплатных. Редактор требует временных затрат для изучения. Огромная и удобная функциональность, оперативная техподдержка, интеграция с сервисами аналитики, сервисами email-рассылки, CRM-системами, телефонией и прочим.

Специально не стали здесь анализировать возможность проведения тестов в GA Experiments, так как его использование влечет создание дополнительных вариантов страниц на вашей стороне, то есть силами разработчиков, а здесь мы рассмотрели сервисы, с помощью которых даже далекий от кодинга человек сможет провести А/B-тестирование на своем сайте.

Ниже сравнительная таблица по сервисам:

Сервис Стоимость A/B или MVT Шаблоны, редактор Дней демо-доступа Объект тестирования
Unbounce
$49-$199 A/B и MVT шаблоны и конструктор 30 веб-страницы
VWO
$49-$499 A/B и MVT редактор 14 веб-страницы и iOS
Convert
$9-$1499 A/B и MVT редактор 15 веб и мобильные страницы
Clickthroo
$195-$1195 A/B шаблоны и конструктор 14 веб-страницы
ABTesty
$51-$278 A/B и MVT редактор 30 веб-страницы
Optimizely
$19-$399 A/B и MVT редактор 30 веб и мобильные страницы, iOS
ABtest
бесплатно A/B редактор - веб-страницы
LPgenerator $30-$352 A/B шаблоны и редактор 14 веб и мобильные страницы

К чему пришли сейчас

Онлайн-сервисы проведения экспериментов годятся для новичков, тех, кто только начинает свой путь в оптимизации конверсии. Они являются хорошим инструментом, чтобы начать и разобраться в мелких ньюансах, а также начать работу без разработчиков. Вот почему:

  • У сервисов нет возможности правильной настройки целей, так как в основной массе — это click-трекинг.
  • Постоянно что-то слетает — это техническая сторона сервисов, касающаяся генерации второго и n-нных вариантов из исходной страницы. Такого нельзя позволить при РК с большим трафиком или CPA.
  • Нет возможности вносить качественные изменения в переменные. Протестировать заголовок, цвет кнопки — пожалуйста, но ничего на порядок сложнее.

Сейчас мы разработали свою методику формирования гипотез и проведения экспериментов. И теперь работаем только с Ga Exp и проводим только мультивариантное тестирование.


Присылайте собственные кейсы, в результате которых вам удалось заметно улучшить (или, наоборот, ухудшить) показатели проекта. Интересные эксперименты обязательно попадут на страницы рубрики Growth Hacks.
0
13 комментариев
Популярные
По порядку
Написать комментарий...
Alexander Mustafin

где тут кейс? просто перечислены веб-сервисы и их описания

Ответить
5
Развернуть ветку
Natalya Sturza

Читайте внимательно: сервисы протестированы и к каждому написаны комменты по результатам.

Ответить
0
Развернуть ветку
Metrics Cat

Кейсы читай на http://blog.changeagain.me там ребята с помощью a/b и сплит тестов достигли 300% роста по конверсии и ревенью!

Ответить
0
Развернуть ветку
Vitalii Ivanovuch

Нету еще в списке Google Analytics где бесплатно все.

Ответить
1
Развернуть ветку
Natalya Sturza

Почему не описан GA Exp - потому что он выбивается из линейки и не является сервисом, в котором можно создать варианты.

Ответить
0
Развернуть ветку
Pjotr Tsvetkov

Наличие онлайн-редактора страниц это и есть определение сервиса, в котором можно создать варианты?

Google Analytics на самом деле самый реальный инструмент. Все остальное, по сути, потуги к нему приблизиться упаковав это в коробку с бантиком за пару сотен УЕ.

Ответить
2
Развернуть ветку
Natalya Sturza

Перепробовав все эти сервисы, я с вами соглашусь, к такому же выводу пришла

Ответить
2
Развернуть ветку
Metrics Cat

Ребята из http://changeagain.me - предалагают как раз optimizely для Google Analytics. Т.е. он заинтегрирован полностью с вашим GA, целями и т.д.

Ответить
0
Развернуть ветку

Комментарий удален

Развернуть ветку
Andrey Kozik

Написал редактору, можно было бы еще белорусский ChangeAgain.me вставить :)

Ответить
1
Развернуть ветку
Игорь Громада

По поводу "У сервисов нет возможности правильной настройки целей" не согласен. Пользуюсь VWO
Он автоматически интегрируется с Google Analytics и можно смотреть ЛЮБЫЕ данные по тестовому трафику. Нужно просто знать где.

Функционал тестирования от Google Analytics очень деревянный, подойдет только для простых тестов.

С удовольствием почитал бы кейс - как тестировать внедрение нового функционала на сайте, а не просто поменять цвет кнопочки.

Ответить
1
Развернуть ветку
Дальнейший браслет

Комментарий удален по просьбе пользователя

Ответить
0
Развернуть ветку
Metrics Cat

Google Analytics Content Experiments - можно использовать со всеми плюшками vwo и optimizely через http://changeagain.me + будут гоалсы все доступны

Ответить
0
Развернуть ветку
Natalya Sturza

Глеб, спасибо, очень ценная информация!

Ответить
0
Развернуть ветку

Комментарий удален

Развернуть ветку

Комментарий удален

Развернуть ветку

Комментарий удален

Развернуть ветку

Комментарий удален

Развернуть ветку
Читать все 13 комментариев
«Яндекс» представил «Станцию» второго поколения с новым дизайном и улучшенным звуком Статьи редакции

Колонка поступит в продажу в первой половине 2022 года.

Найти свою аудиторию на YouTube: алгоритм Influmtr определяет, что смотрят геймеры в Штатах или фанаты Tesla в Германии

Это удобный инструмент для планирования рекламных кампаний и коллабораций с тематическими блогерами на 10 мировых рынках.

5 скрытых ошибок при настройке веб-аналитики в интернет-магазинах

Корректная настройка веб-аналитики позволяет принимать правильные решения. А это особенно важно при использовании платной рекламы. Веб-аналитика помогает понять, что происходит на сайте и как это улучшить. Отдел веб-аналитики агентства Registratura, входящего в iConText Group, подготовил топ ошибок по веб-аналитике у интернет-магазинов.

Увлечение самолётами, которое переросло в бизнес

Предприниматель из Волгограда производит и продаёт по всему миру симуляторы дополненной реальности.

Как мы отказались от 20 млн рублей, потому что не хотели быть всего лишь исполнителями

В прошлом году мы отказались от крупного заказчика, который приносил 20 млн рублей — это почти четверть годовой выручки агентства, — но никак не хотел строить партнерские отношения. Решение было сложным, но анализ ситуации помог нам выработать свой подход к построению отношений с заказчиками. О нём и хотим рассказать.

Проект Федерации креативных индустрий Creative Russia Map получил Премию Рунета
Сайт Tor заблокировали в России после публикации обращения с призывом к пользователям поднять у себя серверы Статьи редакции

Команда сообщила о начале блокировки всей сети с 1 декабря.

Лидерские качества. 30 полезных материалов для их развития

Наверняка вы не раз слышали фразу: «Саша — прирожденный лидер». Но разве лидерство «дается» с рождения? Конечно, нет. Как и многие навыки и soft skills, лидерские качества можно в себе развить. В этой статье я расскажу, с чего начать путь к лидерству, а еще поделюсь полезными материалами.

Ускорение на пути к будущему электромобильности и устойчивому развитию: Нико Росберг стал амбассадором Jungheinrich

Концерн Jungheinrich и Нико Росберг (Nico Erik Rosberg) объединят свои усилия в поддержку развития экологически чистой мобильности. Предприниматель в сфере экологичных технологических решений, потомственный немецкий автогонщик и чемпион мира Формулы-1 2016 года, Нико становится официальным амбассадором бренда Jungheinrich — ведущего мирового…

null