Лого vc.ru

Что делать, если результаты A/B теста оказались провальными

Что делать, если результаты A/B теста оказались провальными

В рубрике Growth Hacks регулярно выходили материалы об успешных результатах тестов. Однако при проведении A/B тестирования в реальной жизни все получается совершенно не так, как пишут в статьях. На Unbounce.com появился полезный материал о том, что делать, если результаты эксперимента оказались отрицательными.

Поделиться

Получить негативный результат — самое худшее, что может произойти после выполнения A/B тестов.

В то время, как многие маркетологи согласятся с этим утверждением, опыт почти 400 тестов говорит об обратном. Отрицательный результат зачастую так же полезен, как и положительный тест.

Как изменение одного слова в призыве к действию сократило количество переходов на страницу оплаты на 26,55%

Вот пример серии тестов, которые я провел на странице оплаты одного из своих клиентов. Страница является последним шагом воронки, и каждый клик означает прирост выручки. Опыт огромного количества A/B тестов показал, что сам призыв к действию оказывает огромное влияние на то, нажмет ли пользователь на кнопку, и я собирался проверить ряд гипотез.

Одной из них было то, что употребление на кнопке слова «Your» работает лучше «My». Несмотря на то, что сайты привыкли обращаться к посетителям во втором лице единственного числа, было бы странно перейти к первому лицу и использовать «My». Я был уверен, что моя гипотеза верна и решил провести тест, доказав заказчику свою правоту. Как же сильно я был удивлен. Результаты тестирования показали, что обращение со словом «Your» работает на 24,95% хуже, чем «My».

Обращение со словом «Your» работает на 24,95% хуже, чем «My».

Разумеется, я был озадачен и посрамлен, ведь тесты показали, что моя гипотеза ошибочна, а намерение подобным образом увеличить конверсию имело прямо противоположный эффект. Это заставило меня задаться вопросом, было ли увиденное мной случайностью, или я наткнулся на то, что можно было бы использовать позитивно. Другими словами, могу ли я генерировать положительные результаты, изменив притяжательное определение на «My». В конечно итоге, я выполнил тесты на ряде веб-сайтов и посадочных страниц с использованием «My».

Наиболее показательным результатом стал тест, который мы провели на нашей странице Unbounce.com. Мы увидели 90%-­е увеличение соотношения кликов к показам во время тестирования 'Get my free 30 day trial' вместо 'Get your 30­ day trial'.

Мы увидели 90%-­е увеличение соотношения кликов к показам при тестировании 'Get my free 30 day trial' вместо 'Get your 30­ day trial'.

Как добавление политики конфиденциальности снизило уровень регистраций на 18,7%

Вот еще один пример, когда я думал, что мое нововведение будет работать. Вернее, я не думал, сработает оно или нет, вопрос состоял в том, насколько хорошо оно сработает.

Моим клиентом была международная букмекерская компания Bettingexpert.com. Меня наняли для оптимизации главной страницы с целью увеличения количества регистраций. Я решил сосредоточиться на наиболее важной части — форме регистрации. Одна из вещей, которая меня поразила — это отсутствие политики конфиденциальности.

Зная природу веб­сайтов, я без колебаний смог предположить, что добавление политики конфиденциальности смягчит беспокойство потенциальных пользователей и повысит конверсию в регистрации. Я решил проверить небольшое изменение в политике конфиденциальности, использовав фразу, которую увидел в одном популярном блоге по интернет­маркетингу: «100%-я конфиденциальность — мы никогда не будем присылать вам спам».

Как я уже сказал, не было никаких колебаний относительно результатов теста, и я ощущал волнение перед тем, как увижу, насколько это увеличит количество регистраций. Каково же было мое изумление, когда нововведение снизило конверсию на 18,7%. Снова я был озадачен результатами теста. Это научило меня важному уроку: просто добавить политику конфиденциальности — недостаточно для увеличения регистраций. Наоборот, это может серьезно снизить уровень конверсии.

Добавление фразы «100%-ая конфиденциальность — мы никогда не будем присылать вам спам» снизило конверсию на 18,7%.

Этот эксперимент заставил меня задуматься и провести ряд последующих опытов, чтобы выяснить, почему такая «политика конфиденциальности» имела негативный эффект. Мои тесты показали, что слово «спам» имело нежелательный эффект, несмотря на то, что использовалось для заверения посетителей в том, что они не будут получать спам.

Моя гипотеза состояла в том, что, помещая слово вблизи формы, вы вселяете пользователям мысль о возможности спама: «Ой, подождите, они правда могут присылать мне спам?». Я провел еще три эксперимента, в результате лучший вариант повысил конверсию в регистрации на 19,47%. Лучший текст получился такой: «Мы гарантируем 100%­-ую конфиденциальность. Ваша информация не будет передана никому».

Аналогичные тесты с конфиденциальностью я провел на других посадочных страницах, получив похожий результат. Например, на странице с моей книгой «7 универсальных принципов оптимизации конверсии» я добился увеличения загрузок на 24% после изменения «100%-­ая приватность — я никогда не буду присылать спам» на «я гарантирую 100%-­ую приватность».

Некоторые могут заявить, что тесты, описанные в статье, были плохими. На самом деле, это не так, ведь эксперименты предоставили важную информацию, которая в конечном итоге привела к повышению конверсии на различных лендинговых страницах.

Оптимизация таких страниц — это непрерывный процесс, и до тех пор, пока ваши результаты испытаний приводят к новому понимаю и учат каким­то вещам, не так важно, являются ли тесты позитивными или негативными.

Конечно, круто угадать выигрышный вариант с самого начала. Но когда вы рассматриваете оптимизацию как непрерывный процесc, а не единоразовую попытку сделать лучше, вы увидите, что даже пара неудачных попыток зачастую впоследствии приводят к результату.

Статьи по теме
Примеры самых неожиданных результатов А/B-тестирования10 июля 2014, 18:19
Популярные статьи
Показать еще

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Nikita Dedik
Timescenery

А вы какой измерялкой измеряете разы? :)

Как создать интерфейс сервиса по планированию путешествий
0
Nikita Dedik
Timescenery

Таймси!

Как создать интерфейс сервиса по планированию путешествий
0
Yota — официально

Здравствуйте! Тетеринг (режим модема) будет предоставляться бесплатно и без каких-либо ограничений. Трафик при раздаче на другие устройства будет списываться из пакета.

Yota представила новые тарифы с ограниченным интернет-трафиком
0
Максим Байков

Изначально порадовался что за цену клика, начал писать и получил первые 500р, потом глюки пошли, щас вроде исправляют, вывели еще 500р (у меня 14 статей размещено) но какой то глюк с просмотрами и начислениями так как с 1 января 0 просмотров, потом по 3-50 потом резко 5000 4000 и 35р дохода... Не понимаю почему ушли от оплаты за клик, в сервисах рекламы есть фильтрация по кликам и можно предупредить что трафик льют в итоге не забанят... просто не будут начислять за клики. Пока взял паузу на размещение, жду исправления багов и автоматизацию работы статистики (на данный момент руками вроде рассчитывают)

Авторы сервиса uPages пожаловались на занижение выплат за тексты
0
Nikita Dedik
Timescenery

Это не MVP – возможно, поэтому вы ожидаете не то, что видите.

Задачи сервиса – не только создание сценариев, он более универсальный. Лично я, например, выбираю рестораны в окрестностях того места, где нахожусь, и это делается в несколько действий. Поиск удобных перелётов – ничего лучше схематичного изображения рейсов (спасибо Hipmunk) я пока не встречал. Можно вообще не заниматься планированием, но успешно решать ряд других задач.

Согласен, сложные моменты остаются, но мы стараемся находить их и упрощать. Но планировать вообще сложно :).

Как создать интерфейс сервиса по планированию путешествий
0
Показать еще