Лого vc.ru

Что делать, если результаты A/B теста оказались провальными

Что делать, если результаты A/B теста оказались провальными

В рубрике Growth Hacks регулярно выходили материалы об успешных результатах тестов. Однако при проведении A/B тестирования в реальной жизни все получается совершенно не так, как пишут в статьях. На Unbounce.com появился полезный материал о том, что делать, если результаты эксперимента оказались отрицательными.

Поделиться

Получить негативный результат — самое худшее, что может произойти после выполнения A/B тестов.

В то время, как многие маркетологи согласятся с этим утверждением, опыт почти 400 тестов говорит об обратном. Отрицательный результат зачастую так же полезен, как и положительный тест.

Как изменение одного слова в призыве к действию сократило количество переходов на страницу оплаты на 26,55%

Вот пример серии тестов, которые я провел на странице оплаты одного из своих клиентов. Страница является последним шагом воронки, и каждый клик означает прирост выручки. Опыт огромного количества A/B тестов показал, что сам призыв к действию оказывает огромное влияние на то, нажмет ли пользователь на кнопку, и я собирался проверить ряд гипотез.

Одной из них было то, что употребление на кнопке слова «Your» работает лучше «My». Несмотря на то, что сайты привыкли обращаться к посетителям во втором лице единственного числа, было бы странно перейти к первому лицу и использовать «My». Я был уверен, что моя гипотеза верна и решил провести тест, доказав заказчику свою правоту. Как же сильно я был удивлен. Результаты тестирования показали, что обращение со словом «Your» работает на 24,95% хуже, чем «My».

Обращение со словом «Your» работает на 24,95% хуже, чем «My».

Разумеется, я был озадачен и посрамлен, ведь тесты показали, что моя гипотеза ошибочна, а намерение подобным образом увеличить конверсию имело прямо противоположный эффект. Это заставило меня задаться вопросом, было ли увиденное мной случайностью, или я наткнулся на то, что можно было бы использовать позитивно. Другими словами, могу ли я генерировать положительные результаты, изменив притяжательное определение на «My». В конечно итоге, я выполнил тесты на ряде веб-сайтов и посадочных страниц с использованием «My».

Наиболее показательным результатом стал тест, который мы провели на нашей странице Unbounce.com. Мы увидели 90%-­е увеличение соотношения кликов к показам во время тестирования 'Get my free 30 day trial' вместо 'Get your 30­ day trial'.

Мы увидели 90%-­е увеличение соотношения кликов к показам при тестировании 'Get my free 30 day trial' вместо 'Get your 30­ day trial'.

Как добавление политики конфиденциальности снизило уровень регистраций на 18,7%

Вот еще один пример, когда я думал, что мое нововведение будет работать. Вернее, я не думал, сработает оно или нет, вопрос состоял в том, насколько хорошо оно сработает.

Моим клиентом была международная букмекерская компания Bettingexpert.com. Меня наняли для оптимизации главной страницы с целью увеличения количества регистраций. Я решил сосредоточиться на наиболее важной части — форме регистрации. Одна из вещей, которая меня поразила — это отсутствие политики конфиденциальности.

Зная природу веб­сайтов, я без колебаний смог предположить, что добавление политики конфиденциальности смягчит беспокойство потенциальных пользователей и повысит конверсию в регистрации. Я решил проверить небольшое изменение в политике конфиденциальности, использовав фразу, которую увидел в одном популярном блоге по интернет­маркетингу: «100%-я конфиденциальность — мы никогда не будем присылать вам спам».

Как я уже сказал, не было никаких колебаний относительно результатов теста, и я ощущал волнение перед тем, как увижу, насколько это увеличит количество регистраций. Каково же было мое изумление, когда нововведение снизило конверсию на 18,7%. Снова я был озадачен результатами теста. Это научило меня важному уроку: просто добавить политику конфиденциальности — недостаточно для увеличения регистраций. Наоборот, это может серьезно снизить уровень конверсии.

Добавление фразы «100%-ая конфиденциальность — мы никогда не будем присылать вам спам» снизило конверсию на 18,7%.

Этот эксперимент заставил меня задуматься и провести ряд последующих опытов, чтобы выяснить, почему такая «политика конфиденциальности» имела негативный эффект. Мои тесты показали, что слово «спам» имело нежелательный эффект, несмотря на то, что использовалось для заверения посетителей в том, что они не будут получать спам.

Моя гипотеза состояла в том, что, помещая слово вблизи формы, вы вселяете пользователям мысль о возможности спама: «Ой, подождите, они правда могут присылать мне спам?». Я провел еще три эксперимента, в результате лучший вариант повысил конверсию в регистрации на 19,47%. Лучший текст получился такой: «Мы гарантируем 100%­-ую конфиденциальность. Ваша информация не будет передана никому».

Аналогичные тесты с конфиденциальностью я провел на других посадочных страницах, получив похожий результат. Например, на странице с моей книгой «7 универсальных принципов оптимизации конверсии» я добился увеличения загрузок на 24% после изменения «100%-­ая приватность — я никогда не буду присылать спам» на «я гарантирую 100%-­ую приватность».

Некоторые могут заявить, что тесты, описанные в статье, были плохими. На самом деле, это не так, ведь эксперименты предоставили важную информацию, которая в конечном итоге привела к повышению конверсии на различных лендинговых страницах.

Оптимизация таких страниц — это непрерывный процесс, и до тех пор, пока ваши результаты испытаний приводят к новому понимаю и учат каким­то вещам, не так важно, являются ли тесты позитивными или негативными.

Конечно, круто угадать выигрышный вариант с самого начала. Но когда вы рассматриваете оптимизацию как непрерывный процесc, а не единоразовую попытку сделать лучше, вы увидите, что даже пара неудачных попыток зачастую впоследствии приводят к результату.

Статьи по теме
Примеры самых неожиданных результатов А/B-тестирования10 июля 2014, 18:19
Популярные статьи
Показать еще

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Oleg Pikaruk

Появились бы сервисы по консолидации посылок.

Власти России намерены снизить беспошлинный порог для ввоза интернет-посылок до 500 евро с середины 2018 года
0
Stas Sokolov
Hands4U

Как соберете, рядовой, скиньте на мыло майор(сАбака)очевидность.ру На первый второй рассчитайсь!

«Одноклассники» запустили денежные переводы администраторам сообществ
0
Данил Петрусёв

Какая комиссия сервису за такую услугу?

Суд отменил арест 9 млрд рублей IKEA после вмешательства бизнес-омбудсмена Бориса Титова
0
Елена Богатырева

Илья, тут нет рецепта. Вы экономите на свой страх и риск или проверяете. Мастер не может зависеть от исхода сделки. Он свою работу сделал. Примерно как с вашим здоровьем. Вы делаете обследование. Как часто и насколько разные методики используются - ваше решение.

DamProdam — сайт покупки-продажи подержанной техники
0
Данил Петрусёв

Сук, я так себе велосипед не закажу никогда такими темпами

Власти России намерены снизить беспошлинный порог для ввоза интернет-посылок до 500 евро с середины 2018 года
0
Показать еще