Оффтоп Редакция vc.ru
4 332

Что делать, если результаты A/B теста оказались провальными

В рубрике Growth Hacks регулярно выходили материалы об успешных результатах тестов. Однако при проведении A/B тестирования в реальной жизни все получается совершенно не так, как пишут в статьях. На Unbounce.com появился полезный материал о том, что делать, если результаты эксперимента оказались отрицательными.

Получить негативный результат — самое худшее, что может произойти после выполнения A/B тестов.

В то время, как многие маркетологи согласятся с этим утверждением, опыт почти 400 тестов говорит об обратном. Отрицательный результат зачастую так же полезен, как и положительный тест.

Как изменение одного слова в призыве к действию сократило количество переходов на страницу оплаты на 26,55%

Вот пример серии тестов, которые я провел на странице оплаты одного из своих клиентов. Страница является последним шагом воронки, и каждый клик означает прирост выручки. Опыт огромного количества A/B тестов показал, что сам призыв к действию оказывает огромное влияние на то, нажмет ли пользователь на кнопку, и я собирался проверить ряд гипотез.

Одной из них было то, что употребление на кнопке слова «Your» работает лучше «My». Несмотря на то, что сайты привыкли обращаться к посетителям во втором лице единственного числа, было бы странно перейти к первому лицу и использовать «My». Я был уверен, что моя гипотеза верна и решил провести тест, доказав заказчику свою правоту. Как же сильно я был удивлен. Результаты тестирования показали, что обращение со словом «Your» работает на 24,95% хуже, чем «My».

Обращение со словом «Your» работает на 24,95% хуже, чем «My».

Разумеется, я был озадачен и посрамлен, ведь тесты показали, что моя гипотеза ошибочна, а намерение подобным образом увеличить конверсию имело прямо противоположный эффект. Это заставило меня задаться вопросом, было ли увиденное мной случайностью, или я наткнулся на то, что можно было бы использовать позитивно. Другими словами, могу ли я генерировать положительные результаты, изменив притяжательное определение на «My». В конечно итоге, я выполнил тесты на ряде веб-сайтов и посадочных страниц с использованием «My».

Наиболее показательным результатом стал тест, который мы провели на нашей странице Unbounce.com. Мы увидели 90%-­е увеличение соотношения кликов к показам во время тестирования 'Get my free 30 day trial' вместо 'Get your 30­ day trial'.

Мы увидели 90%-­е увеличение соотношения кликов к показам при тестировании 'Get my free 30 day trial' вместо 'Get your 30­ day trial'.

Как добавление политики конфиденциальности снизило уровень регистраций на 18,7%

Вот еще один пример, когда я думал, что мое нововведение будет работать. Вернее, я не думал, сработает оно или нет, вопрос состоял в том, насколько хорошо оно сработает.

Моим клиентом была международная букмекерская компания Bettingexpert.com. Меня наняли для оптимизации главной страницы с целью увеличения количества регистраций. Я решил сосредоточиться на наиболее важной части — форме регистрации. Одна из вещей, которая меня поразила — это отсутствие политики конфиденциальности.

Зная природу веб­сайтов, я без колебаний смог предположить, что добавление политики конфиденциальности смягчит беспокойство потенциальных пользователей и повысит конверсию в регистрации. Я решил проверить небольшое изменение в политике конфиденциальности, использовав фразу, которую увидел в одном популярном блоге по интернет­маркетингу: «100%-я конфиденциальность — мы никогда не будем присылать вам спам».

Как я уже сказал, не было никаких колебаний относительно результатов теста, и я ощущал волнение перед тем, как увижу, насколько это увеличит количество регистраций. Каково же было мое изумление, когда нововведение снизило конверсию на 18,7%. Снова я был озадачен результатами теста. Это научило меня важному уроку: просто добавить политику конфиденциальности — недостаточно для увеличения регистраций. Наоборот, это может серьезно снизить уровень конверсии.

Добавление фразы «100%-ая конфиденциальность — мы никогда не будем присылать вам спам» снизило конверсию на 18,7%.

Этот эксперимент заставил меня задуматься и провести ряд последующих опытов, чтобы выяснить, почему такая «политика конфиденциальности» имела негативный эффект. Мои тесты показали, что слово «спам» имело нежелательный эффект, несмотря на то, что использовалось для заверения посетителей в том, что они не будут получать спам.

Моя гипотеза состояла в том, что, помещая слово вблизи формы, вы вселяете пользователям мысль о возможности спама: «Ой, подождите, они правда могут присылать мне спам?». Я провел еще три эксперимента, в результате лучший вариант повысил конверсию в регистрации на 19,47%. Лучший текст получился такой: «Мы гарантируем 100%­-ую конфиденциальность. Ваша информация не будет передана никому».

Аналогичные тесты с конфиденциальностью я провел на других посадочных страницах, получив похожий результат. Например, на странице с моей книгой «7 универсальных принципов оптимизации конверсии» я добился увеличения загрузок на 24% после изменения «100%-­ая приватность — я никогда не буду присылать спам» на «я гарантирую 100%-­ую приватность».

Некоторые могут заявить, что тесты, описанные в статье, были плохими. На самом деле, это не так, ведь эксперименты предоставили важную информацию, которая в конечном итоге привела к повышению конверсии на различных лендинговых страницах.

Оптимизация таких страниц — это непрерывный процесс, и до тех пор, пока ваши результаты испытаний приводят к новому понимаю и учат каким­то вещам, не так важно, являются ли тесты позитивными или негативными.

Конечно, круто угадать выигрышный вариант с самого начала. Но когда вы рассматриваете оптимизацию как непрерывный процесc, а не единоразовую попытку сделать лучше, вы увидите, что даже пара неудачных попыток зачастую впоследствии приводят к результату.

#Кейсы #эксперименты #a_b_тестирование #как_применять_A_B_тестирование #A_B_тест #результаты_тестирования

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
Статьи по теме
Примеры самых неожиданных результатов А/B-тестирования
{ "author_name": "Редакция vc.ru", "author_type": "self", "tags": ["\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b","\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b_\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f","\u043a\u0435\u0439\u0441\u044b","\u043a\u0430\u043a_\u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c_a_b_\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435","a_b_\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435","a_b_\u0442\u0435\u0441\u0442"], "comments": 0, "likes": 13, "favorites": 0, "is_advertisement": false, "subsite_label": "flood", "id": 4567, "is_wide": true }
00
дни
00
часы
00
мин
00
сек
(function(){ var banner = document.querySelector('.teaserSberbank'); var isAdsDisabled = document.querySelector('noad'); if (!isAdsDisabled){ var countdownTimer = null; var timerItem = document.querySelectorAll('[data-sber-timer]'); var seconds = parseInt('15388' + '59599') - now(); function now(){ return Math.round(new Date().getTime()/1000.0); } function timer() { var days = Math.floor(seconds / 24 / 60 / 60); var hoursLeft = Math.floor((seconds) - (days * 86400)); var hours = Math.floor(hoursLeft / 3600); var minutesLeft = Math.floor((hoursLeft) - (hours * 3600)); var minutes = Math.floor(minutesLeft / 60); var remainingSeconds = seconds % 60; if (days < 10) days = '0' + days; if (hours < 10) hours = '0' + hours; if (minutes < 10) minutes = '0' + minutes; if (remainingSeconds < 10) remainingSeconds = '0' + remainingSeconds; if (seconds <= 0) { clearInterval(countdownTimer); } else { timerItem[0].textContent = days; timerItem[1].textContent = hours; timerItem[2].textContent = minutes; timerItem[3].textContent = remainingSeconds; seconds -= 1; } } timer(); countdownTimer = setInterval(timer, 1000); } else { banner.style.display = 'none'; } })();
{ "id": 4567, "author_id": 2, "diff_limit": 1000, "urls": {"diff":"\/comments\/4567\/get","add":"\/comments\/4567\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/4567"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199791 }

Комментариев нет 0 комм.

Популярные

По порядку

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Команда калифорнийского проекта
оказалась нейронной сетью
Подписаться на push-уведомления