Офтоп
Редакция vc.ru

Что делать, если результаты A/B теста оказались провальными

В рубрике Growth Hacks регулярно выходили материалы об успешных результатах тестов. Однако при проведении A/B тестирования в реальной жизни все получается совершенно не так, как пишут в статьях. На Unbounce.com появился полезный материал о том, что делать, если результаты эксперимента оказались отрицательными.

Получить негативный результат — самое худшее, что может произойти после выполнения A/B тестов.

В то время, как многие маркетологи согласятся с этим утверждением, опыт почти 400 тестов говорит об обратном. Отрицательный результат зачастую так же полезен, как и положительный тест.

Как изменение одного слова в призыве к действию сократило количество переходов на страницу оплаты на 26,55%

Вот пример серии тестов, которые я провел на странице оплаты одного из своих клиентов. Страница является последним шагом воронки, и каждый клик означает прирост выручки. Опыт огромного количества A/B тестов показал, что сам призыв к действию оказывает огромное влияние на то, нажмет ли пользователь на кнопку, и я собирался проверить ряд гипотез.

Одной из них было то, что употребление на кнопке слова «Your» работает лучше «My». Несмотря на то, что сайты привыкли обращаться к посетителям во втором лице единственного числа, было бы странно перейти к первому лицу и использовать «My». Я был уверен, что моя гипотеза верна и решил провести тест, доказав заказчику свою правоту. Как же сильно я был удивлен. Результаты тестирования показали, что обращение со словом «Your» работает на 24,95% хуже, чем «My».

Обращение со словом «Your» работает на 24,95% хуже, чем «My».

Разумеется, я был озадачен и посрамлен, ведь тесты показали, что моя гипотеза ошибочна, а намерение подобным образом увеличить конверсию имело прямо противоположный эффект. Это заставило меня задаться вопросом, было ли увиденное мной случайностью, или я наткнулся на то, что можно было бы использовать позитивно. Другими словами, могу ли я генерировать положительные результаты, изменив притяжательное определение на «My». В конечно итоге, я выполнил тесты на ряде веб-сайтов и посадочных страниц с использованием «My».

Наиболее показательным результатом стал тест, который мы провели на нашей странице Unbounce.com. Мы увидели 90%-­е увеличение соотношения кликов к показам во время тестирования 'Get my free 30 day trial' вместо 'Get your 30­ day trial'.

Мы увидели 90%-­е увеличение соотношения кликов к показам при тестировании 'Get my free 30 day trial' вместо 'Get your 30­ day trial'.

Как добавление политики конфиденциальности снизило уровень регистраций на 18,7%

Вот еще один пример, когда я думал, что мое нововведение будет работать. Вернее, я не думал, сработает оно или нет, вопрос состоял в том, насколько хорошо оно сработает.

Моим клиентом была международная букмекерская компания Bettingexpert.com. Меня наняли для оптимизации главной страницы с целью увеличения количества регистраций. Я решил сосредоточиться на наиболее важной части — форме регистрации. Одна из вещей, которая меня поразила — это отсутствие политики конфиденциальности.

Зная природу веб­сайтов, я без колебаний смог предположить, что добавление политики конфиденциальности смягчит беспокойство потенциальных пользователей и повысит конверсию в регистрации. Я решил проверить небольшое изменение в политике конфиденциальности, использовав фразу, которую увидел в одном популярном блоге по интернет­маркетингу: «100%-я конфиденциальность — мы никогда не будем присылать вам спам».

Как я уже сказал, не было никаких колебаний относительно результатов теста, и я ощущал волнение перед тем, как увижу, насколько это увеличит количество регистраций. Каково же было мое изумление, когда нововведение снизило конверсию на 18,7%. Снова я был озадачен результатами теста. Это научило меня важному уроку: просто добавить политику конфиденциальности — недостаточно для увеличения регистраций. Наоборот, это может серьезно снизить уровень конверсии.

Добавление фразы «100%-ая конфиденциальность — мы никогда не будем присылать вам спам» снизило конверсию на 18,7%.

Этот эксперимент заставил меня задуматься и провести ряд последующих опытов, чтобы выяснить, почему такая «политика конфиденциальности» имела негативный эффект. Мои тесты показали, что слово «спам» имело нежелательный эффект, несмотря на то, что использовалось для заверения посетителей в том, что они не будут получать спам.

Моя гипотеза состояла в том, что, помещая слово вблизи формы, вы вселяете пользователям мысль о возможности спама: «Ой, подождите, они правда могут присылать мне спам?». Я провел еще три эксперимента, в результате лучший вариант повысил конверсию в регистрации на 19,47%. Лучший текст получился такой: «Мы гарантируем 100%­-ую конфиденциальность. Ваша информация не будет передана никому».

Аналогичные тесты с конфиденциальностью я провел на других посадочных страницах, получив похожий результат. Например, на странице с моей книгой «7 универсальных принципов оптимизации конверсии» я добился увеличения загрузок на 24% после изменения «100%-­ая приватность — я никогда не буду присылать спам» на «я гарантирую 100%-­ую приватность».

Некоторые могут заявить, что тесты, описанные в статье, были плохими. На самом деле, это не так, ведь эксперименты предоставили важную информацию, которая в конечном итоге привела к повышению конверсии на различных лендинговых страницах.

Оптимизация таких страниц — это непрерывный процесс, и до тех пор, пока ваши результаты испытаний приводят к новому понимаю и учат каким­то вещам, не так важно, являются ли тесты позитивными или негативными.

Конечно, круто угадать выигрышный вариант с самого начала. Но когда вы рассматриваете оптимизацию как непрерывный процесc, а не единоразовую попытку сделать лучше, вы увидите, что даже пара неудачных попыток зачастую впоследствии приводят к результату.

{ "author_name": "Редакция vc.ru", "author_type": "self", "tags": ["\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b","\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b_\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f","\u043a\u0435\u0439\u0441\u044b","\u043a\u0430\u043a_\u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c_a_b_\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435","a_b_\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435","a_b_\u0442\u0435\u0441\u0442"], "comments": 0, "likes": 13, "favorites": 0, "is_advertisement": false, "subsite_label": "flood", "id": 4567, "is_wide": true, "is_ugc": true, "date": "Thu, 31 Jul 2014 13:55:21 +0400", "is_special": false }
0
0 комментариев
Популярные
По порядку

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Читать все 0 комментариев
«Spotify: История продукта». Как мы разработали алгоритмы музыкальных рекомендаций

Из онлайн-библиотеки — в сервис персонализированных рекомендаций.

Будущее наступит во вторник на OneRetailConf
В МВД и Минтрансе разработали ПДД для электросамокатов и других средств индивидуальной мобильности Статьи редакции

Россияне смогут ездить на скорости до 25 км/ч при весе устройств не более 35 килограммов.

«Российский рынок акций был и остаётся одним из самых привлекательных в мире»

Виталий Исаков, директор по инвестициям УК «Открытие» («Открытие Инвестиции»).

Лекарство или яд: самые интересные исследования про алкоголь Статьи редакции

Материал издания Reminder.

Onboarding как отражение продукта
Дефицит цифровых кадров в России и их подготовка

Весь мир переходит в цифровую среду. Пока в ежегодном глобальном рейтинге конкурентоспособности Россия занимает 43-е место, но задерживаться на нем не намерена. Для этого правительство запустило программу «Цифровая экономика РФ», которая будет поддерживать цифровую экономику в стране и подготовку необходимых кадров.

Может ли Тинькофф распоряжаться вашими ценными бумагами

Сегодня хочу рассказать об особенностях работы российских брокеров, механизмах, которые позволяет им распоряжаться ценными бумагами клиентов без их ведома, рисках при банкротстве брокера и своём личном отношении к данной проблеме.

Сотрудник М.Видео: «Лучше не берите»

Или как М.Видео и Эльдорадо продаёт вам витринные образцы за полную цену.

Когда устал вечером в Додо

Заказал пиццу и залипаю на то как ее готовят, и тут внезапно девушка начинает рисовать на раскатке и писать надписи, снова зашел через пару минут и тут...

null