Оффтоп Natalya Sturza
25 802

Примеры самых неожиданных результатов А/B-тестирования

Редакция VWO собрала примеры A/B-тестирования, которые больше всего удивили экспертов. В рубрике Growth Hacks перевод материала редактора VWO Джастина Рондо.

Одна из наиболее важных причин, по которой я люблю сплит-тестирование ­— это его неотъемлемая способность смирять мнения даже самых опытных экспертов. Иногда даже самые хорошо изученные гипотезы терпят неудачу.

Это одна из веских причин, по которой компании должны тестировать изменение любой мелочи — начиная от текста, заканчивая дизайном, а не полагаться на свою интуицию или личные предпочтения. В этой статье я поделюсь с вами примерами некоторых экспериментов, которые либо вызвали большое разделение мнений в сообществе WhichTestWon, либо шокировали нашу редакционную команду и судей премии Testing Awards.

Поддержка общественности не «Наше всё!»

Как вы думаете, какой из приведенных ниже примеров генерирует большую конверсию для известного блога о веб­дизайне?

71% пользователей сообщества WhichTestWon решили, что победителем будет левый вариант ­— тот, что с поддержкой общественности. Когда я предоставляю возможность выбрать выигрышный вариант живой аудитории на конференциях, 90-95% выбирают вариант с поддержкой общественности.

Тем не менее, они все ошиблись. Правый вариант принес на 122% больше подписок на рассылку, нежели его аналог с поддержкой общественности.

В мире, где мы измучены социальными виджетами статистики Facebook и Twitter, оказывается, что 14 тысяч посетителей не являются достаточным убеждением, чтобы совершить целевое действие. Обычно мы видим, что компании просто добавляют социальные виджеты, не испытав их, потому что какой-то медиа-эксперт сказал им, что это поможет увеличить конверсию. К счастью, команда этого сайта испытала этот блок перед запуском, иначе они упустили бы большое количество пользователей, выбиравших продукт.

Не поймите меня неправильно, есть много ценного в поддержке общественности. С одной стороны, это понизит тревожность посетителя и создаст авторитет вашему бренду. Фокус в том, чтобы выяснить где именно лучше их разместить и какую именно статистику на них представить. Либо вы размещаете количество подписчиков, либо количество лайков, либо еще что-то, либо все это вместе взятое. Проще говоря — протестируйте это. Никогда слепо не добавляйте что-то на сайт — это может уменьшить вашу конверсию.

Иконки — может и тренд, но могут и повредить конверсии

Иконки в веб-дизайне вернулись. В целом, иконки были полезны, особенно когда они использовались в качестве буллетов для стилизованных списков. Команда build.com хотела выяснить, будут ли иконки полезным навигационным инструментом. Результат удивил их.

Вот две версии меню, одна с иконками, другая без:

Вариант включал иконки, представляющие навигационные разделы сайта. Команда считала, что повышенное внимание к иконкам улучшит навигацию и категоризацию на их сайте, что приведет к увеличению продаж. Тем не менее, версия без иконок принесла на 21% больше покупок, чем версия со значками.

Почему? Мы предполагаем, что иконки навигации хоть и привнесли элегантную панель навигации, но добавили больший беспорядок, который путал посетителя.

Тестирование сертификатов безопасности на форме регистрации

Самая сильная точка сомнений на каждой странице лидогенерации — сама форма. Вам необходимо определить оптимальное количество полей, интуитивно выбрать дизайн, а также добавить невидимую политику конфиденциальности и/или сертификат безопасности, который уменьшит беспокойство посетителя.

Это наиболее известные практики, это понимают сами маркетологи. И вот, вероятно, почему 74% опрошенных в сообществе WhichTestWon выбрали неправильного победителя для этого А/B-теста.

Вариант без логотипа TRUSTe получил на 12,6% больше регистраций, чем вариант с ним. Да, кнопку «Отправить» действительно уменьшили, чтобы разместить логотип TRUSTe, но мы подозреваем, что основная причина в самом логотипе.

Подтверждение конфиденциальности действительно может увеличить конверсию, но нужно знать где и когда их разместить. В данном конкретном примере логотип был в неправильном месте и в неправильное время. Посетители привыкли видеть этот логотип уже в корзине, а не на верхней ступени воронки генерации лида. Вполне вероятно, многие подозревали проведение платежной операции, когда видели логотип здесь. Вместо того, чтобы использовать логотип сертификата безопасности, команда могла протестировать добавление ссылки на политику конфиденциальности. Помните, результат зависит от контекста.

Если конверсия падает при добавлении изображения счастливого лица

Специалисты по веб-оптимизации и дизайнеры любят использовать лица. Я понял: лица, это первое что привлекает взгляд, когда заходишь на страницу. Многочисленные исследования и наблюдения за пользователями это подтверждают.

Тем не менее, иногда в человеческом лице может быть немного безумия. Поэтому вы должны убедиться, что добавляемые на страницу лица не конкурируют с заголовками и призывом к действию.

Вот пример:

Версия этой страницы AutoDesk, где использованы лица, получила на 50% меньше кликов по видео. Это был не идеально чистый тест. Были незначительные изменения текста, но ничего драматичного. Сказать по правде, мне более интересна история вокруг этого теста, нежели его неожиданные фактические результаты. Тем не менее, это не первый и не последний тест, который мы видели, где удаление изображения лица приводит к увеличению конверсии.

Кстати, я рад, что команда использовала фотографию своего сотрудника, нежели скачала изображение из стока. Модели и стоковые фото, как правило, получают еще меньшие конверсии, нежели «реальные» люди.

Что более удивительно, так это то, что команда HubSpot на момент проведения этого теста решила провести испытания добавления изображений лиц на каждой из своих целевых страниц. Где­то это имело смысл, так как они убедились, что на некоторых страницах использование лиц увеличивает конверсию. Однако, то что может быть верно для некоторых страниц не всегда верно для всех страниц. К счастью, этот пример внес зерно сомнения и компания изменила свои планы.

Перед созданием целевой страницы или перед изменением дизайна, пожалуйста, протестируйте все. Вы даже не представляете, сколько конверсий можете потерять.

Видео-иконки ­— продуктоориентированые или человекоориентированые

Вот еще один случай, проверяющий, является ли использование человеческого лица целесообразным.

Версия этой страницы AutoDesk, где использованы лица получила на 50% меньше кликов по видео. Ничего другого на этой странице не изменилось, кроме изображений предпросмотра видео. Я не против лиц на веб-сайтах, я просто хочу чтоб прежде, чем что-то запускать, вы протестировали это. Само собой, тестировавшая команда была поражена результатами. Они показывали, что потенциальные покупатели были более заинтересованы в том, чтобы увидеть как продукт работает, нежели увидеть персональное интервью от человека о работе продукта. Этот кейс сводится к познанию своей аудитории, один и тот же кейс подходит не всем.

В заключение

Эксперты в области тестирования были сбиты с толку результатами экспериментов, и будут поставлены в тупик снова и снова. Хитрость заключается в том, чтобы понять, что необходимо предпринять, когда эксперимент идет в разрез с вашей гипотезой и четко выстроенным планом. Ваши дальнейшие действия могут включать оценку длинного перечня вещей, таких как: ваша гипотеза, технологии, устройства, источники трафика и так далее до бесконечности.

Вы должны учиться, а если ваш тест пошел в разрез с ожиданиями, значит, что или вы не понимаете что хотят ваши посетители, или в странице были допущены ошибки.

В любом случае, вы научились чему-то полезному.

Запомните, тестирование является развивающим процессом, будущие итерации несут либо успехи либо неудачи.

Советы и кейсы не могут универсально подходить под каждый сайт, поэтому тестируйте любое изменение перед запуском. Вы можете протестировать огромное количество переменных и получить непредсказуемые результаты: либо огромное увеличение конверсии там, где вы не ожидали либо уменьшение конверсии при тестировании общеизвестных положительных приемов.


Присылайте свои материалы на what@growthhacks.ru и вы тоже можете стать автором рубрики Growth Hacks.

#золотойфонд #Кейсы #эксперты #опыт #A_B_тестрование #лучшие_практики #как_применять_A_B_тестирование #тестирование_интерфейсов

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
Статьи по теме
Как увеличить конверсию на 48% во время A/B­-тестирования
Как проводить A/B тестирование для описания приложений в AppStore и Google Play
{ "author_name": "Natalya Sturza", "author_type": "self", "tags": ["\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b","\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435_\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u0432","\u043e\u043f\u044b\u0442","\u043b\u0443\u0447\u0448\u0438\u0435_\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438","\u043a\u0435\u0439\u0441\u044b","\u043a\u0430\u043a_\u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c_a_b_\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435","\u0437\u043e\u043b\u043e\u0442\u043e\u0439\u0444\u043e\u043d\u0434","a_b_\u0442\u0435\u0441\u0442\u0440\u043e\u0432\u0430\u043d\u0438\u0435"], "comments": 21, "likes": 34, "favorites": 1, "is_advertisement": false, "subsite_label": "flood", "id": 4374, "is_wide": true, "is_ugc": true, "date": "Thu, 10 Jul 2014 19:19:40 +0400" }
{ "id": 4374, "author_id": 3902, "diff_limit": 1000, "urls": {"diff":"\/comments\/4374\/get","add":"\/comments\/4374\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/4374"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199791 }

21 комментарий 21 комм.

Популярные

По порядку

Написать комментарий...
7

Самое сложное - правильно интерпретировать результаты A/B тестов. Понять, почему именно тесты показали результаты, отличающиеся от ожиданий.
Например, я могу соглашаться с доводами из пункта про видео-иконки (я как раз один из тех пользователей, кто с бОльшим удовольствием посмотрит демонстрацию функциональности продукта, а не будет слушать парня, сидящего на стуле и жестикулирующего в соответствии со всеми принятыми канонами). В то же время, пример с иконками для меня не очевиден, потому что мусорности вроде бы добавилось, но при этом мне интереснее жамкать не на гиперссылки в меню, а как раз на иконки...

Ответить
0

Артем, в том и дело, что у каждого свое видение и ожидание результатов эксперимента.

Иконки, в том месте где они именно иконки, а не разделы навигации, становятся губительны для конверсии, но опять же, это показал эксперимент в рамках контекста нашего LP.

Ответить
0

Из текста не понятно, что именно дало прирост покупок. Возможно как увеличение количества покупателей, так и увеличение среднего чека. В зависимости от ситуации, результаты теста тоже можно трактовать по разному.

Ответить
7

версия без иконок принесла на 21% больше покупок, чем версия со значками

может быть потому, что иконки уродские были?

Ответить
0

+1
результат предсказуем
без надписей смысл иконок не ясен

Ответить
2

Главное четко понимать, что A/B тестинг говорит какой конкретный вариант лучше работает для конкретной данной аудитории. Бессмысленно из него делать выводы что иконки лучше-хуже, лица лучше-хуже, видео лучше-хуже. В смысле, что делать их можно, но чисто для себя. Доказательная сила у них только как у контр-примеров - когда вам будут говорить, что лица это хорошо, можно ответить, что "а у тех парней получилось, что не хорошо". Давайте проверим у себя, прежде чем решать

Ответить
1

В первом примере проблема ИМХО в get updates.

Во втором случае ИМХО, люди в поиске того, чего нужно, совершали больше спонтанных покупок.

Ответить
1

На обоих вариантах эта надпись фигурирует - ее не меняли.

Ответить
1

я про "...and get free updates"

Ответить

Комментарий удален

1

С лицами на предпросмотре видео все очевидно. Лицо на thumb'е говорит скорее о том, что в этом видео будет сплошное балабольство, зачастую еще и плохо снятое. А если там виден слайд презентации, то понятно, что там и информации будет больше. Интервью от человека без текстовой презентации слишком часто не уходит дальше "у нас все круто, но голосом нам это не рассказать, поэтому идите читайте мануал".

Ответить
1

перевод жуть

Ответить
1

Например, я не кликаю на лица, потому что мне жаль времени слушать говорящие головы. Если им есть, что сказать - пусть напишут это или нарисуют. Возможно, такая логика присуща многим.

Ответить
1

Хорошая конверсия у иконок - пототому что быстро угадываемые иконки позволяют быстро найти то, что ищеш на сайте - это дает коверцию. Например кнопка выхода с открытыми дверями. Ты не ищеш надпись выход - если видишь эту иконку

но тут осознание иконок кранов и ручек дверей у меня заняло реально больше времени, чем собственно прочтение надписи.

Ответить
1

Вывод такой - никто ничего не знает заранее, надо все тестировать.

Ответить
0

А чего странного то?

В Интернете где сообщения вида "этот супербраслет уже купили 100500 человек", вместе со счастливыми лицами и иконки вида "Проверено каперским"/"136% возврат денег", и т.д. - стали уловками мошенников. И люди заходя на сайты с такими элементами дизайна подсознательно думают "надо валить".

Ответить
2

Вы правда считаете, что Google об этом не знает и сервис контекстной рекламы рекламирует таким способом с ущербом для себя?

Ответить
0

гугл - это гугл, ему можно об этом не так сильно заботится, как другим, где есть жесткая конкуренция, в общем, сравнение не совсем верное.

Ответить
–1

у гугла UX не на первом месте

Ответить

Комментарий удален

Комментарий удален

0

Во втором кейсе форма поиска отличается заметно.

Ответить
0

но сам материал - супер!

Ответить
0

отличная статья

Ответить

Комментарий удален

Комментарий удален

0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Компания отказалась от email
в пользу общения при помощи мемов
Подписаться на push-уведомления