Лого vc.ru

Примеры самых неожиданных результатов А/B-тестирования

Примеры самых неожиданных результатов А/B-тестирования

Редакция VWO собрала примеры A/B-тестирования, которые больше всего удивили экспертов. В рубрике Growth Hacks перевод материала редактора VWO Джастина Рондо.

Поделиться

Одна из наиболее важных причин, по которой я люблю сплит-тестирование ­— это его неотъемлемая способность смирять мнения даже самых опытных экспертов. Иногда даже самые хорошо изученные гипотезы терпят неудачу.

Это одна из веских причин, по которой компании должны тестировать изменение любой мелочи — начиная от текста, заканчивая дизайном, а не полагаться на свою интуицию или личные предпочтения. В этой статье я поделюсь с вами примерами некоторых экспериментов, которые либо вызвали большое разделение мнений в сообществе WhichTestWon, либо шокировали нашу редакционную команду и судей премии Testing Awards.

Поддержка общественности не «Наше всё!»

Как вы думаете, какой из приведенных ниже примеров генерирует большую конверсию для известного блога о веб­дизайне?

71% пользователей сообщества WhichTestWon решили, что победителем будет левый вариант ­— тот, что с поддержкой общественности. Когда я предоставляю возможность выбрать выигрышный вариант живой аудитории на конференциях, 90-95% выбирают вариант с поддержкой общественности.

Тем не менее, они все ошиблись. Правый вариант принес на 122% больше подписок на рассылку, нежели его аналог с поддержкой общественности.

В мире, где мы измучены социальными виджетами статистики Facebook и Twitter, оказывается, что 14 тысяч посетителей не являются достаточным убеждением, чтобы совершить целевое действие. Обычно мы видим, что компании просто добавляют социальные виджеты, не испытав их, потому что какой-то медиа-эксперт сказал им, что это поможет увеличить конверсию. К счастью, команда этого сайта испытала этот блок перед запуском, иначе они упустили бы большое количество пользователей, выбиравших продукт.

Не поймите меня неправильно, есть много ценного в поддержке общественности. С одной стороны, это понизит тревожность посетителя и создаст авторитет вашему бренду. Фокус в том, чтобы выяснить где именно лучше их разместить и какую именно статистику на них представить. Либо вы размещаете количество подписчиков, либо количество лайков, либо еще что-то, либо все это вместе взятое. Проще говоря — протестируйте это. Никогда слепо не добавляйте что-то на сайт — это может уменьшить вашу конверсию.

Иконки — может и тренд, но могут и повредить конверсии

Иконки в веб-дизайне вернулись. В целом, иконки были полезны, особенно когда они использовались в качестве буллетов для стилизованных списков. Команда build.com хотела выяснить, будут ли иконки полезным навигационным инструментом. Результат удивил их.

Вот две версии меню, одна с иконками, другая без:

Вариант включал иконки, представляющие навигационные разделы сайта. Команда считала, что повышенное внимание к иконкам улучшит навигацию и категоризацию на их сайте, что приведет к увеличению продаж. Тем не менее, версия без иконок принесла на 21% больше покупок, чем версия со значками.

Почему? Мы предполагаем, что иконки навигации хоть и привнесли элегантную панель навигации, но добавили больший беспорядок, который путал посетителя.

Тестирование сертификатов безопасности на форме регистрации

Самая сильная точка сомнений на каждой странице лидогенерации — сама форма. Вам необходимо определить оптимальное количество полей, интуитивно выбрать дизайн, а также добавить невидимую политику конфиденциальности и/или сертификат безопасности, который уменьшит беспокойство посетителя.

Это наиболее известные практики, это понимают сами маркетологи. И вот, вероятно, почему 74% опрошенных в сообществе WhichTestWon выбрали неправильного победителя для этого А/B-теста.

Вариант без логотипа TRUSTe получил на 12,6% больше регистраций, чем вариант с ним. Да, кнопку «Отправить» действительно уменьшили, чтобы разместить логотип TRUSTe, но мы подозреваем, что основная причина в самом логотипе.

Подтверждение конфиденциальности действительно может увеличить конверсию, но нужно знать где и когда их разместить. В данном конкретном примере логотип был в неправильном месте и в неправильное время. Посетители привыкли видеть этот логотип уже в корзине, а не на верхней ступени воронки генерации лида. Вполне вероятно, многие подозревали проведение платежной операции, когда видели логотип здесь. Вместо того, чтобы использовать логотип сертификата безопасности, команда могла протестировать добавление ссылки на политику конфиденциальности. Помните, результат зависит от контекста.

Если конверсия падает при добавлении изображения счастливого лица

Специалисты по веб-оптимизации и дизайнеры любят использовать лица. Я понял: лица, это первое что привлекает взгляд, когда заходишь на страницу. Многочисленные исследования и наблюдения за пользователями это подтверждают.

Тем не менее, иногда в человеческом лице может быть немного безумия. Поэтому вы должны убедиться, что добавляемые на страницу лица не конкурируют с заголовками и призывом к действию.

Вот пример:

Версия этой страницы AutoDesk, где использованы лица, получила на 50% меньше кликов по видео. Это был не идеально чистый тест. Были незначительные изменения текста, но ничего драматичного. Сказать по правде, мне более интересна история вокруг этого теста, нежели его неожиданные фактические результаты. Тем не менее, это не первый и не последний тест, который мы видели, где удаление изображения лица приводит к увеличению конверсии.

Кстати, я рад, что команда использовала фотографию своего сотрудника, нежели скачала изображение из стока. Модели и стоковые фото, как правило, получают еще меньшие конверсии, нежели «реальные» люди.

Что более удивительно, так это то, что команда HubSpot на момент проведения этого теста решила провести испытания добавления изображений лиц на каждой из своих целевых страниц. Где­то это имело смысл, так как они убедились, что на некоторых страницах использование лиц увеличивает конверсию. Однако, то что может быть верно для некоторых страниц не всегда верно для всех страниц. К счастью, этот пример внес зерно сомнения и компания изменила свои планы.

Перед созданием целевой страницы или перед изменением дизайна, пожалуйста, протестируйте все. Вы даже не представляете, сколько конверсий можете потерять.

Видео-иконки ­— продуктоориентированые или человекоориентированые

Вот еще один случай, проверяющий, является ли использование человеческого лица целесообразным.

Версия этой страницы AutoDesk, где использованы лица получила на 50% меньше кликов по видео. Ничего другого на этой странице не изменилось, кроме изображений предпросмотра видео. Я не против лиц на веб-сайтах, я просто хочу чтоб прежде, чем что-то запускать, вы протестировали это. Само собой, тестировавшая команда была поражена результатами. Они показывали, что потенциальные покупатели были более заинтересованы в том, чтобы увидеть как продукт работает, нежели увидеть персональное интервью от человека о работе продукта. Этот кейс сводится к познанию своей аудитории, один и тот же кейс подходит не всем.

В заключение

Эксперты в области тестирования были сбиты с толку результатами экспериментов, и будут поставлены в тупик снова и снова. Хитрость заключается в том, чтобы понять, что необходимо предпринять, когда эксперимент идет в разрез с вашей гипотезой и четко выстроенным планом. Ваши дальнейшие действия могут включать оценку длинного перечня вещей, таких как: ваша гипотеза, технологии, устройства, источники трафика и так далее до бесконечности.

Вы должны учиться, а если ваш тест пошел в разрез с ожиданиями, значит, что или вы не понимаете что хотят ваши посетители, или в странице были допущены ошибки.

В любом случае, вы научились чему-то полезному.

Запомните, тестирование является развивающим процессом, будущие итерации несут либо успехи либо неудачи.

Советы и кейсы не могут универсально подходить под каждый сайт, поэтому тестируйте любое изменение перед запуском. Вы можете протестировать огромное количество переменных и получить непредсказуемые результаты: либо огромное увеличение конверсии там, где вы не ожидали либо уменьшение конверсии при тестировании общеизвестных положительных приемов.


Присылайте свои материалы на what@growthhacks.ru и вы тоже можете стать автором рубрики Growth Hacks.
Статьи по теме
Как проводить A/B тестирование для описания приложений в AppStore и Google Play10 июня 2014, 13:24
Как увеличить конверсию на 48% во время A/B­-тестирования07 июля 2014, 20:03
Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

В первом примере проблема ИМХО в get updates.

Во втором случае ИМХО, люди в поиске того, чего нужно, совершали больше спонтанных покупок.

На обоих вариантах эта надпись фигурирует - ее не меняли.

Самое сложное - правильно интерпретировать результаты A/B тестов. Понять, почему именно тесты показали результаты, отличающиеся от ожиданий.
Например, я могу соглашаться с доводами из пункта про видео-иконки (я как раз один из тех пользователей, кто с бОльшим удовольствием посмотрит демонстрацию функциональности продукта, а не будет слушать парня, сидящего на стуле и жестикулирующего в соответствии со всеми принятыми канонами). В то же время, пример с иконками для меня не очевиден, потому что мусорности вроде бы добавилось, но при этом мне интереснее жамкать не на гиперссылки в меню, а как раз на иконки...

Артем, в том и дело, что у каждого свое видение и ожидание результатов эксперимента.

Иконки, в том месте где они именно иконки, а не разделы навигации, становятся губительны для конверсии, но опять же, это показал эксперимент в рамках контекста нашего LP.

0

Из текста не понятно, что именно дало прирост покупок. Возможно как увеличение количества покупателей, так и увеличение среднего чека. В зависимости от ситуации, результаты теста тоже можно трактовать по разному.

0

С лицами на предпросмотре видео все очевидно. Лицо на thumb'е говорит скорее о том, что в этом видео будет сплошное балабольство, зачастую еще и плохо снятое. А если там виден слайд презентации, то понятно, что там и информации будет больше. Интервью от человека без текстовой презентации слишком часто не уходит дальше "у нас все круто, но голосом нам это не рассказать, поэтому идите читайте мануал".

Во втором кейсе форма поиска отличается заметно.

0

> версия без иконок принесла на 21% больше покупок, чем версия со значками
может быть потому, что иконки уродские были?

+1
результат предсказуем
без надписей смысл иконок не ясен

0

но сам материал - супер!

0

Например, я не кликаю на лица, потому что мне жаль времени слушать говорящие головы. Если им есть, что сказать - пусть напишут это или нарисуют. Возможно, такая логика присуща многим.

А чего странного то?

В Интернете где сообщения вида "этот супербраслет уже купили 100500 человек", вместе со счастливыми лицами и иконки вида "Проверено каперским"/"136% возврат денег", и т.д. - стали уловками мошенников. И люди заходя на сайты с такими элементами дизайна подсознательно думают "надо валить".

0

Вы правда считаете, что Google об этом не знает и сервис контекстной рекламы рекламирует таким способом с ущербом для себя?

гугл - это гугл, ему можно об этом не так сильно заботится, как другим, где есть жесткая конкуренция, в общем, сравнение не совсем верное.

0

у гугла UX не на первом месте

"... но мы подозреваем, что основная причина в ..." — так вы подозреваете или претендуете на глубокий анализ?

0

Слово "глубокий" мы вообще в своей рубрике стараемся не употреблять.

Главное четко понимать, что A/B тестинг говорит какой конкретный вариант лучше работает для конкретной данной аудитории. Бессмысленно из него делать выводы что иконки лучше-хуже, лица лучше-хуже, видео лучше-хуже. В смысле, что делать их можно, но чисто для себя. Доказательная сила у них только как у контр-примеров - когда вам будут говорить, что лица это хорошо, можно ответить, что "а у тех парней получилось, что не хорошо". Давайте проверим у себя, прежде чем решать

Хорошая конверсия у иконок - пототому что быстро угадываемые иконки позволяют быстро найти то, что ищеш на сайте - это дает коверцию. Например кнопка выхода с открытыми дверями. Ты не ищеш надпись выход - если видишь эту иконку

но тут осознание иконок кранов и ручек дверей у меня заняло реально больше времени, чем собственно прочтение надписи.

Вывод такой - никто ничего не знает заранее, надо все тестировать.

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Klim Mi

Вообще-то тут совершенно разные контексты.
Во втором случае речь не про деньги, а про учёбу и развитие.

«10 карьерных ошибок, которые я мечтал бы не совершать»
0
Татьяна Минаева

А ведь мы могли пропустить такую важную новость

«Двач» временно закрыл бесплатный доступ к сайту из-за DDoS-атаки
0
Roman Novikov

Ответом будет название музыкального коллектива:

Можно ли заработать на майнинге криптовалюты
0
ivan krapivin
Летим Куда Хотим

В статье об этом не говорится, но аудитория подобных сайтов уменьшилась пропорционально усилению контроля за оборотом веществ.

Почему сайты о ночной жизни умирают и что с этим делать
−1
Татьяна Минаева

Немного противоречиво: 1. Но вместо того, чтобы фокусироваться на деньгах, почему бы не выбрать то, что приносит больше удовлетворения? 2. Вы не поверите как много вечеров и выходных я потратил на телевизор, тусовки, бессмысленный шоппинг и другие развлечения.

«10 карьерных ошибок, которые я мечтал бы не совершать»
0
Показать еще