Лого vc.ru

5 убийственных ошибок А/В-тестирования — колонка юзабилити-аналитика Е96.ru

5 убийственных ошибок А/В-тестирования — колонка юзабилити-аналитика Е96.ru

При разработке интерфейсов очень важно уметь оценить их качество с точки зрения бизнес-задач, и это часть работы юзабилити-аналитика, считает эксперт интернет-магазина Е96.ru Александр Олещук. Для рубрики Growth Hacks Олещук рассказал об одном из основных способов оценки новых гипотез в интерфейсах — сплит-тестировании.

Поделиться

Итак, вы решили проверить свои новые UX- и UI-решения сравнением. Хорошее дело. Обычно последовательность шагов первого сплит-тестирования выглядит так: запускаются два варианта, через час один из вариантов показывает более высокую конверсию и уходит в продакшн. Тестировщик, разработчик, дизайнер и менеджер проекта запасаются попкорном и ждут космического роста чего-нибудь.

Именно в таком виде тест совершенно бесполезен, может быть, даже и вреден, потому что вы уже сделали ошибки космического масштаба.

Ошибка №1. Людей нужно больше, чем ты думаешь

В ваших контрольных группах недостаточно людей. Высчитать необходимое число участников довольно просто, для этого есть специальная формула:

N — количество людей в контрольной группе; p — текущий уровень конверсии необходимого действия; с — минимально обнаружимый эффект; 16 — постоянный коэффицент, обеспечивающий 95% уровень доверия к результату.

Пример. Имея текущую конверсию события в 15% и обнаруживаемом эффекте в 5% (в рост или в падение), мы получим следующий расчет:

В каждом варианте вашего теста должно быть 816 участников. Это количество поможет вам увидеть статистически значимые изменения за пределами отрезка от 10% до 20% конверсии. Если вы хотите увидеть колебания в 1% (от 14% до 16%), то вам уже понадобится 20 400 человек на группу. Посчитайте сами. Либо можно воспользоваться готовым калькулятором.

Ошибка №2. Разделяй источники

Обратите особое внимание на источники трафика для вашего теста. Разные источники трафика изначально имеют разную мотивацию: если в какую-то контрольную группу попадет больше людей из одного источника трафика, а в другую — больше из другого, то разные результаты в контрольных группах будут заслугой изначальной мотивации пользователей, а не заслугой UI-решения. Можно либо ограничить тест только одним источником и типом (новый прямой трафик, например), либо уже смотреть на показатели источников по результатам теста.

Проводя в прошлом году тест по краткой и полной формам оформления заказа, мы заметили, что покупателям, которые искали именно нас (переходы из поисковых систем с наличием «е96» в ключе, прямой трафик, а также старые пользователи), без разницы какую форму заполнять, конверсия в этом случае не менялась. А вот пользователи из платной рекламы и партнерских сетей целиком форму заполнять совсем не хотели — конверсия в их случае серьезно просела. Хотя в целом конверсия вариантов различалась не сильно.

Ошибка №3. Сэкономили на времени

Тест надо проводить столько, сколько требуется для прохождения через него всех типов ваших пользователей. Ни больше, ни меньше.

В случае с E96.ru мы проводим тесты не менее недели. Это дает нам уверенность, что через него пройдут покупатели с различным поведением: оптовые покупатели из компаний и домашние пользователи, молодые люди и уже пожилые клиенты, работники офисов и труженники заводов. За неделю нас посетят практически все эти группы людей.

Ошибка №4. Одинаковые условия для всех

Все участники теста должны видеть на страницах одни и те же данные, которые влияют на достижение нужного результата. В e-commerce такие данные — цены, сроки доставки, наличие товара. Все это меняется от региона к региону (в других проектах эти данные могут быть свои). Если параметр не соблюден, то он сам по себе становится инструментом влияния на решение пользователя.

К примеру, наш магазин осуществляет продажи на территории от Ростова-на-Дону до Красноярска. Цены и даты доставки в каждом из наших регионов отличаются: тут и разные затраты на логистику, и разные поставщики в регионах. Поэтому для тестов выбирается регион Екатеринбург. Это дает нам уверенность, что пользователи увидят одну цену, один ассортимент и одну дату доставки. Все эти условия не станут влиять на мотивацию людей к покупке.

Ошибка №5. Точно знать, что улучшаем

Ну и последнее, но при этом самое важное: вы точно должны знать, на что направлен ваш эксперимент, и что вы хотите им улучшить. Только имея четкое представление о работе собственного интерфейса, можно прогнозировать изменения метрик. Не нужно проводить тест «чтобы было» или «так положено». В лучшем случае вы не сделаете никаких выводов, в худшем — просто навредите себе неверными интерпретациями.

Например, размещая видео о компании на главной странице, можно сидеть и ожидать роста продаж, но при этом не заметить, как пользователи сайта уходят в первую же секунду, проклиная неожиданные звуки и анимацию. Бывают ситуации, когда вы улучшаете одно, а растет другое.

Не ограничивайте свои ожидания одним параметром, смотрите на свои цели шире. Так, делая больше контента на карточке товара вы не обязательно увеличите конверсию, но почти гарантированно увеличите время, проведенное пользователем на странице. Делая подробный FAQ по гарантийному обслуживанию проданных товаров, вы опять же не сподвигните клиента на покупку, но снизите нагрузку на ваш колл-центр.

Как правильно запустить свой первый A/B-тест

Вариант первый: воспользуйтесь сторонним сервисом по проведению сплит-тестирования. Таких сервисов множество, но все они примерно одинаковы по своей функциональности, поэтому все, что я сейчас расскажу об optimizely.com, можно будет применить к любому другому сервису.

Чем хорош сторонний вариант? Его легко интегрировать, просто установкой javascript-кода на все шаблоны сайта. В нем легко подготовить шаблоны для тестирования с помощью wysiwyg-редактора. В нем, наконец, легко выбрать нужных посетителей для теста: тут и геолокация, и отслеживание по utm и по cookies, и простой выбор источников трафика.

Любой тест может отправлять свои данные в Universal Analytics в заранее подготовленный «custom dimension». Уже там вы сможете оценить изменения всех метрик, которые вас интересуют в данный момент. К минусам стороннего сервиса можно отнести отсутствие русскоязычной поддержки, платность (большие объемы тестируемого трафика могут обойтись в несколько тысяч долларов), а также определенную вероятность (чем вы менее опытны в веб-разработке, тем она больше) сломать весь сайт.

Изменение одного div в редакторе сервиса применяется ко всем остальным div с таким же классом по всем указанным адресам. Легко можно откопировать цену одного товара на весь сайт или же показывать одну и ту же иллюстрацию телевизора по всему каталогу.

Второй вариант сложный — сделать все самим. Для этого понадобится хороший программист, четкий план действий и знание Universal или Google Analytics. Вам надо спланировать два шаблона для теста и определить, что же вы будете измерять. Программист подготовит эти два шаблона, настроит отправку данных из них в «custom dimensions» Universal Analytics, а также займется распределением трафика на эти шаблоны. После запуска теста все результаты запишутся в Analytics. Вам останется только дождаться окончания теста и подвести результаты.

A/B-тесты — мощный инструмент аналитики, но он не должен быть единственным в вашем арсенале оценки интерфейсов. Просто правильно расставленные события в Google Analytics и результаты проведения тестов в фокус-группах точнее укажут на ваши текущие проблемы, тогда как A/B-тест просто покажет, какой из двух предложенных вариантов лучше, при этом ни дав не единой подсказки о третьем, действительно эффективном решении.

Статьи по теме
Как проводить A/B тестирование для описания приложений в AppStore и Google Play10 июня 2014, 13:24
Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

А мы вот в нашей компании www.voentorga.ru Арсенал используем Х/З тестирование.

Его смысл заключается в вычислении количества процента из групп тестирований, которые смогут прорваться через все препятствия сайта и все таки смогут получить приз в виде своего заказа.

Например проведенное тестирование в течении месяца по группам Х/З тестирования из зарубежных стран показало, что ни один из испытуемых так и не смог прорваться через оформление международного заказа.

Согласитесь, это не может не радовать, теперь мы ждем, сможет ли хоть один вражеский чувак все таки оформить заказ.

Стоит так же отметить, что оформление заказа - еще не является основанием для получения приза в виде покупки. Ему еще придется пройти все испытания по подтверждению заказа, оплате и доставке.

Но это уже другая история, сейчас наша мозгоштурмовая группа, разрабатывает концепцию, по которой получается вывод, что вероятно не очень гуманно проводить испытания по оформлению заказа, по его оплате, и по его доставке на одних и тех же испытуемых.

Наиболее разумным видится тестирование оплаты, на отдельной группе, которая еще нас не ненавидит за все свои неудачи этапа оформления заказа.

Коллеги, кроме этого, обращаю Ваше внимание, на вырабатанное нами ноу-хау российского рынка.
Александр Олещук в примере приводит информацию для клиента, о том что заказ доставляется в промежуток "сегодня с 19:00 до 23:00"

Мы решили модернизировать это, и ввели на прошлой недели доставку в промежуток "от 3 до 15 дней"
По итогам очередного тестирования я обязательно сообщу отзывы наших покупателей о новых сроках доставки, мы уверены что они придут в полнейший восторг.

Всем успехов!

4 пункт можно заменить более общим: каждый A/B тест проверяет только одну гипотезу.
Соответственно, меняем только один параметр, а все остальные оставляем неизменными. Причем, это может быть не только интерфейсное решение, но и изменение цены, сроков доставки и т.д.
А вот проведение тестов на Екатеринбурге не очень понятно. Думаю, технически сделать по всей стране не так сложно. А вот будет ли аудитория репрезентативна всей выборке - вопрос.

Там смысл пункта в переменных, на которые мы не можем грубо влиять, выставляя одно значение (иначе сломаются сами бизнес-процессы). Установив одну цену на товар по всей России, мы где-то будем продавать его в убыток в течение всего периода теста. А цена немаловажный фактор для конверсии.
Поэтому тест и ведется в одном регионе, чтобы на пользователей не влияло наличие или отсутствие товара, его цена и стоимость доставки.

0

Я понимаю, что цена - важный фактор для конверсии :) но зачем ставить одну цену на всю Россию?

Пример: Надо протестировать новую форму заказа.
Есть разные регионы, в которых разные цены. Делим трафик на две части (принципы деления трафика и % деления каждая компания определяет сама), первую часть отправляем на старую форму, вторую часть отправляем на новую форму. Соответственно, каждый регион будет видеть свою цену и условия, но кто-то будет видеть новую форму, а кто-то старую. Проходит время, сравниваем результаты. Profit :)

0

C формой заказа немного другая история)
Там уже нет переменных, которые повлияют на результат. Если человек дошел до корзины, то он уже согласен на эту цену и условия доставки, а других переменных в оформлении заказа уже не будет (по крайней мере у нас).
А вот когда люди еще только выбирает товар, то лучше, чтобы они видели одно и то же.
Скажем, если бы мы тестировали описание условий возврата и гарантии, то запустили бы тест на все регионы, ведь переменных в тексте бы не было, мы бы просто сравнивали верстку.
А в тестировании листинга (каталога) товаров уже надо выбирать один регион, чтобы не было различий в стоке товаров (например, в Екатеринбурге может быть 200 разных телевизоров в наличии, а в Челябинске только 50).

0

Все советы по делу! Оптимизаторам конверсии стоит перечитать не раз, если они этого ещё не знают)
P.S. Всем A/B и сплит тестерам хотелось бы порекомендовать сервис Changeagain.me
Сервис использует Google Experiment API и полностью интегрируется с вашим аккаунтом гугл аналитики, благодаря чему все результаты тестирования собираются с максимальной точностью и доступны в одном месте.
У сервиса есть такой же удобный визуальный редактор. Кроме этого, цена существенно ниже чем у конкурентов, т.к. нужно платить не за траффик, а за количество экспериментов.

Перед разработкой интерфейса нужно четко знать решаемую задачу. Без гипотез. Точно знать, как проверить эффективность достижения цели через решение задач.

Все эти тесты хороши исключительно в руках системного IA/UX/UI специалиста. А тестировать цвет и надпись кнопки или другие очевидные явления для профессионала — некомпетентность тестировщика.

Например, кнопка «Купить» и «В корзину». Толку тестировать названия, если общий UX этой функции дерьмище неоднозначное.

Конверсию повышать надо на 200-500%, а не биться за сраные 47% процентов.

0

Перед комплексной разработкой нового интерфейса целого раздела или шаблона четко описываются бизнес задачи, kpi для них и способы измерения этого kpi.
Что вы понимаете под очевидными явлениями? Вы можете предсказывать эффективность в конкретных цифрах, основываясь только на личном опыте?
Повышать конверсия на 200-500% прикольно, когда есть такой запас повышения конверсии, когда такого запаса нет - в ход идут любые гипотезы, которые могли помочь увеличить продажи. Если не на 47%, то хотя бы на 10%.

0

Ну если брать сильно нишевой продукт - то да, конечно из гипотез нужно делать.

Очевидность в UX это поведение человека на сайте, это все можно с точностью до 95% предугадать, тут используется разные принципы, например, однозначность восприятия информации или если говорить о сложном описании товара, то принцип парсимонности, это когда явления описывается не сложнее самого явления (полезный принцип для новых незнакомых товаров, для инновация).

И вообще Customer Development в помощь. Если сварщики хотят на сайте видеть сиськи и они готовы будут купить сварочный аппарат из-за этого - надо делать проверять эту гипотезу.

0

Да, вы правы, можно предугадать путь пользователя по сайту и то, как он осматривает страницу. Но после обнаружения мест, где пользователь задерживает свой взгляд, нельзя уверенно сказать, что там следует разместить.
Неизвестно, к примеру, что привлекает пользователя больше в конкретной категории продуктов: информация о скидке или информация о расширенной гарантии. После проведения тестов на определенных категориях товаров, можно выяснить, что для простой бытовой техники важнее скидка, а для дорогой электроники важнее гарантия.
В любом случае, когда все обычные и всем известные решения уже реализованы (и показали свою полезность), надо приступать к поиску неочевидных решений, эффективность которых предугадать сложно, проще и полезнее их тестировать в реальных условиях.

0

После понимания узкого места надо делать в нем CusDev, это опять же дизайн-решение поможет, что пользователю важно на этой странице осознанно и не осознанно. Тут целая наука :-).

Обычно в любом случае даже простую юзабильность половина магазинов не соблюдают и создают ментальные препятствия (ой, а что будет если я сюда нужна, нука, ого, ну ладно).

Продажа это не мешать человека тратить свою деньги :-). А для этого он должен скользить по сайту, не думая вообще. Не думаю - вот ключ. Если человек хоть на секунду задумался или у него затык произошел (удивление, ой, а, ну ладно) - все, конверсия падает :-).

"Не думаю" - это правильный подход)
Вся проектировка новой корзины (которая пока в производстве) была сделана в таком ключе: мы пытались предугадать вопросы и дать на них ответ, но при этом не давать ненужной информации, чтобы не перегрузить покупателя. После релиза будем проверять свои догадки по изменениям основных показателей.

0

Дизайн на самом деле это однозначность :-). Либо работает, либо нет. Все тесты это так, от лени какой-то изучать глубоко матчасть и психологию восприятия картинок (сайт это картинка по сути для человека на экране).

И могу дать простой тест на однозначность (а может и знаете вы его) - распечатайте страницу и спросить у человека - что он видит, куда нажать хочет и что ожидает, но предварительно обозначьте цель (она дискретна должна быть) и ряд решаемых задач (они доже должны быть дискретны).
Если человек хоть на 1 секунду задумался или в 1 секунду не дал точного ответа - что-то где-то не так :-).

0

Не могли бы вы поделиться своим опытом? Как вам удается повысить показатели конверсии на 200-500% ?

0

Customer Develompent, дизайн-решения, однозначность восприятия информации, правильная упаковка смыслов и их интерпретация мозгом разных ЦА и т.д. и т.п.

Экспериментами биться это все равно что по-новой что-то изобретать, когда рынок уже есть и решения хорошие есть. Остается их упаковать и процесс верный построить. А верный это когда результат ожидаем.

Когда показатель конверсии 0,01 поднять ее до 0,03-0,06 скорее всего, не так уж трудно :)

И довольно бесполезно, если это не миллиардные транзакции :-).

0

Виталий, ты реально крутую идею рассказал.

Я вот тоже лично думаю что есть "правильный и понятный" дизайн и гавно.

вот я может и не дизайнер и даже не знаю что такое кусдев, но если вижу гавно в своем сайте - то рельно это гавно. Че его тестировать то?

Пошел к диазайнерам, поюзал специальную методику "лещ", смотришь через неделю даже жалоб от клиентов на гавно нету.

Виталий, готовы посотрудничать, пишите на группу нашу. Но денег у нас нет, на всякий случай.

0

Для простых тестов (изменили цвет кнопки) вполне будет достаточно встроенного функционала экспериментов Universal Analytics support.google.com/analytics/answer/1745147?hl=ru - и траффик распределит, и статистическую значимость посчитает.

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Татьяна Бочкарева

Есть мысли о тезисе номер два. Очень скоро грядет революция в области перевозок людей. Люди будут перемещаться на воздушном метро, стоимость строительства которого в 100! раз дешевле подземного, а скорость до 500 км/ч при цене строительства путевой структуры в $5 млн за 1 км. Причем перемещаться люди будут почти бесплатно, так же как мы сейчас бесплатно звоним через Скайп. Окупаемость будет за счет попутных грузов. Как вам такое - ездить на каждые выходные на свою дачу с Москвы до Анапы за 3 часа?
Уже сейчас можете увидеть этот транспорт в движении (он запущен 29 ноября 2016г). Поддерживайте этот проект воздушного метро (струнный транспорт). Ещё можно успеть стать инвестором данного проекта. Увидеть его в движении и подписаться на новости можно на сайте проекта: goo.gl/qlfD2z

«Через 50 лет стран не будет — останутся только города»: основные тезисы лекции Кьелла Нордстрема о будущем
0
조냐 박

Если я пользуюсь только этими бесплатными 15 ГБ, то мне не о чем волноваться?

Google предупредила российских пользователей о повышении цен с 2017 года из-за «налога на Google»
0
Amar Ak

500-200? И даже не принято? В какой развитой стране такое есть? Так проще всем онлайн магазинам перенестись в юрисдикцию Гонконга и торговать, никаких пошлин, никакого НДС, раб сила по 200usd/месяц... и цены будут хорошие, правда в россии будет еще меньше рабочих мест и налоговых сборов...

Власти России намерены снизить беспошлинный порог для ввоза интернет-посылок до 500 евро с середины 2018 года
0
Johnny Vorony

Мне очень стыдно, коллеги, но до этой статьи я не знал кто такая Алена Владимирская.

Алёна Владимирская и оператор Wi-Fi в московском метро запустили проект с бесплатными карьерными советами
0
Арчибальд

Конечно! Некоторые не опускаются до ножей и кредиток,а строят свои капиталы на пирамидах!

PewDiePie сохранил лидерство в рейтинге самых высокооплачиваемых YouTube-блогеров по версии Forbes
0
Показать еще