[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "create", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-158433683", "adfox_url": "//ads.adfox.ru/228129/getCode?p1=bxbwd&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid21=&puid22=&puid31=&fmt=1&pr=" } } ]
{ "author_name": "Philipp Kontsarenko", "author_type": "self", "tags": ["\u0437\u043e\u043b\u043e\u0442\u043e\u0439\u0444\u043e\u043d\u0434","\u043a\u0435\u0439\u0441\u044b","a_b_\u0442\u0435\u0441\u0442\u0440\u043e\u0432\u0430\u043d\u0438\u0435","\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435_\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u043e\u0432","\u0441\u043f\u043b\u0438\u0442_\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435"], "comments": 22, "likes": 23, "favorites": 25, "is_advertisement": false, "section_name": "default", "id": "6371" }
Philipp Kontsarenko
14 456

5 убийственных ошибок А/В-тестирования — колонка юзабилити-аналитика Е96.ru

При разработке интерфейсов очень важно уметь оценить их качество с точки зрения бизнес-задач, и это часть работы юзабилити-аналитика, считает эксперт интернет-магазина Е96.ru Александр Олещук. Для рубрики Growth Hacks Олещук рассказал об одном из основных способов оценки новых гипотез в интерфейсах — сплит-тестировании.

Итак, вы решили проверить свои новые UX- и UI-решения сравнением. Хорошее дело. Обычно последовательность шагов первого сплит-тестирования выглядит так: запускаются два варианта, через час один из вариантов показывает более высокую конверсию и уходит в продакшн. Тестировщик, разработчик, дизайнер и менеджер проекта запасаются попкорном и ждут космического роста чего-нибудь.

Именно в таком виде тест совершенно бесполезен, может быть, даже и вреден, потому что вы уже сделали ошибки космического масштаба.

Ошибка №1. Людей нужно больше, чем ты думаешь

В ваших контрольных группах недостаточно людей. Высчитать необходимое число участников довольно просто, для этого есть специальная формула:

N — количество людей в контрольной группе; p — текущий уровень конверсии необходимого действия; с — минимально обнаружимый эффект; 16 — постоянный коэффицент, обеспечивающий 95% уровень доверия к результату.

Пример. Имея текущую конверсию события в 15% и обнаруживаемом эффекте в 5% (в рост или в падение), мы получим следующий расчет:

В каждом варианте вашего теста должно быть 816 участников. Это количество поможет вам увидеть статистически значимые изменения за пределами отрезка от 10% до 20% конверсии. Если вы хотите увидеть колебания в 1% (от 14% до 16%), то вам уже понадобится 20 400 человек на группу. Посчитайте сами. Либо можно воспользоваться готовым калькулятором.

Ошибка №2. Разделяй источники

Обратите особое внимание на источники трафика для вашего теста. Разные источники трафика изначально имеют разную мотивацию: если в какую-то контрольную группу попадет больше людей из одного источника трафика, а в другую — больше из другого, то разные результаты в контрольных группах будут заслугой изначальной мотивации пользователей, а не заслугой UI-решения. Можно либо ограничить тест только одним источником и типом (новый прямой трафик, например), либо уже смотреть на показатели источников по результатам теста.

Проводя в прошлом году тест по краткой и полной формам оформления заказа, мы заметили, что покупателям, которые искали именно нас (переходы из поисковых систем с наличием «е96» в ключе, прямой трафик, а также старые пользователи), без разницы какую форму заполнять, конверсия в этом случае не менялась. А вот пользователи из платной рекламы и партнерских сетей целиком форму заполнять совсем не хотели — конверсия в их случае серьезно просела. Хотя в целом конверсия вариантов различалась не сильно.

Ошибка №3. Сэкономили на времени

Тест надо проводить столько, сколько требуется для прохождения через него всех типов ваших пользователей. Ни больше, ни меньше.

В случае с E96.ru мы проводим тесты не менее недели. Это дает нам уверенность, что через него пройдут покупатели с различным поведением: оптовые покупатели из компаний и домашние пользователи, молодые люди и уже пожилые клиенты, работники офисов и труженники заводов. За неделю нас посетят практически все эти группы людей.

Ошибка №4. Одинаковые условия для всех

Все участники теста должны видеть на страницах одни и те же данные, которые влияют на достижение нужного результата. В e-commerce такие данные — цены, сроки доставки, наличие товара. Все это меняется от региона к региону (в других проектах эти данные могут быть свои). Если параметр не соблюден, то он сам по себе становится инструментом влияния на решение пользователя.

К примеру, наш магазин осуществляет продажи на территории от Ростова-на-Дону до Красноярска. Цены и даты доставки в каждом из наших регионов отличаются: тут и разные затраты на логистику, и разные поставщики в регионах. Поэтому для тестов выбирается регион Екатеринбург. Это дает нам уверенность, что пользователи увидят одну цену, один ассортимент и одну дату доставки. Все эти условия не станут влиять на мотивацию людей к покупке.

Ошибка №5. Точно знать, что улучшаем

Ну и последнее, но при этом самое важное: вы точно должны знать, на что направлен ваш эксперимент, и что вы хотите им улучшить. Только имея четкое представление о работе собственного интерфейса, можно прогнозировать изменения метрик. Не нужно проводить тест «чтобы было» или «так положено». В лучшем случае вы не сделаете никаких выводов, в худшем — просто навредите себе неверными интерпретациями.

Например, размещая видео о компании на главной странице, можно сидеть и ожидать роста продаж, но при этом не заметить, как пользователи сайта уходят в первую же секунду, проклиная неожиданные звуки и анимацию. Бывают ситуации, когда вы улучшаете одно, а растет другое.

Не ограничивайте свои ожидания одним параметром, смотрите на свои цели шире. Так, делая больше контента на карточке товара вы не обязательно увеличите конверсию, но почти гарантированно увеличите время, проведенное пользователем на странице. Делая подробный FAQ по гарантийному обслуживанию проданных товаров, вы опять же не сподвигните клиента на покупку, но снизите нагрузку на ваш колл-центр.

Как правильно запустить свой первый A/B-тест

Вариант первый: воспользуйтесь сторонним сервисом по проведению сплит-тестирования. Таких сервисов множество, но все они примерно одинаковы по своей функциональности, поэтому все, что я сейчас расскажу об optimizely.com, можно будет применить к любому другому сервису.

Чем хорош сторонний вариант? Его легко интегрировать, просто установкой javascript-кода на все шаблоны сайта. В нем легко подготовить шаблоны для тестирования с помощью wysiwyg-редактора. В нем, наконец, легко выбрать нужных посетителей для теста: тут и геолокация, и отслеживание по utm и по cookies, и простой выбор источников трафика.

Любой тест может отправлять свои данные в Universal Analytics в заранее подготовленный «custom dimension». Уже там вы сможете оценить изменения всех метрик, которые вас интересуют в данный момент. К минусам стороннего сервиса можно отнести отсутствие русскоязычной поддержки, платность (большие объемы тестируемого трафика могут обойтись в несколько тысяч долларов), а также определенную вероятность (чем вы менее опытны в веб-разработке, тем она больше) сломать весь сайт.

Изменение одного div в редакторе сервиса применяется ко всем остальным div с таким же классом по всем указанным адресам. Легко можно откопировать цену одного товара на весь сайт или же показывать одну и ту же иллюстрацию телевизора по всему каталогу.

Второй вариант сложный — сделать все самим. Для этого понадобится хороший программист, четкий план действий и знание Universal или Google Analytics. Вам надо спланировать два шаблона для теста и определить, что же вы будете измерять. Программист подготовит эти два шаблона, настроит отправку данных из них в «custom dimensions» Universal Analytics, а также займется распределением трафика на эти шаблоны. После запуска теста все результаты запишутся в Analytics. Вам останется только дождаться окончания теста и подвести результаты.

A/B-тесты — мощный инструмент аналитики, но он не должен быть единственным в вашем арсенале оценки интерфейсов. Просто правильно расставленные события в Google Analytics и результаты проведения тестов в фокус-группах точнее укажут на ваши текущие проблемы, тогда как A/B-тест просто покажет, какой из двух предложенных вариантов лучше, при этом ни дав не единой подсказки о третьем, действительно эффективном решении.

#золотойфонд #Кейсы #A_B_тестрование #тестирование_интерфейсов #сплит_тестирование

Статьи по теме
Как проводить A/B тестирование для описания приложений в AppStore и Google Play
Популярные материалы
Показать еще
{ "is_needs_advanced_access": false }

Комментарии Комм.

Популярные

По порядку

0

Прямой эфир

Команда калифорнийского проекта
оказалась нейронной сетью
Подписаться на push-уведомления