Как улучшить сайт по продаже котов? Поиграем в угадайку A/B-тестов
На vc.ru много статей от гуру UX/UI, которые с умным видом говорят, как надо делать сайты, а как не надо. Чаще всего это просто бесполезный набор умных слов. Истина лишь то, что подтверждено цифрами.
А-Б тесты на цифрах посетителей до 100к в день и длительностью менее месяца чушь собачая.
Любой А-А тест покажет что конверсия скачет на схожие величины в зависимости от дня недели, погоды, новостей, футбольного матча и бог знает чего еще.
то есть по вашему примерно большинству продуктов в целом нет смысла проводить абешки, потому что у них нет 100к в день?
Похоже, что автор вообще не понимает, что там намерял и насколько оно екомерцу полезно в принципе
Мы верим в Гугл.Оптимайз.
Дак АБ тест и позволяет игнорировать погоду.
Там на графике видно, не было ли смены лидера в вариантах. Почти во всех как начинается лидерство, так и остается.
Вы верите, что оранжевый график и пунктир могут поменяться местами? Это два варианта расположения ссылки на офисы продаж. В тепле лучше кликают один вариант, на морозе другой? Такое в целом вероятно, но мне сложно представить такую ситуацию.
Где-то есть требование в статистике в 100К+ участников в тесте?
А вы не читали, что пользователей поделили пополам и для обоих групп день недели, погода и новости были одинаковыми?
А/б тесты имеют кучу проблем. Но имеют и плюсы.
Проблемы:
- нужно много трафика, как вы и сказали. Не факт что 100к в день (если исследуем число кликов с главной в каталог котиков, то можно меньше)
- нужно проводить а/а/б тесты - между первым и вторым вариантом не должно быть стат различий. Если есть, то что-то идёт не так
- тест работает сразу на все сегменты аудитории. Если ты поставил на главную рыжего кота, то у любителей рыжих Котов конверсия выросла. А у белых упала. И наш тест зависит от того, каких у нас больше. Есть новые и старые посетители, есть новички в теме груминга для Котов, а есть новички, которые не знают части фраз и назначения товаров, есть разный возраст, мальчики и девочки - разным аудиториям нравится разный контент
Зато они помогут решить проблему разной структуры трафика. Что до изменения на сайте была реклама и вообще праздники новогодние. А после изменения обновились позиции в Яндексе, включили рекламу и запустили акцию. И что повлияло - изменения или другие факторы? А/б тест этот вопрос снимет
А еще то, ради чего писалась статья - доказать на цифрах кому-то что-то. А если тест не подтвердил гипотезу, можно сказать что тест неудачный, забыли а/а сделать. Надо переделать. 😝