А/б тесты имеют кучу проблем. Но имеют и плюсы.
Проблемы:
- нужно много трафика, как вы и сказали. Не факт что 100к в день (если исследуем число кликов с главной в каталог котиков, то можно меньше)
- нужно проводить а/а/б тесты - между первым и вторым вариантом не должно быть стат различий. Если есть, то что-то идёт не так
- тест работает сразу на все сегменты аудитории. Если ты поставил на главную рыжего кота, то у любителей рыжих Котов конверсия выросла. А у белых упала. И наш тест зависит от того, каких у нас больше. Есть новые и старые посетители, есть новички в теме груминга для Котов, а есть новички, которые не знают части фраз и назначения товаров, есть разный возраст, мальчики и девочки - разным аудиториям нравится разный контент
Зато они помогут решить проблему разной структуры трафика. Что до изменения на сайте была реклама и вообще праздники новогодние. А после изменения обновились позиции в Яндексе, включили рекламу и запустили акцию. И что повлияло - изменения или другие факторы? А/б тест этот вопрос снимет
А еще то, ради чего писалась статья - доказать на цифрах кому-то что-то. А если тест не подтвердил гипотезу, можно сказать что тест неудачный, забыли а/а сделать. Надо переделать. 😝
СберБанк ОнЛайн
Я бы описал это по-другому. Есть два рынка (разные потребители), один рынок очень большой - потребители чая, когда нужно заварить-выпить. Там важна цена, удобство, доступность. Там Dilmah, Гринфилд и т.д. А есть потребители, которым важно что это крафтовый ручной продукт и они видели процесс его производства. Этот рынок в сотни раз меньше, но он есть. И раз есть потребители, то есть и производители. Процессы там дорогие, т.к. товар почти штучный, но люди готовы платить, т.к. знают за что платят. Если кто-то не понимает этого штучного товара, значит он из другого круга потребителей. Это ни хорошо, ни плохо, это просто разное.
А есть ограничение на минимальное количество входящих или исходящих сообщений для waba?
Кстати, было исследование насчет иконок
UserTesting (https://www.usertesting.com/blog/user-friendly-ui-icons) провели исследование о том, как пользователи воспринимают иконки с подписями и без них.
Вот результат
🔸 Когда пользователи видели иконки с подписями, в 88% случаев они смогли правильно предсказать, что произойдёт при нажатии.
🔸 Для иконок без подписей число правильных ответов снизилось до 60%.
🔸 А когда пользователям показывали иконки, уникальные для конкретного приложения, только 34% респондентов дали правильные ответы.
Конечно в текущем кейсе это не влияет критически на конверсию и это точно косметическое замечание, да и вообще не относится к рекламе. Но раз зашла речь, то вот релевантная полезная инфа)