Забавно, что вы сделали ошибку в дизайне эксперимента и рассказываете это.
Вы в аудиторию оценки чек-аута добавляли пользователей, у которых не изменился опыт (они даже не доходили до корзины и чек-аута). Ну если у вас только не 100% аудитории взаимодействует с корзиной и оплатой (что, понятно, не так).
То есть вы еще на этапе дизайна эксперимента должны были сказать, что пользователи становятся участниками эксперимента только тогда, когда они добавили товары в корзину и перешли в нее.
Проводите эксперименты честно, берите только тех, для кого изменения были видны. Ну или чистите хотя бы когорты вручную, если автоматически не можете это делать.
Олег, спасибо за комментарий, полезная точка зрения. Мы показали основную часть изменений в кейсе, но некоторые детальки касались и карточки товара, где начинается взаимодействие с корзиной. Поэтому посчитали такую выборку оптимальной. Но раскрой, пожалуйста, мысль: без учета поинта выше, почему ты посчитал нашу выборку полностью ошибочной и результаты недостоверными?
Забавно, что вы сделали ошибку в дизайне эксперимента и рассказываете это.
Вы в аудиторию оценки чек-аута добавляли пользователей, у которых не изменился опыт (они даже не доходили до корзины и чек-аута). Ну если у вас только не 100% аудитории взаимодействует с корзиной и оплатой (что, понятно, не так).
То есть вы еще на этапе дизайна эксперимента должны были сказать, что пользователи становятся участниками эксперимента только тогда, когда они добавили товары в корзину и перешли в нее.
Проводите эксперименты честно, берите только тех, для кого изменения были видны. Ну или чистите хотя бы когорты вручную, если автоматически не можете это делать.
Олег, спасибо за комментарий, полезная точка зрения. Мы показали основную часть изменений в кейсе, но некоторые детальки касались и карточки товара, где начинается взаимодействие с корзиной. Поэтому посчитали такую выборку оптимальной.
Но раскрой, пожалуйста, мысль: без учета поинта выше, почему ты посчитал нашу выборку полностью ошибочной и результаты недостоверными?