Юлия Повх
Да, валидная гипотеза. Можно было протестировать 2 шага и 1 шаг с таким же дизайном.
Может как-то проверим в следующий раз
Спасибо!
1) В эксперименте 5 мы запустили 2 отдельных А/B-теста в Google Optimize
1 – посетители с десктопных устройств, распределение трафика 50:50 на показ и не показ
2 – посетители с мобильных устройств , распределение трафика 50:50 на показ и не показ
Выборка сегментов производится автоматически рандомным алгоритмом Google Optimize, посетителю при визите на сайт выдается id сегмента. То есть, во всех сессиях этого посетителя будет/не будет блока
2) Именно по этому эксперименту не пересекались, но в целом несколько тестов можно запускать, потому как распределение будет на большой выборке всё равно равномерное с экспериментами, которые запущены
3) Как внедрение данной фичи влияет на использование бонусных баллов данной выборки постфактум?
Не проверяли к сожалению такую гипотезу, так как тест только завершился недавно. Подумаю, попробуем создать сегмент и посмотреть изменения в поведении дальше
4) Как сильно это ударило по экономики клиента, с учетом "цикла" траты бонусных баллов? Ударило ли это в целом?
В данном случае не просчитывали, так как задача стояла увеличить конверсию и рассказать о бонусных баллах. Поскольку бонусные баллы начисляются в любом случае и пользователю не нужно отдельно регистрироваться в бонусной программе. То есть, мы начисляем бонусные баллы НЕ только сегменту, которому показывали об этом, а всем в любом случае. Поэтому корректнее рассматривать экономику ПЛ отдельно от этого эксперимента. Тут мы скорее ставим гипотезу о том, что будет, если мы будем подчеркивать наличие ПЛ.
В среднем около 2 недель на гипотезу.
Это минимальное время, которое рекомендует выделять Google Optimize для проведения теста.
Но, конечно, нужно учитывать трафик на сайт. В данном случае, трафик около 3 млн/месяц позволял так тестировать.
Рекомендую перед тестом прикинуть необходимый размер выборки через специальный калькулятор
В форме подписки напрямую скидка не предлагается (и не предлагалась)
Из 5 экспериментов только 2 связаны со скидками.
И это распродажи, которые в любом случае бы проводились, они не создавались специально под механику.
То есть, если есть скидки – освещайте их.
Если нет скидок – тестируйте другие механики.
Выбирайте варианты механик из таблицы, которые не связаны со скидками.
В статье описана детально одна из гипотез из таблицы.
В целом, гипотезы все касались повышения целевых метрик:
- конверсии в подписку (цель 1 из статьи)
- дохода за сеанс
- количества транзакций
Привет!
50% полностью новых всего.
Но скидка в любом случае на 1 заказ только была.
Тут дело в том, что мы можем исключать показ подписчикам существующим.
Но тут нужна небольшая доработка со стороны клиента (метить такие сессии для нас) или если мы можем привязаться к существующим уже данным в браузере, верстке.
А у нас не было времени на настройку такую, по существующим меткам добыть эти данные, поэтому решили уже без этого запускать.
Но в следующий раз делаем по-нормальному :)
Привет!
1) Клиент сам уже выбирал условия показа.
У нас в настройках есть на выход, при посещении X страниц, при X времени на странице, при X % скролла страницы и несколько из этих действий подряд (посетил 3 страницы и проскролил на 50% хоть одну и хочет уйти с сайта)
Тут маркетолог выбрал провел на сайт 5+сек, а после закрытия форма, если она не заполнена, сворачивается в кнопку
По показу уточнила у Гали, почему взяли эти условия:
"У нас традиционно считается, что клиенту для того, чтобы начать поиск надо в среднем 2-3 сек. Т.е. с большей вероятностью клиент с 5+сек заинтересован в покупке, чем те, кому сразу колесом тыкают.
У меня стандартный паттерн поведения клиента: пришел, начал что-то искать, потом начал искать скидку"
2) С экзит рейтом все стабильно, смотрели, изменений значимых не было в этом период
Да, можете попробовать.
По самому внешнему виду есть возможность настроить с любым текстом и показывать на любых типах сайтов.
Однако, если у вас сервис работает на европейских рынках, то аккуратнее с этим, там GDPR и я не могу гарантировать, что не будет законодательных проблем, нужно уточнять с вашими юристами такие моменты.
Да, хорошее замечание.
1) Мы уточняем у клиентов этот момент и предлагаем делать примерно равноценные варианты.
2) Если нужно разыгрывать какой-то ценный приз - мы сразу говорим о том, что под это нужна серверная интеграция и более жесткий фильтр валидации, готовы это реализовать за доп. оплату.
Так 1 компания хотела так раздавать сертификат на 10 и 30 тыс. рублей, всего 2 шт, мы их предупредили, чтобы колесо в текущем формате не использовали, потому как его просто взломать, знаем.
А что именно вы по кривой валидации имели ввиду?
Спасибо!
У нас еще есть много идей интерактивных механик)
Надеюсь, что скоро добавим в каталог еще штук 5 совсем другого формата и вида.
А нужно будет быстро запустить на тест подобное - ты знаешь кому писать ;)
Спасибо! :)
Будем чаще делиться подобным, есть еще много идей интересных механик
Такие формы реализовывали многие компании на англоязычных рынках уже не один год, не отрицаю.
Я могу сама список с 10 сервисов написать, где еще такое есть.
У нас в каталоге 150+ форм и, конечно, вы можете найти подобные у других сервисов. А многие из типов форм есть только у нас.
Но суть этого поста в том, чтобы показать реальную эффективность таких механик.
Я не разу не видела русскоязычного кейса, работает ли это.
1) Почему на скрине из Optimize у вас дата завершения эксперимента 23 марта?
В оптимайзе автоматически ставятся даты теста, если их не задать вручную.
На скрине тест еще не отключили, но по результатам его уже нет смысла продолжать, так как достигнута 100% достоверность на таком объеме трафика, о чем сами подсказки от Google Optimize и говорят (лучший вариант – с показом блока)
2) Увеличение коэффициента транзакций на 0,02 п.п. это статистически значимый результат?
Достоверность 95% по данным Google Optimize
Но конкретно этот эксперимент я рекомендовала еще продолжить, хотя внутренний калькулятор Google Optimize определил победу варианта с показом блока
Для того, чтобы после теста оставить механику на постоянной основе на сайте мы обычно смотрим еще показатели достоверности и мощности для определения точности:
https://mindbox.ru/ab-test-calculator/
3) Видимо опечатка в таблице
Цели были выбраны в экспериментах:
- доход (общий по группе и за сеанс вычисленный)
- транзакции (вычисленный коэффициент транзакций в рамках эксперимента)