Как скрепка из Windows, Марио и «Киндер Сюрприз» помогли улучшить продуктовые метрики в Учи.ру
Рассказываем, как простыми игровыми механиками повысить метрики активности учеников на образовательной платформе и снять часть задач с родителей и учителей.
Верно понимаю, что все увеличения ARPU были как в независимых экспериментах и, фактически, показатели перемножаются?
Т.е. вся эта геймификация позволила увеличить ARPU на 31% (1.07*1.05*1.03*1.09*1.04=1.31)?
В идеальном мире это было бы так. Но есть ограничения.
Первое - некоторые тесты идут параллельно (выборки не пересекаются), исследование их влияния друг на друга невозможно.
Второе - всегда есть эффект выгорания, из-за которого результаты тестов в моменте завышены относительно их реального эффекта в долгосроке. Мы стараемся его исследовать, оставляя небольшую контрольную группу на длительное время, но в статье результаты указаны без учета выгорания.
Единственный способ понимать синергию тестов - это проводить тесты перпендикулярно с другими, чтобы можно было смотреть пересечения и влияния побеждающих групп друг на друга. Однако в реальности невозможно запускать все тесты перпендикулярно друг другу.
В итоге, мы не знаем совокупный эффект от группы фичей, но есть все основания считать, что он будет другим и скорее в меньшую сторону.