Идея хорошая, но реализация довольно наивная.
Correlation is not causation.
Традиционно желаю удачи в проведении A/B людям, которые освоили подсчет доверительного интервала по единственной формуле с некими магическими числами и уверены в том, что этого достаточно для анализа.
Я тоже не специалист в этом вопросе, но начал бы с прочтения чего-нибудь обзорного про causal models.