Arseny Kravchenko

Я тоже не специалист в этом вопросе, но начал бы с прочтения чего-нибудь обзорного про causal models.

Идея хорошая, но реализация довольно наивная.
Correlation is not causation.

Я как-то за выходные уже сделал телеграм-бота с похожей идеей.
http://t.me/deepuxbot

Традиционно желаю удачи в проведении A/B людям, которые освоили подсчет доверительного интервала по единственной формуле с некими магическими числами и уверены в том, что этого достаточно для анализа.