Vit Cheremisinov

я)

Если мы говорим про оценку средних, то при достаточном кол-ве наблюдений данные будут распределены нормально.
Если мы считаем метрики связанные с деньгами, то большой шанс того, что данные распределятся не нормально.
Проверки на нормальность и тп дают вам уверенность в том, что выбранный вами метод будет подходить под те данные, которые вы анализируете.
Если вы просто забьете данные в калькулятор предварительно их не изучив, вы рискуете принять решение о победители на случайном скачке.

Да, это действительно важный момент при A/B тестах, который требует более детального рассмотрения.
Мы умышлено про это не стали писать в этой публикации, чтобы отразить это в следующей статье.