Идеальная версия вашего сайта для каждого пользователя — даже если он зашел в первый раз
Sales Ninja помогает радикально увеличить конверсию на вашем сайте благодаря персонализации и машинному обучению. Сервис с оплатой за результат. Рубрика «Продукт дня»
Понравилась мысль, что А/Б-тесты ведут к усреднению, что не есть предел мечтаний. Это как коммунизм, а про коммунистов Ройзман лучше всех давно все прояснил )
Все так. По правде у АБ тестов куда больше проблем на практике, в том числе неожиданных
Например, они строятся на допущении о том, что ваша выборка адекватно отображает генеральную совокупность - а это часто не так.
Например, в рамках АБ теста сделали замер с ноября до декабрь - смогли даже получить стат значимый результат для варианта А. Измерили с января по февраль, получили уже стат значимый результат для варианта Б. Потому что в ноябре-декабре была черная пятница и новый год - и поведение, а так же сама структура покупателей отличалась.
Или те же ИИ алгоритмы рекламных платформ начали гнать немного другой по структуре трафик. И то и то часто видим у наших клиентов.
Но модельке-то подстроится под изменение несложно. А вот в рамках АБ вы раз приняли какой-то вариант (например, А) - и все.