1. Отсутствие целей, проблемы, гипотезы. Прежде, чем проводить тестирование, необходимо определить проблему или установить цель. Получать больше заказов или сократить отток клиентов? Например, если вы хотите получать больше заказов, то можете поработать с текстом и дизайном кнопки, которая за это отвечает. Затем формулируется гипотеза, например: «Красный цвет кнопки срабатывает лучше, чем зеленый, так как он заметней».
Очень мало практической информации. Пересказ каждой второй статьи про сплит-тесты. Если хотите поделиться экспертностью в теме, то лучше осветить вопросы:
1) Как эффективно организовать процесс генерации гипотез для тестов?
2) Как с помощью GO (или другого инструмента) тестировать более сложный гипотезы, чем замена цвета кнопки? Например, 2 варианта первого экрана на товарных страницах в интернет магазине, при условии что точкой входа может быть и товарная страница, и страница другого типа.
3) Как правильно проверять статистическую значимость тестов более сложных, чем замер конверсии? Например, для небинарных показателей типа среднего чека? Или как правильно принять решение о необходимости исключения из анализа статистических выбросов?
4) Нужны ли a/b тесты, если ты не яндекс или озон, а обычный региональный бизнес с 10к визитов и 100 лидами в месяц?
Дмитрий, спасибо за фидбек.
Эта статья — не техническая, мы не хотели рассказать механизм проведения тестирования, кстати, таких пересказов тоже хватает.
Данный материал мы готовили для владельцев бизнеса и специалистов, которые ищут возможные точки роста и не рассматривали аб-тесты в принципе.
Вы предложили отличные вопросы, будем думать над тем, чтобы написать вторую статью, более практичную.
Комментарий недоступен
Артур, спасибо за фидбек)
Будем стараться.
Недавно пробовал проводить тест через Google Experiments. Почему-то на странице «B» не работали ссылки. Они все вели на главную, не знаете почему так?
Сергей, вероятно была некорректная настройка. В целом, функционал Google Experiments считается устаревшим. Его перестали поддерживать с момента появления Google Optimize.
Рекомендуем настраивать тесты в нем.
Дмитрий Борзенко
Web-аналитик, Promodo