Сергей, в некотором смысле A/B тест — тот же опрос. Только ответы выходят максимально честные и объективные)

Конечно, нужно общаться со своими пользователями и стараться постоянно получать от них фидбэк. Можно самостоятельно, можно через сервисы вроде AskUsers, где респонденты мотивированы. И это даст данные о явных проблемах, узких местах, которые нужно устранять.

Ни один респондент никогда не скажет, что изменение CTA на кнопке, либо добавление прогресс-бара в процесс регистрации, повысило бы вероятность его перехода, лояльность, вовлечённость и т.д. Об эффективности улучшений (не исправления недостатков) мы узнаём только из статистики.

И здорово, что иногда можно ориентироваться на уже собранные данные и успешные кейсы, не тратясь на собственные эксперименты)