UX-исследования не очень помогают делать хорошие продукты

Последние годы я все чаще вижу статьи в духе «как UX-исследования помогли нам увеличить прибыль на 100500%». И каждый раз удивляюсь, как в них расписываются волшебные результаты, но не рассказывается о цене, которую за них приходится платить.

Компании начинают искать аналитиков и продактов «с опытом исследований», поскольку хотят этот allmighty ux-research подход с крутыми результатами.

Я же убежден, что количественные UX-исследования — это очень дорогой инструмент, у которого есть своя, довольно ограниченная область применения.

Если вы называете исследованиями что-то уровнем выше, чем «потыкал систему аналитики и решил», то такие исследования стоят довольно дорого.

Давайте посмотрим на примере A\B\etc тестов. Расходы на их проведение, это как минимум:

На стоимость исследования сильно влияет проверяемая гипотеза. Если вы тестируете цвет кнопки на лендинге, то условный A\B\C тест будет стоить не очень дорого: перекрасить кнопку легко, скорее всего вы подготовите этот тест быстро, проведете его на существующем трафике, а разница в конверсии между вариантами будет не очень большой. Но нужен ли был такой тест вообще?

Если ожидаемая разница в конверсии между вариантами невелика, то чтобы получить хоть сколь-нибудь достоверные результаты, выборка должна быть довольно большой. А чтобы понимать, что результаты устойчивы во времени, то тест должен проводиться долго. И все ради прироста конверсии на 0,25 п.п., которого может и не быть, потому что гипотеза оказалась неудачной.

В некоторых проектах (особенно, когда трафика очень много) этот потенциальный прирост отобьет цену исследований, в других же ситуациях даже простой эксперимент может оказаться убыточным.

Но если мы будем говорить о более серьезных отличиях в вариантах, то потери трафика на неудачных вариантах и цена их разработки могут сделать этот тест космически дорогим.

Есть и другие методы исследований, вроде глубинных интервью и usability тестирования, но если они выходят за рамки «позвонили 5 пользователям и поговорили», то и у них тоже есть заметная цена.

Довольно часто количественные UX-исследования сфокусированы на изменении одной метрики: повышении конверсии в регистрацию, снижению оттока и т.д. Соответственно, если метрика выросла, то гипотеза считается подтвержденной, что далеко не всегда верно. Изменения одной метрики могут быть компенсированы изменениями другой.

Например, для SaaS проекта повышение коэффициента конверсии в регистрацию легко может быть компенсировано снижением метрики активации (e.g. конверсии в подписку на сервис). Чтобы заметить такие изменения, потребуется еще большее количество усилий и времени на исследование, а значит оно станет еще более дорогим и сложным.

С количественными данными работать приятно. Они точные, по ним можно строит красивые графики и легко показать начальству. Но вместо того, чтобы использовать данные как точку отсчета для дальнейшего изучения пользовательского опыта, компании часто начинают опираться исключительно на данные из аналитических систем.

Мне этот подход представляется подходом слепого\глухого на улице: он двигается вперед на ощупь, но с помощью очень дорогой палочки.

В сотый раз протыкивать свой продукт после очередного обновления — скучно. И читать тикеты в поддержке — неприятно и совсем невесело, поскольку критика бьет по самооценке. Поэтому менеджеры часто предпочитают исследовать исключительно количественные данные.

Но вот сколько надо UX-исследователей, аналитиков и продактов, чтобы в Ozon фильтр перестал скакать после выбора одного из пунктов? На какие метрики это должно повлиять и сколько юзабили-тестов должно быть проведено?

Проведение формальных количественных исследований позволяет переложить ответственность за решения на «данные”. Всегда можно сослаться на то, что “мы провели исследование, вот результаты», поэтому мы сделали именно таким образом.

И даже если пользователю стало не очень удобно и он теперь каждый раз матерится, когда пользуется продуктом — не столь важно, до тех пор пока отток не вырастет. А чтобы связать отток с конкретной кривой фичей — надо провести еще парочку исследований. А там “или ишак сдохнет, или хан”.

Подходить к UX-исследованиям нужно с пониманием их области применения и рентабельности, а не сваливаться в карго-культ. Условному стартапу на этапе поиска маркет-фита и интернет-магазину рыболовных снастей количественные UX-исследования вряд ли будут полезны.

Не смотря на красивые статьи с “инсайтами”, количественные UX-исследования редко приводят к каким-то существенным открытиям и крутым продуктам — это все еще попытка вслепую нащупать хорошие решения. Зато они позволяют масштабируемо и предсказуемо создавать работающие, средненькие продукты, а потом их также предсказуемо улучшать. При этом, каждое звено в этой цепочке производства легко заменить. Преимущества такой подход дает в основном гигантам рынка.

Небольшим же компаниям всегда можно использовать старую-добрую эмпатию к пользователю, доскональное знание своего продукта, чтение тикетов и отзывов. Очень полезны пользовательские интервью, наблюдения за пользователями и юзабилити-тестирование, пусть и с небольшим числом респондентов. Еще помогает анализ конкурентов, насмотренность и умение проводить аналогии.

Но главное, на мой взгляд, это желание делать полезный и удобный продукт — обычно такие проекты и без многочисленных дорогостоящих исследований находят свою аудиторию.