UX-исследования не очень помогают делать хорошие продукты

Последние годы я все чаще вижу статьи в духе «как UX-исследования помогли нам увеличить прибыль на 100500%». И каждый раз удивляюсь, как в них расписываются волшебные результаты, но не рассказывается о цене, которую за них приходится платить.

Компании начинают искать аналитиков и продактов «с опытом исследований», поскольку хотят этот allmighty ux-research подход с крутыми результатами.

Я же убежден, что количественные UX-исследования — это очень дорогой инструмент, у которого есть своя, довольно ограниченная область применения.

Исследования стоят дорого

Если вы называете исследованиями что-то уровнем выше, чем «потыкал систему аналитики и решил», то такие исследования стоят довольно дорого.

Давайте посмотрим на примере A\B\etc тестов. Расходы на их проведение, это как минимум:

  • Время на подготовку, проведение исследования и анализ результатов
  • Потери трафика на неудачных вариантах
  • Стоимость разработки альтернативных вариантов

На стоимость исследования сильно влияет проверяемая гипотеза. Если вы тестируете цвет кнопки на лендинге, то условный A\B\C тест будет стоить не очень дорого: перекрасить кнопку легко, скорее всего вы подготовите этот тест быстро, проведете его на существующем трафике, а разница в конверсии между вариантами будет не очень большой. Но нужен ли был такой тест вообще?

Если ожидаемая разница в конверсии между вариантами невелика, то чтобы получить хоть сколь-нибудь достоверные результаты, выборка должна быть довольно большой. А чтобы понимать, что результаты устойчивы во времени, то тест должен проводиться долго. И все ради прироста конверсии на 0,25 п.п., которого может и не быть, потому что гипотеза оказалась неудачной.

В некоторых проектах (особенно, когда трафика очень много) этот потенциальный прирост отобьет цену исследований, в других же ситуациях даже простой эксперимент может оказаться убыточным.

Но если мы будем говорить о более серьезных отличиях в вариантах, то потери трафика на неудачных вариантах и цена их разработки могут сделать этот тест космически дорогим.

Есть и другие методы исследований, вроде глубинных интервью и usability тестирования, но если они выходят за рамки «позвонили 5 пользователям и поговорили», то и у них тоже есть заметная цена.

Фокус на одной метрике

Довольно часто количественные UX-исследования сфокусированы на изменении одной метрики: повышении конверсии в регистрацию, снижению оттока и т.д. Соответственно, если метрика выросла, то гипотеза считается подтвержденной, что далеко не всегда верно. Изменения одной метрики могут быть компенсированы изменениями другой.

Например, для SaaS проекта повышение коэффициента конверсии в регистрацию легко может быть компенсировано снижением метрики активации (e.g. конверсии в подписку на сервис). Чтобы заметить такие изменения, потребуется еще большее количество усилий и времени на исследование, а значит оно станет еще более дорогим и сложным.

Количественные данные ослепляют

С количественными данными работать приятно. Они точные, по ним можно строит красивые графики и легко показать начальству. Но вместо того, чтобы использовать данные как точку отсчета для дальнейшего изучения пользовательского опыта, компании часто начинают опираться исключительно на данные из аналитических систем.

Мне этот подход представляется подходом слепого\глухого на улице: он двигается вперед на ощупь, но с помощью очень дорогой палочки.

В сотый раз протыкивать свой продукт после очередного обновления — скучно. И читать тикеты в поддержке — неприятно и совсем невесело, поскольку критика бьет по самооценке. Поэтому менеджеры часто предпочитают исследовать исключительно количественные данные.

Но вот сколько надо UX-исследователей, аналитиков и продактов, чтобы в Ozon фильтр перестал скакать после выбора одного из пунктов? На какие метрики это должно повлиять и сколько юзабили-тестов должно быть проведено?

Скринкаст с Ozon.ru

Перекладывание ответственности на исследования

Проведение формальных количественных исследований позволяет переложить ответственность за решения на «данные”. Всегда можно сослаться на то, что “мы провели исследование, вот результаты», поэтому мы сделали именно таким образом.

И даже если пользователю стало не очень удобно и он теперь каждый раз матерится, когда пользуется продуктом — не столь важно, до тех пор пока отток не вырастет. А чтобы связать отток с конкретной кривой фичей — надо провести еще парочку исследований. А там “или ишак сдохнет, или хан”.

Что делать

Подходить к UX-исследованиям нужно с пониманием их области применения и рентабельности, а не сваливаться в карго-культ. Условному стартапу на этапе поиска маркет-фита и интернет-магазину рыболовных снастей количественные UX-исследования вряд ли будут полезны.

Не смотря на красивые статьи с “инсайтами”, количественные UX-исследования редко приводят к каким-то существенным открытиям и крутым продуктам — это все еще попытка вслепую нащупать хорошие решения. Зато они позволяют масштабируемо и предсказуемо создавать работающие, средненькие продукты, а потом их также предсказуемо улучшать. При этом, каждое звено в этой цепочке производства легко заменить. Преимущества такой подход дает в основном гигантам рынка.

Небольшим же компаниям всегда можно использовать старую-добрую эмпатию к пользователю, доскональное знание своего продукта, чтение тикетов и отзывов. Очень полезны пользовательские интервью, наблюдения за пользователями и юзабилити-тестирование, пусть и с небольшим числом респондентов. Еще помогает анализ конкурентов, насмотренность и умение проводить аналогии.

Но главное, на мой взгляд, это желание делать полезный и удобный продукт — обычно такие проекты и без многочисленных дорогостоящих исследований находят свою аудиторию.

0
27 комментариев
Написать комментарий...
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Сергей Усольцев

В данной конкретной ситуации нужен авторский надзор со стороны дизайнера и работа всей команды на результат, а не на процесс. 
Вебвизор для отлова таких банальных косяков использовать это уже извращение.  

Ответить
Развернуть ветку
Феттучини с Креветкой

Зато очень хорошо позволяет бряцать красивыми и сложными словами, натягивать многострадальную сову на глобус, выбивая деньги на “очень полезный труд”, а все для того, чтобы продать случайному человеку что-то ненужное. Как-то дожили до 2021 года без онолитекофф.

Ответить
Развернуть ветку
Феттучини с Креветкой

Хотя, конечно, погорячился. Когда сталкиваешься с программами, разработанными японцами, понимаешь, что в UX есть смысл. Точнее даже не в UX, в здравом смысле разработчика. )))

Ответить
Развернуть ветку
Mikhail Che

а что с ними не так?
у меня практический интерес, перевел свое приложение на японский и корейский, так они на страницу заходят, а устанавливать не хотят, либо у меня перевод плох, либо какие-то нац особенности, которые я не понимаю

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Mikhail Che

мда, видимо надо будет заморочиться и найти носителя языка

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Сергей Усольцев

В статье упомянута, но не развёрнута мысль кому все таки необходимы аналитики и исследователи. Крупной компании они необходимы, где идёт борьба за доли п.п. Страртапам и небольшим компаниями скорее всего пользы это не принесёт. В стартапах при хорошем росте прирост от исследований в несколько процентов не будет столь актуален, а вот дополнительный сотрудник на горящую должность вместо аналитика вполне себе оправдает себя 

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Yuri Mediakov
Автор

Действительно, заголовок не очень точный получился :) Но в втором абзаце уточняю, так что надеюсь никого в заблуждение не ввожу. 

Ответить
Развернуть ветку
Сергей Усольцев

А на твой взгляд какой метод самый универсальный и подойдёт почти для любого проекта, для компании любого размера и актуален почти в любой ситуации? 

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Mariya Chaykina

Да заговлочек кликбейтный, а внутри немного про другое

Ответить
Развернуть ветку
Иннокентий Фефилов

АБ-тесты это часть жизни. У хорошего интернет-маркетолога всегда гугл оптимайз под рукой.

Ответить
Развернуть ветку
Лев Кириллов

Имхо данный баг относится к этапу тестирования прежде всего

Ответить
Развернуть ветку
Artem Latynof

Странное смещение фокуса с "Хорошего продукта" на дороговизну исследований..
Если исследования вам не по карману, это не значит что они не помогают делать хорошие продукты, это значит что у вас недостаточно ресурсов и/или вы неграмотно их расходуете. 

Даже один толковый исследователь, без внедрения А/Б в код, способен не просто окупить свою стоимость, но и принести значительный профит, находя блокеры, барьеры и интересные инсайты, которые повышают ценность продукта в глазах пользователей.

Ответить
Развернуть ветку
Yuri Mediakov
Автор

Я здесь пишу про количественные исследования и про то, что затраты на них очень часто не отбиваются. Так происходит потому, что профит-затраты часто даже не пытаются посчитать. 

Если вы дочитаете статью до конца, то там я вместо количественных я предлагаю грамотно использовать качественные исследования. Правда не уверен, нужен ли тут выделенный "исследователь". 

Ответить
Развернуть ветку
Николай Логачёв
Есть и другие методы исследований, вроде глубинных интервью и usability тестирования, но если они выходят за рамки «позвонили 5 пользователям и поговорили», то и у них тоже есть заметная цена.

так здесь понятно, время респондентов стоит денег. особенно, если это эксперт или потребитель, который хорошо знает продукт, то эта стоимость вполне оправдана. даже при коряво построенном гайде можно получить ценную информацию, которую в опроснике не учтешь 

Ответить
Развернуть ветку
Anton Siniakevich

Про лендинг неудачный пример, оторванный от практики. На одной  продуктовой странице уже наверное под сотню сплит тестов провел. Одна удачная гипотеза отбивает затраты на десять неудачных тестов очень быстро. 
+ Не забываем про сложные проценты, эффект от улучшений множится

Ответить
Развернуть ветку
Yuri Mediakov
Автор

А расскажите, как считали профит и затраты? И какого рода тесты это были, насколько варианты отличались друг от друга? 

Ответить
Развернуть ветку
Vlad

В соседней ветке  "юиксерка" статью накатала, даже мужа приплела и какую-то абстрактную тетку. Это как раз и показывает чем большая часть людей занимается на проекте.

Ответить
Развернуть ветку
Mariya Chaykina

 Тут я так понимаю вы именно про количественные исследования говорите и в основном про веб-аналитику? А что насчёт качественных исследований? Юзабилити тестирований? Они большую часть ux-исследованиц занимают

Ответить
Развернуть ветку
Yuri Mediakov
Автор

Я там в конце статьи об этом пишу. Да и в принципе, пока любые исследования делаются для улучшения продукта, а не ради отчета и при этом отбиваются в профит - все отлично. Просто количественные отбить бывает непросто, в силу их природы. 

Ответить
Развернуть ветку
Vitya Nishanow

"главное, на мой взгляд, это желание делать полезный и удобный продукт — обычно такие проекты и без многочисленных дорогостоящих исследований находят свою аудиторию"

ну, без исследований и хороший продукт делать сложно, потому как угадывать мнение потребителей сложновато) а что дорогостоящие - здесь уже вопрос масштаба и сложности исследования 

Ответить
Развернуть ветку
Yuri Mediakov
Автор

Не согласен. Думаю, что существенная часть хороших продуктов запускается без формальных исследований в принципе, потому что основатель обычно уже хорошо понимает своего клиента, ориентируется в предметной области, конкурентах, состоянии рынка, и потому не нуждается в работе вслепую. 

С другой стороны, он может добросовестно заблуждаться и определенная доля исследований, хотя бы для подтверждения гипотез, могли бы сэкономить ему много денег.

Но если продукт запускает команда, которая не знает предметную область досконально, и плохо ориентируется в рынке - без исследований, конечно, не обойтись. 

Ответить
Развернуть ветку
tanya k

90% результата от UX исследований зависит от правильного подбора методов. Многие, особенно на снг-шном рынке, просто берут самые распространенные и пихают куда ни попадя, лишь бы бумажки для галочки были. 

Ответить
Развернуть ветку
24 комментария
Раскрывать всегда