{"id":8525,"title":"\u0410\u043a\u0446\u0438\u044f \u043e\u0442 \u0431\u0430\u043d\u043a\u0430 \u0441 \u043e\u043e\u043e\u0447\u0435\u043d\u044c \u0434\u043b\u0438\u043d\u043d\u043e\u0439 \u0440\u0430\u0441\u0441\u0440\u043e\u0447\u043a\u043e\u0439","url":"\/redirect?component=advertising&id=8525&url=https:\/\/vc.ru\/promo\/314626-korotko-vyigrat-100-tysyach-rubley-na-pokupki-k-novomu-godu&placeBit=1&hash=452c4539de3180a40833ab562f6d46ac6a723a1c475a25d3a1dc82d21cace4b8","isPaidAndBannersEnabled":false}
Дизайн
Yuri Mediakov

UX-исследования не очень помогают делать хорошие продукты

Последние годы я все чаще вижу статьи в духе «как UX-исследования помогли нам увеличить прибыль на 100500%». И каждый раз удивляюсь, как в них расписываются волшебные результаты, но не рассказывается о цене, которую за них приходится платить.

Компании начинают искать аналитиков и продактов «с опытом исследований», поскольку хотят этот allmighty ux-research подход с крутыми результатами.

Я же убежден, что количественные UX-исследования — это очень дорогой инструмент, у которого есть своя, довольно ограниченная область применения.

Исследования стоят дорого

Если вы называете исследованиями что-то уровнем выше, чем «потыкал систему аналитики и решил», то такие исследования стоят довольно дорого.

Давайте посмотрим на примере A\B\etc тестов. Расходы на их проведение, это как минимум:

  • Время на подготовку, проведение исследования и анализ результатов
  • Потери трафика на неудачных вариантах
  • Стоимость разработки альтернативных вариантов

На стоимость исследования сильно влияет проверяемая гипотеза. Если вы тестируете цвет кнопки на лендинге, то условный A\B\C тест будет стоить не очень дорого: перекрасить кнопку легко, скорее всего вы подготовите этот тест быстро, проведете его на существующем трафике, а разница в конверсии между вариантами будет не очень большой. Но нужен ли был такой тест вообще?

Если ожидаемая разница в конверсии между вариантами невелика, то чтобы получить хоть сколь-нибудь достоверные результаты, выборка должна быть довольно большой. А чтобы понимать, что результаты устойчивы во времени, то тест должен проводиться долго. И все ради прироста конверсии на 0,25 п.п., которого может и не быть, потому что гипотеза оказалась неудачной.

В некоторых проектах (особенно, когда трафика очень много) этот потенциальный прирост отобьет цену исследований, в других же ситуациях даже простой эксперимент может оказаться убыточным.

Но если мы будем говорить о более серьезных отличиях в вариантах, то потери трафика на неудачных вариантах и цена их разработки могут сделать этот тест космически дорогим.

Есть и другие методы исследований, вроде глубинных интервью и usability тестирования, но если они выходят за рамки «позвонили 5 пользователям и поговорили», то и у них тоже есть заметная цена.

Фокус на одной метрике

Довольно часто количественные UX-исследования сфокусированы на изменении одной метрики: повышении конверсии в регистрацию, снижению оттока и т.д. Соответственно, если метрика выросла, то гипотеза считается подтвержденной, что далеко не всегда верно. Изменения одной метрики могут быть компенсированы изменениями другой.

Например, для SaaS проекта повышение коэффициента конверсии в регистрацию легко может быть компенсировано снижением метрики активации (e.g. конверсии в подписку на сервис). Чтобы заметить такие изменения, потребуется еще большее количество усилий и времени на исследование, а значит оно станет еще более дорогим и сложным.

Количественные данные ослепляют

С количественными данными работать приятно. Они точные, по ним можно строит красивые графики и легко показать начальству. Но вместо того, чтобы использовать данные как точку отсчета для дальнейшего изучения пользовательского опыта, компании часто начинают опираться исключительно на данные из аналитических систем.

Мне этот подход представляется подходом слепого\глухого на улице: он двигается вперед на ощупь, но с помощью очень дорогой палочки.

В сотый раз протыкивать свой продукт после очередного обновления — скучно. И читать тикеты в поддержке — неприятно и совсем невесело, поскольку критика бьет по самооценке. Поэтому менеджеры часто предпочитают исследовать исключительно количественные данные.

Но вот сколько надо UX-исследователей, аналитиков и продактов, чтобы в Ozon фильтр перестал скакать после выбора одного из пунктов? На какие метрики это должно повлиять и сколько юзабили-тестов должно быть проведено?

Скринкаст с Ozon.ru

Перекладывание ответственности на исследования

Проведение формальных количественных исследований позволяет переложить ответственность за решения на «данные”. Всегда можно сослаться на то, что “мы провели исследование, вот результаты», поэтому мы сделали именно таким образом.

И даже если пользователю стало не очень удобно и он теперь каждый раз матерится, когда пользуется продуктом — не столь важно, до тех пор пока отток не вырастет. А чтобы связать отток с конкретной кривой фичей — надо провести еще парочку исследований. А там “или ишак сдохнет, или хан”.

Что делать

Подходить к UX-исследованиям нужно с пониманием их области применения и рентабельности, а не сваливаться в карго-культ. Условному стартапу на этапе поиска маркет-фита и интернет-магазину рыболовных снастей количественные UX-исследования вряд ли будут полезны.

Не смотря на красивые статьи с “инсайтами”, количественные UX-исследования редко приводят к каким-то существенным открытиям и крутым продуктам — это все еще попытка вслепую нащупать хорошие решения. Зато они позволяют масштабируемо и предсказуемо создавать работающие, средненькие продукты, а потом их также предсказуемо улучшать. При этом, каждое звено в этой цепочке производства легко заменить. Преимущества такой подход дает в основном гигантам рынка.

Небольшим же компаниям всегда можно использовать старую-добрую эмпатию к пользователю, доскональное знание своего продукта, чтение тикетов и отзывов. Очень полезны пользовательские интервью, наблюдения за пользователями и юзабилити-тестирование, пусть и с небольшим числом респондентов. Еще помогает анализ конкурентов, насмотренность и умение проводить аналогии.

Но главное, на мой взгляд, это желание делать полезный и удобный продукт — обычно такие проекты и без многочисленных дорогостоящих исследований находят свою аудиторию.

0
27 комментариев
Популярные
По порядку
Написать комментарий...

"Но вот сколько надо UX-исследователей, аналитиков и продактов, чтобы в Ozon фильтр перестал скакать после выбора одного из пунктов?"

Нужен один UX аналитик и установленный веб-визор от Яндекса.

Ну и толковый QA тоже не помешает все это дерьмо после дизайнеров и программистов проверять как работает на проде. 

90% проблем можно обнаружить в наблюдении сессий пользователей. И это бесплатно. Только я вам этого не говорил.  

14

В данной конкретной ситуации нужен авторский надзор со стороны дизайнера и работа всей команды на результат, а не на процесс. 
Вебвизор для отлова таких банальных косяков использовать это уже извращение.  

0

Зато очень хорошо позволяет бряцать красивыми и сложными словами, натягивать многострадальную сову на глобус, выбивая деньги на “очень полезный труд”, а все для того, чтобы продать случайному человеку что-то ненужное. Как-то дожили до 2021 года без онолитекофф.

3

Хотя, конечно, погорячился. Когда сталкиваешься с программами, разработанными японцами, понимаешь, что в UX есть смысл. Точнее даже не в UX, в здравом смысле разработчика. )))

1

а что с ними не так?
у меня практический интерес, перевел свое приложение на японский и корейский, так они на страницу заходят, а устанавливать не хотят, либо у меня перевод плох, либо какие-то нац особенности, которые я не понимаю

0

Японский рынок очень специфический.  Вот как мы видим перевод с японского в браузере, так же они видят наши потуги выйти на Японский рынок. Я как-то работа с native японцом, и он мне рассказывал, почему наши продукты не работают на их рынке и воспринимаются плохо. Начиная отступов строк в тексте и заканчивая языком. 

0

мда, видимо надо будет заморочиться и найти носителя языка

0

Без него никуда. И дизайны тоже надо заказывать у местных фрилансеров7 

0

В статье упомянута, но не развёрнута мысль кому все таки необходимы аналитики и исследователи. Крупной компании они необходимы, где идёт борьба за доли п.п. Страртапам и небольшим компаниями скорее всего пользы это не принесёт. В стартапах при хорошем росте прирост от исследований в несколько процентов не будет столь актуален, а вот дополнительный сотрудник на горящую должность вместо аналитика вполне себе оправдает себя 

1

Ну зачем же вы все методы UX Research в заголовке обидели, а унижаете только количественные исследования?

Взяли их, отцепили от всего остального и обижаете, не надо так

3

Действительно, заголовок не очень точный получился :) Но в втором абзаце уточняю, так что надеюсь никого в заблуждение не ввожу. 

0

А на твой взгляд какой метод самый универсальный и подойдёт почти для любого проекта, для компании любого размера и актуален почти в любой ситуации? 

0

Игральные кости

0

Да заговлочек кликбейтный, а внутри немного про другое

0

АБ-тесты это часть жизни. У хорошего интернет-маркетолога всегда гугл оптимайз под рукой.

1

Имхо данный баг относится к этапу тестирования прежде всего

1

Странное смещение фокуса с "Хорошего продукта" на дороговизну исследований..
Если исследования вам не по карману, это не значит что они не помогают делать хорошие продукты, это значит что у вас недостаточно ресурсов и/или вы неграмотно их расходуете. 

Даже один толковый исследователь, без внедрения А/Б в код, способен не просто окупить свою стоимость, но и принести значительный профит, находя блокеры, барьеры и интересные инсайты, которые повышают ценность продукта в глазах пользователей.

0

Я здесь пишу про количественные исследования и про то, что затраты на них очень часто не отбиваются. Так происходит потому, что профит-затраты часто даже не пытаются посчитать. 

Если вы дочитаете статью до конца, то там я вместо количественных я предлагаю грамотно использовать качественные исследования. Правда не уверен, нужен ли тут выделенный "исследователь". 

1

Есть и другие методы исследований, вроде глубинных интервью и usability тестирования, но если они выходят за рамки «позвонили 5 пользователям и поговорили», то и у них тоже есть заметная цена.

так здесь понятно, время респондентов стоит денег. особенно, если это эксперт или потребитель, который хорошо знает продукт, то эта стоимость вполне оправдана. даже при коряво построенном гайде можно получить ценную информацию, которую в опроснике не учтешь 

0

Про лендинг неудачный пример, оторванный от практики. На одной  продуктовой странице уже наверное под сотню сплит тестов провел. Одна удачная гипотеза отбивает затраты на десять неудачных тестов очень быстро. 
+ Не забываем про сложные проценты, эффект от улучшений множится ред.

0

А расскажите, как считали профит и затраты? И какого рода тесты это были, насколько варианты отличались друг от друга? 

0

В соседней ветке  "юиксерка" статью накатала, даже мужа приплела и какую-то абстрактную тетку. Это как раз и показывает чем большая часть людей занимается на проекте.

0

 Тут я так понимаю вы именно про количественные исследования говорите и в основном про веб-аналитику? А что насчёт качественных исследований? Юзабилити тестирований? Они большую часть ux-исследованиц занимают

0

Я там в конце статьи об этом пишу. Да и в принципе, пока любые исследования делаются для улучшения продукта, а не ради отчета и при этом отбиваются в профит - все отлично. Просто количественные отбить бывает непросто, в силу их природы. 

0

"главное, на мой взгляд, это желание делать полезный и удобный продукт — обычно такие проекты и без многочисленных дорогостоящих исследований находят свою аудиторию"

ну, без исследований и хороший продукт делать сложно, потому как угадывать мнение потребителей сложновато) а что дорогостоящие - здесь уже вопрос масштаба и сложности исследования 

0

Не согласен. Думаю, что существенная часть хороших продуктов запускается без формальных исследований в принципе, потому что основатель обычно уже хорошо понимает своего клиента, ориентируется в предметной области, конкурентах, состоянии рынка, и потому не нуждается в работе вслепую. 

С другой стороны, он может добросовестно заблуждаться и определенная доля исследований, хотя бы для подтверждения гипотез, могли бы сэкономить ему много денег.

Но если продукт запускает команда, которая не знает предметную область досконально, и плохо ориентируется в рынке - без исследований, конечно, не обойтись. 

0

90% результата от UX исследований зависит от правильного подбора методов. Многие, особенно на снг-шном рынке, просто берут самые распространенные и пихают куда ни попадя, лишь бы бумажки для галочки были. 

0
Читать все 27 комментариев
Хочу кухню как у подруги: зачем в Циан сделали поиск квартир по фото

Рассказывает Юлия Зыкова, руководитель команды «Аудитория» в Циан.

Wildberries обязал покупателей оплачивать возвраты товара, если те получены или уже переданы в доставку
Авито возглавила три рейтинга App Annie
Renault в честь 60-летия модели 4L представила летающий автомобиль на её основе Статьи редакции

Машину выставили во Франции, с 2022 года её начнут показывать в крупных городах США.

Renault Air4 Renault
Нас продолжают обманывать сервисы онлайн-образования на «Чёрную пятницу» в 2021?

В 2020 я сделал обзор Чёрной пятницы в популярных EdTech проектах: Skillbox, GeekBrains, Нетология, HTML Academy, SkillFactory, Hexlet, Я.Практикум.
Мне стало интересно, как изменилась стоимость курсов и профессий за год, а также какие скидки дают нам образовательные онлайн-сервисы в 2021 году.

Версия 25 ноября
Завод по производству идей. Как работают акселераторы, зачем они нужны стартапам и куда идти с идеей прямо сейчас

По данным Startup Genome, 9 из 10 стартапов терпят неудачу. Возможных причин «смерти» много: недостаточно протестированная гипотеза, неподтвержденная юнит-экономика, неверная стратегия или просто неудача в подходе к продажам.

Авторизированный сервис Samsung снял наушники с гарантии из-за факта использования, самый отвратительный сервис из всех

Пояснение

Из науки в IT: как создать свой стартап и стать преподавателем

Как перейти в IT из другой сферы? Как разработать курс, которому нет аналогов? Как студенту получить максимум пользы от занятий? Рассказывает преподаватель OTUS Сергей Окатов, руководитель курсов «Kotlin Backend Developer» и «Kotlin Developer. Basic».

Продвижение интернет-магазина одежды из крокодиловой кожи в Яндекс.Директ. Как мы сделали 9 млн оборота в Октябре 2021

Кейс продвижения бутика премиальных изделий из крокодиловой кожи Bardini. Сегодня обсудим, как в текущих реалиях работать с e-commerce, одеждой и премиальными дорогими предложениями. Мы снизили стоимость конверсии в 6 раз и увеличили количество заказов почти в 10 раз. Приятного прочтения!

Что Tele2 предлагает клиентам в «черную пятницу»

На главной распродаже года клиентов компании ждут сразу несколько интересных предложений: скидки на смартфоны, пакеты SMS и безлимитный трафик на YouTube, Яндекс.Карты, Яндекс.Навигатор.

null