Дискуссия за кружкой пива: можно ли назвать юзабилити наукой

Размышления трёх ведущих UX-исследователей.

Недавно Тодд Зазеленчук, Дэвид Тревис и я (Филип Ходжсон) встретились в нашем любимом пабе в Стэффордшире и, как обычно, завели разговор про юзабилити. Мы обсуждали вопрос, является ли юзабилити наукой или нет, и это оказалось сложнее, чем мы предполагали. Поначалу дискуссию вели только мы с Дэвидом, поскольку Тодд отлучился к барной стойке.

Филип: Я только что прочитал статью Джеффа Сауро, в которой он задаёт интригующий вопрос: «Является ли юзабилити наукой?». Вот что он пишет:

Я поневоле задумался над этими словами. Но я поделюсь своими выводами только после того, как ты выскажешь собственное мнение.

Дэвид: Когда я думаю о науке, я думаю об эмпирических исследованиях. Без сомнения, юзабилити — эмпирическая дисциплина. Мы делаем предположения, формулируем гипотезы, а затем проверяем или опровергаем их с помощью тестов (которые могут быть лабораторными исследованиями или наблюдениями в реальных условиях).

Филип: С этим я соглашусь: юзабилити действительно опирается на тесты и бывает и методичной, и строгой. Но достаточно ли этого, чтобы назвать её наукой? По-моему, это как с производством, маркетингом и инжинирингом — Джефф верно сказал: объективно это не наука.

В этот момент Тодд принёс пиво и чипсы и включился в дискуссию.

Тодд: Я бы называл наукой любую дисциплину, в которой мы применяем научные методы, независимо от того, к какой области она относится.

Филип: Давайте отойдём на шаг назад и вспомним, что представляет собой сама наука. Тогда мы сможем увидеть, соответствует ли юзабилити её критериям.

Самое полное определение науки и одно из тех, что быстрее всего приходит на ум, — это «совокупность знаний о физическом или природном мире». Это всё то, что мы знаем о мире, о том, как он устроен и почему он устроен именно так. Мы встречаем это определение в большинстве учебников.

Однако слово «наука» имеет и другое значение. Наука — это самокорректирующийся исследовательский процесс. Процесс постановки вопросов и поиска ответов на них с известной степенью уверенности. Наука — это способ генерации знаний, а не только само знание.

Третья важная характеристика науки — это возможность опровергать гипотезы. Как в известном высказывании Карла Поппера: если ваша гипотеза состоит в том, что все лебеди белые, никакое количество белых лебедей не будет достаточным доказательством, но всего один чёрный лебедь сможет её опровергнуть.

Если же гипотезу нельзя проверить или опровергнуть, тогда она просто не относится к научной сфере. Именно поэтому Поппер не считает теорию Фрейда научной, а другие учёные не тратят время на то, чтобы опровергать существование единорогов и фей.

Тодд: А как насчёт моей точки зрения? Разве вы не согласны с тем, что мы можем говорить о науке, если применяем научные методы?

Филип: Да, но научный метод обычно реализуется в несколько этапов. Напомню, научное исследование начинается с гипотезы, которая часто вытекает из предыдущих исследований или наблюдений. Мы формулируем эту гипотезу как конкретный и проверяемый исследовательский вопрос. Чтобы было понятнее, давайте рассмотрим гипотезу о том, что при употреблении пива улучшается память.

Тут мы дружно сделали по глотку, чтобы проверить эту чудесную идею.

Тодд: Это хороший пример, потому что он позволяет нам выдвинуть нулевую гипотезу, которую мы можем опровергнуть: «пиво не действует на человеческую память». Мы можем провести эксперимент с участием трёх групп людей и при этом манипулировать количеством пива.

Собрав эмпирические данные, мы либо примем, либо отвергнем нулевую гипотезу. Если в ходе исследования мы не увидим никакого эффекта, то примем нулевую гипотезу и придём к заключению, что пиво не оказывает на память никакого воздействия.

Если же обратная гипотеза будет отвергнута, мы будем знать (с определённой степенью уверенности, которую можно рассчитать статистическими методами), что пиво всё-таки действует на человеческую память.

Дэвид: А после этого мы каким-то образом интерпретируем полученные результаты и объясним, что всё это означает в контексте человеческой памяти и познания в целом.

Филип: Нет, есть ещё один этап. Мы можем поделиться нашим знанием, если опубликуем результаты исследования или представим их более крупному сообществу учёных (возможно, нам потребуется их защитить).

Филип: Теперь у нас есть описание науки. Так как насчёт юзабилити? Учитывая подобные строгие критерии, я с трудом могу представить, как некоторые из методов юзабилити — например, какой-нибудь формативный тест на удобство использования — можно назвать наукой. В том же время я понимаю, что грамотно составленный суммативный тест, сравнивающий два интерфейса, которые различаются одной интересной переменной, вполне можно назвать научным.

Дэвид: Постой, почему ты думаешь, что формативный тест юзабилити нельзя назвать наукой? Я считаю, что гипотезы можно тестировать при помощи формативных тестов. Вы можете проверить гипотезу, просто посчитав число посещений.

Например, можно собрать людей, которым ты доверяешь, и выдвинуть гипотезу: «Мы считаем, что каждый из нас ежедневно выполняет такие-то действия в ходе своей работы». Проверив эту гипотезу, мы можем обнаружить, что эти действия выполняют только трое из десяти человек. Тогда, независимо от статистической значимости, мы получим доказательство ошибочности нашей гипотезы.

Это важно, потому что тестирование, требующее статистической оценки (вроде «на 95% верно»), отнимает слишком много времени — гораздо больше, чем обычно есть у продуктовых команд. А с помощью грубых готовых методов мы сможем, по крайней мере, информировать команды о том, в какую сторону дует ветер.

Итеративный дизайн хорош тем, что это самокорректирующийся процесс — такой же, как в вашем описании науки. Мы постоянно пробуем что-то и тут же тестируем это на людях, чтобы понять, в правильном ли направлении мы движемся. Это похоже на сбор эмпирических данных об амфетаминах.

Филип: Не согласен. Я бы настаивал на том, чтобы выдвигать гипотезы в направлении «большой теории», поскольку это ещё один признак науки. Гипотеза «Мы считаем, что люди выполняют такие-то действия каждый день в ходе своей работы» кажется мне такой же далёкой от науки, как гипотеза «Увидев дорожных рабочих на станции, я предположил, что автобус №2 завернёт за угол раньше, чем автобус №7». Слишком уж она тривиальная.

Дэвид: Я не согласен с тем, что такие предположения тривиальны. В нашей отрасли полно продуктов с неудачным дизайном — и всё потому, что люди ставят под сомнение свои предположения (ведь они кажутся им слишком «очевидными»).

Я уверен, что Дарвин приступил к созданию своей теории эволюции не тогда, когда поднялся на палубу «Бигля». Он и до этого многое наблюдал и, возможно, думал: «Это забавно, а что если…?». Он занимался наукой уже в этот момент, а не тогда, когда работал на «большую теорию».

Филип: Насчёт Дарвина ты прав. Он занимался наукой с самого начала, когда наблюдал различные виды. Хотя тогда у него не было большой теории, он всё же двигался именно к ней. А вот в случае с юзабилити я не понимаю, как решение конкретных проблем можно назвать наукой.

Это всё равно что сказать, что наукой занимается механик, ремонтирующий машину, или водопроводчик — ведь он тоже использует эмпирические данные, устраняя протечку. Эмпирическое исследование — это только одна из характеристик науки. Но важно ещё и продвигаться к какому-то более общему знанию или хотя бы добавлять к нему что-то новое.

Тодд: Интересная точка зрения. Итак, у нас возник вопрос: если мы исследуем юзабилити, прибавляем ли мы что-нибудь к совокупному знанию? Мне кажется — и да, и нет. «Нет» — потому что я больше всего заинтересован в обнаружении и исправлении ошибок в системе. Дальше этого я не иду.

Дэвид: Но также и «да», потому что при этом ты можешь обнаружить некие общие принципы. В качестве примера можно привести F-образную тепловую карту Якоба Нильсена, отражающую движения взгляда при просмотре интернет-страниц.

Люди не обращают внимания на то, что находится на правой стороне страницы. И это уже полезный практический совет для любой команды-разработчика сайтов. Это знание добавляется к общей совокупности знаний, то есть имеет и более глобальное значение.

Филип: А если полученные знания — всего лишь набор не связанных между собой фактов? Можно ли утверждать, что открытия в юзабилити сливаются в некую общую теорию? Напомню, что мы не используем термин «теория» в его бытовом значении и не говорим: «У меня есть теория, что моя футбольная команда победит в этот выходной, потому что мы только что подписали контракт с новым игроком». Это предчувствие, предсказание, но не теория.

Мы с вами используем термин «теория» в научном смысле, так же как Дарвин, Ньютон и Эйнштейн использовали его по отношению к своим всеобъемлющим и последовательным объяснительным моделям — теории эволюции, теории гравитации и теории относительности.

Но твой пример с F-образной картой очень хорош. Если бы феномен Нильсена был обнаружен в психологическом исследовании и речь шла об изучении человеческого внимания человека, никто бы не постеснялся назвать это наукой, а результаты этого исследования добавили бы знаний тем учёным, которые пытаются понять природу человеческого познания.

Дэвид: Несмотря на низкий индекс цитирования, журналы, касающиеся юзабилити и человеческого фактора, тоже вносят свой вклад в науку. Если учесть это, а также практическую пользу от эмпирических методов, я готов согласиться с тем, что юзабилити — это наука.

Филип: Я ещё не определился. Мне нравится, что юзабилити иногда использует научные методы. Но в большинстве случаев её открытия очень специфические и редко вносят вклад в «большую науку» или складываются в какую-то теорию.

Я хочу сказать, что практики юзабилити редко думают о какой-то конкретной научной теории, когда планируют свои исследования. Я не критикую, это естественно для такой работы. Но я думаю, что юзабилити всё-таки не отвечает стандартам истинной науки.

Она больше похожа на то, о чём говорил Джефф Сауро в своей статье о маркетинге и инжиниринге: эти дисциплины не являются наукой, но они могут с выгодой для себя использовать научные методы.

И тут... Как вы думаете, кто вошёл в паб? Джефф Сауро собственной персоной. Он тут же присоединился к нам, и мы с Тоддом вкратце изложили ему основные идеи нашей дискуссии.

Джефф: Я хочу несколько расширить точку зрения Филипа на «большую теорию». Большинство менеджеров не любят употреблять это слово, потому что видят в нём синоним «непрактичности». Но, несмотря на то, что большинство дизайнеров и разработчиков не считают себя теоретиками, на самом деле они всё равно работают на какую-то теорию.

Принимая решения относительно интерфейса или продукта, они уже опираются на теорию, определённую базовую модель, которая даёт им основания верить в то, что, изменив дизайн, они получат более удобный интерфейс или лучший пользовательский опыт.

Проблема в том, что команды дизайнеров редко осознают это или, что ещё хуже, могут опираться на неверную теорию. Я считаю, что именно из-за отсутствия таких продуманных и заслуживающих доверия теорий, объясняющих причинно-следственные связи, юзабилити кажется неким случайным процессом и ставит под вопрос саму идею своей принадлежности к науке.

Клейтон Кристенсен в своей книге The innovator’s Solution («Дилемма инноватора») пишет, что хорошие теории в своём развитии проходят три этапа:

На первом этапе юзабилити ведёт себя прямо «по Кристенсену». На втором этапе она не слишком продвинулась, а уж на третьем, где речь идёт о причинах и следствиях, и вовсе отстала. В общем, пока мы можем лишь опираться на теорию и утверждать, что мы занимаемся наукой, только если наши рекомендации приводят к желаемым результатам.

Тодд: А ведь ты попал в яблочко, Джефф. Забавная получилась дискуссия, но хотелось бы проверить всё это в реальных условиях. Честно говоря, я не верю, что юзабилити как-то изменится от того, что мы будем называть её наукой или творчеством.

Но я могу согласиться с тем, что в своих исследованиях мы должны, по крайней мере, исповедовать научный метод мышления. Это значит, что мы должны подходить к нашей работе с долей скептицизма и самокритики и что наши методы должны быть настолько научными, насколько это позволяют обстоятельства и бюджет.

Филип: Я хочу выпить за это.

Дэвид: Я тоже — если есть, что пить. Кто пойдёт за пивом?

#интерфейсы