Вне плоскости экрана. Новые вызовы для дизайнеров интерфейсов

13 ноября состоялась международная конференция WUD@ITMO от Университета ИТМО и UsabilityLab. Креативный директор Modum Lab Денис Тамбовцев рассказал, как развитие иммерсивных технологий — VR/AR, распознавания жестов, голоса и других решений — меняет роль дизайнера интерфейсов. Представляем вам текстовую версию выcтупления.

И большую часть специфики мы разберём на примерах разработки интерфейсов для VR-очков.

Ключевая особенность виртуальной реальности — присутствие и погружение, ощущение нахождения пользователя в виртуальном пространстве.

Если раньше человек смотрел на изображение на экране монитора или смартфона, то теперь он может непосредственно находиться в изображаемом пространстве.

И эта фундаментальная разница между классическими медиа и VR требует полного пересмотра интерфейсного блока, что влияет на задачи дизайнера интерфейса. Поэтому чтобы нам разобрать, как меняется роль дизайнера, нужно понять, как изменяется сам интерфейс.

И тут есть пара важных аспектов.

Первый — взаимодействие. Дело в том, что система управления в иммерсивной среде — прямая. Пользователь не взаимодействует с интерактивным окружением через призму экрана, а непосредственно влияет на интерактивные объекты.

Теперь нужно учитывать, что система управления строится вокруг самого пользователя, его крупной моторики, мелкой моторики, его перемещения в пространстве, а также обработки направления взгляда и распознавания голоса.

Способы взаимодействия в виртуальном пространстве наследуют подходы из реального мира и должны оправдывать ожидания пользователя в симулируемой среде.

И если мы создаём правдоподобное виртуальное пространство, помещаем туда пользователя и предоставляем ему возможность понятным для него способом взаимодействовать с интерактивным окружением, то для всего этого сам интерфейс также должен быть помещён в виртуальную среду и обоснован в ней.

Отсюда вопрос, а как, например, в VR сделать окно системного меню выхода из симуляции, чтобы при этом оно отвечало данным требованиям? И тут нам на помощь приходят десятилетия опыта разработчиков компьютерных игр.

В сфере игровой разработки есть разделение интерфейсов на несколько типов, исходя из того, как они связаны с игровым пространством и повествованием. Не будем вдаваться в разбор всей типологии, но обозначим самые крайние типы.

Интерфейсы в игре можно разделить на недиегетические и диегетические. Сама теория диегезиса пришла к нам из литературы и кино. Если просто, то диегезис — это всё, что относится к миру — в данном случае игры — и существует в нём.

Соответственно, недиегетические интерфейсы размещаются на плоскости экрана, это классический игровой HUD.

Шкала здоровья главного героя в одному углу экрана, количество амуниции в другом, а также всевозможные текстовые оповещения, подсказки и т.п.

Данные элементы могут наследовать стилистику игрового окружения, но по факту оторваны от пространства игры, которое мы видим за экраном.

У них есть свои плюсы, вроде быстрого доступа к информации, возможности вывода большого объёма данных и т.д. И это всё актуально для спортивных FPS, MMO, для стратегий.

Диегетические интерфейсы находятся внутри пространства игры и обоснованны на уровне повествования — предполагается, что они существуют в игровом мире.

В руках игрового персонажа есть, например, бумажная карта или карта в планшете, которая показывает игроку, куда идти.

Подобные объекты размещаются внутри игрового мира вместе с самим персонажем, и предполагается, что для персонажа они также видны.

Смысл хороших (что важно) диегетических интерфейсов в том, что они как раз работают на погружение, игроку не нужно сбивать фокус с игрового мира на отдельные панели и меню на плоскости экрана.

И тут оказывается, что диегетические интерфейсы — идеальное решение для использования в виртуальной реальности.

Мало того, из-за специфики VR-очков мы в принципе не можем использовать классический HUD. То есть вариантов, как в разработке классических игр, особо и нет.

А теперь представьте, что мы говорим не о компьютерной игре с картами и компасами в руках игровых персонажей, а вообще любых интерфейсах. В приложениях для коммуникации, промышленных тренажёрах, обучающих симуляциях в банковском секторе, ритейле — везде, где до этого обычно использовался классический недиегетический интерфейс.

И вот теперь в задачу дизайнера входят не проектирование и отрисовка попапа системного меню, а определение того, как вообще происходит репрезентация меню в виртуальной среде и как оно обосновывается, чтобы не нарушать, а в идеале поддерживать, эффект погружения в виртуальном пространстве.

Возвращаясь к вопросу, как разместить нам наше меню — даже на уровне, казалось бы, такой локальной задачи — спектр вариантов получается реально большим:

• Меню может размещаться на запястье виртуальной руки в виде умных часов

• Оно может относиться к конкретной точке в сцене — проецироваться на стену, голографический стол, отдельные панели
• Меню может выводить в пространство виртуальный компаньон пользователя
• Само меню может являться отдельной сценой при выходе из текущей
• И ещё с десяток примеров…

Конечно, выбор решения во многом зависит от целей и задач самой симуляции. Но суть в том, что в отличие от других направлений, где дизайнер изначально работает в заданных рамках (элементарно заданных самой рамкой экрана), спектр возможностей в иммерсивных средах становится очень широким. Поэтому готового решения вообще может не быть, его требуется не выбрать из имеющегося списка подходов, а просто напросто создать.

Всё это значит, что дизайнер должен разбираться в практиках интеграции интерфейса в объёмную среду и обоснования его в ней.

Нужно понимать специфику систем прямого взаимодействия с интерактивным окружением.

И тут получается, что отдельные аспекты того, чем раньше занимались 3D-художники, игровые дизайнеры, дизайнеры уровней теперь становятся частью задач дизайнера интерфейса.

Например, дизайнер должен понимать, как через архитектуру локации, с которой интерфейс связан, можно управлять фокусом внимания пользователя.

Это всё подразумевает, что у специалиста должны быть навыки прототипирования 3D окружения. Ведь, чтобы проверить какую-либо гипотезу, нужно оказаться внутри симуляции с позиции пользователя и посмотреть, как воспринимается созданная виртуальная реальность. И знания трёхмерных редакторов позволяют визуализировать концепции.

При этом одной лишь визуализации мало — нужно прототипировать интерактив, а в этом могут помочь базовые знания игровых движков, например, Unity или Unreal.

Также сейчас есть решения, который позволяют вообще прототипировать прямо в VR, когда мы создаем прототип виртуальной симуляции внутри виртуальной симуляции.

Мы подняли тему задач дизайнера на примере разработки VR-проектов, а что насчёт дополненной, смешенной, расширенной реальности и вообще всего метаверса, о котором с недавнего времени так много все говорят?

Если в виртуальной реальности происходит полное перекрытие реального мира, то в AR цифровой слой накладывается на реальность. Но при этом элементы цифрового слоя также находятся в пространстве. Поэтому многие аспекты, что разбирались выше, являются актуальными и здесь.

В особенности это касается переходных состояний, когда мы, например, переходим из реального мира в VR, а из VR в формат взаимодействия в смешанной реальности. И определенные движения тут в плане исследования и формирования практик только начинаются. Это к слову о вызовах.

Сейчас большинство дизайнеров интерфейсов не готово к тому, чтобы начать работать в области иммерсивного дизайна, да и пока не сталкивались с подобными задачами.

Но в ближайшие 3-5 лет благодаря развитию современных технологий (не только виртуальной и дополненной реальности) задачи UX/UI дизайнеров будут всё больше выходить за пределы плоскости экрана и оказываться в сфере пространственного взаимодействия.

И уже сейчас специалисты в области разработки интерфейса могут получать необходимую экспертизу. Изучать практики разработчиков компьютерных игр, редакторы трёхмерного моделирования, а также знакомиться с опытом из сферы VR/AR разработки.

Несколько примеров различных материалов по теме проектирования систем взаимодействия в VR.

Некоторые доклады и статьи пятилетней давности — именно в тот период формировались базовые подходы по работы с современными VR-устройствами (сейчас фокус больше смещён на отдельные аспекты усиления погружения и комфорта пользователя, а также раскрытие потенциала новых технических решений на рынке — трекинг мелкой моторики, взгляда и т.п.).

• Распространённые ошибки при проектировании интерфейсов в VR
• О подходах Oculus в работе с моушн-контроллерами, которые пока ещё активно используются в VR
• Разработчики из Owlchemy Labs постоянно делятся опытом в области систем взаимодействия в VR
• Хорошая серия статей про создание Facebook Spaces (в особенности про эксперименты с интерфейсами)
• Рассказ разработчиков про систему перемещения в Half-Life: Alyx
• Различные приёмы перемещения в какой-либо технике (космический корабль и т.п.)
• Общая подборка советов по UX в VR
• Варианты прототипирования в VR
• История развития оболочки Oculus Home
• Также в своем блоге на VC мы рассказываем про кейсы и специфику разработки решений для B2B. Например, про вопросы организации комфортного VR-обучения персонала