Революционный подход к вводу текста | PinchType

Исследователи из Facebook Reality Labs представили миру PinchType — новый метод ввода текста с использованием технологии hand-tracking.

Оригинал статьи

Исследователи из Facebook Reality Labs представили миру PinchType — новый метод ввода текста с использованием технологии hand-tracking. Система рассматривает руки и пальцы как своего рода умную клавиатуру. Все, что от вас требуется, так это просто складывать пальцы в необходимые вам комбинации для выбора групп букв и дальнейшего ввода.

Ввод текста является очень важной функцией для многих задач, связанных с производительностью. И именно ввод текста все еще остается проблемой для AR/VR гарнитур. Конечно, вы можете сидеть перед клавиатурой во время погружения в виртуальную реальность, но вы не сможете видеть саму клавиатуру. Не исключено, что для некоторых пользователей в этом не будет ничего сложного, но для большинства людей такой подход делает набор текста невыносимо сложным. Даже у опытных пользователей (или для тех, кто использует AR гарнитуру, где клавиатуру видно), необходимость сидеть перед клавиатурой резко сокращает свободу действий. Но этого не происходило бы, если клавиатура не была привязана к одному месту, а могла бы свободно двигаться вместе с вами или появляться по первому зову.

Голосовой ввод является одним из вариантов решения подобной проблемы, но и с ним появляется несколько нюансов. С одной стороны, ему не хватает конфиденциальности — любой, кто стоит рядом с вами может услышать, как вы разговариваете и содержание вашего запроса. С другой стороны, диктовка — это несколько иной способ мышления, что отличается от обычного набора текста, и она не так хорошо подходит для многих распространенных письменных задач.

В Facebook Reality Labs создали прототип клавиатуры с использованием hand-tracking, разработанный для AR и VR гарнитур.

Вместо того, чтобы касаться клавиш на клавиатуре, группы клавиш сопоставляются каждому пальцу. Вместо того, чтобы выбрать конкретную букву, вы щёлкаете пальцем, который соответствует той группе с цветовой кодировкой, которая содержит желаемую клавишу. На ходу, исходя из контекста система пытается предсказать, какое слово вы хотите ввести. Эта система получила название — PinchType.

PinchType силен там, где виртуальные клавиатуры и голосовой ввод дают слабину. Он приватный, быстрый и простой в использовании. Также PinchType обеспечивает обратную связь с пользователем, позволяя ему прочувствовать ввод каждого символа.

В Facebook поделились первыми результатами тестирования системы:

В предварительном исследовании с 14 участниками мы исследовали скорость и точность PinchType при первом использовании, а также его физический комфорт по сравнению с виртуальной клавиатурой. После ввода 40 фраз большинство людей сообщили, что PinchType более удобен, чем прочие аналоги. Большинство участников достигли средней скорости 12,54 СВМ или 20,07 СВМ без затрат времени на исправление ошибок. Это отличает PinchType от методов ввода текста.

Но и у этой технологии есть некоторые недостатки. Система основана на точном отслеживании рук, и одна из самых проблемных его сторон — камера, закрепленная на голове, иногда пальцы могут закрывать тыльную сторону руки, что может затруднить ввод текста. Ниже приведен пример того, как пользователь использует безымянный палец для нажатия.

Весьма вероятно, что прототип PinchType был разработан с использованием технологии отслеживания рук с внешними камерами. Нам придется подождать некоторое время, пока не будут опубликованы полные сведения о системе, чтобы узнать, как разработчики смогут решить существующие на данный момент проблемы.

Прототип PinchType является работой разработчиков из Facebook Reality: Jacqui Fashimpaur, Kenrick Kin, и Matt Longest. Работа была представлена под заголовком « Text Entry for Virtual and Augmented Reality Using Comfortable Thumb to Fingertip Pinches».

Работа была опубликована в рамках CHI 2020, конференции, посвященной взаимодействию человека с компьютером.

Ещё больше статей ищите в нашем блоге и телеграм-канале.