Tilt — браслет с распознаванием жестов

Как «умный» браслет с датчиками мышечной активности меняет принципы взаимодействия с электронными устройствами.

Идея

Управлять компьютером и гаджетами удобнее с помощью естественных жестов, а не множества разнообразных контроллеров, которые мы используем сейчас. Как правило, они привязывают нас к ограниченному пространству, мешают свободно перемещаться и не поддерживают естественные жесты. Кроме того, наша разработка облегчит взаимодействие с различными устройствами не только здоровым людям, но и тем, кто, к примеру, потерял кисть или получил травму рук. Конечно, уже существуют технологии, распознающие положение руки, но они пока не считывают микродвижения кисти и пальцев, без которых сложно представить полноценное управление электронными устройствами.

Когда мы работали над проектом бионического протеза, к нам пришла идея: используя датчики сокращения мышц, можно сделать универсальный беспроводной контроллер, который «научит» электронику понимать естественные жесты. Ведь электромиографические модули, которые считывают мышечную активность, подходят не только для управления протезом. Они могут передавать сигнал на компьютер, квадрокоптер, в систему виртуальной реальности или «умного дома». Причём такое решение можно сделать лёгким и компактным: все необходимые компоненты помещаются в обычный браслет, который может надеть любой человек.

От теории к практике

При разных движениях кисти мышцы предплечья сокращаются по-разному. С помощью системы датчиков можно записать, как мускулатура действует при определённом жесте, и добавить эту информацию в базу. Тогда система сможет распознавать микродвижения кисти, сопоставляя данные с сенсоров с сохранёнными паттернами.

Этот принцип лёг в основу умного браслета TILT, который способен заменить собой пульт, клавиатуру, мышку, джойстик и многие другие управляющие устройства. Распознавая естественные жесты и движения, он делает взаимодействие с цифровой средой более простым и комфортным. При этом руки остаются свободными, а чтобы переключаться между сеансами управления различными устройствами, браслет не надо снимать. Встроенного аккумулятора хватает на восемь часов работы без подзарядки.

TILT надевается на предплечье и считывает движения кисти с помощью восьми электромиографических модулей, распознающих мышечную активность. Они были разработаны специально для этого устройства: модули отличает повышенная устойчивость к помехам и способность передавать качественный сигнал даже при минимальном движении пальцев.

Перемещение руки в пространстве регистрируют 9-осевые инерциальные датчики, которые работают в связке с электромиографическими сенсорами. Сигнал с этих модулей сопоставляется с сохранёнными паттернами — моделями мышечных сокращений при определённых движениях. Если есть совпадение, на компьютер отправляется команда, которая соответствует распознанному жесту.

Как мы разрабатываем TILT

Первый рабочий прототип TILT мы собрали в конце 2017 года. Создавали его на собственные деньги и субсидию от Фонда содействия инновациям, которую получили после победы в конкурсе «УМНИК-2017». Мы все окончили СПбПУ, но к администрации вуза за поддержкой не обращались, потому что это личный, а не университетский проект.

С 2017 года мы постоянно совершенствуем электронику, программное обеспечение и дизайн устройства. Чтобы улучшить технологию распознавания движений, мы активно тестируем TILT на добровольцах. При испытаниях прототипа выяснилось, что у разных людей паттерны мышечных сокращений одинаковы, так что пользователям не придётся обучать систему с нуля. Но при желании можно научить её новым жестам с помощью приложения, которое пока находится на этапе разработки.

TILT уже можно использовать для эмуляции компьютерной мыши и управления персонажем в видеоиграх. Например, короткое сжатие руки в кулак браслет воспринимает как клик левой кнопкой мыши, два быстрых сжатия или одно долгое — как двойной клик, отведение ладони наружу — как клик правой кнопкой. А положением курсора на экране можно управлять, перемещая руку вверх-вниз и влево-вправо. Ещё мы научили TILT распознавать силу, с которой выполняется движение.

Сейчас мы работает над тем, чтобы браслет считывал положение кисти и пальцев. Это позволит выстраивать управление не по отдельным паттернам, а по непрерывному движению руки. Также мы создаём базу данных со сложными жестами, которая поможет усовершенствовать технологию распознавания с применением нейронной сети. Конечно, не обходится и без доработок дизайна, которые повышают комфорт пользователя. После решения этих задач мы планируем выпустить первую партию TILT для широкого тестирования, в котором сможет принять участия любой желающий. А потом запустим продукт в серийное производство.

Продвижение

Мы представляем TILT на промышленных выставках (например, на Петербургском международном инновационном форуме 2018 года), где на нашем стенде можно было протестировать устройство. Также проект принёс нам победу в конкурсе «УМНИК-2017» и на национальном этапе международной премии для изобретателей James Dyson Award 2019. Это позволило нам получить дополнительные средства для развития технологии и быстрее воплощать в жизнь наши планы.

В качестве инструментов продвижения проекта мы рассматривали краудфандинговые площадки, такие как Kickstarter, Boomstarter и Indiegogo, но пока решили остановиться на поиске частных инвесторов.

Активно продвигать TILT на рынке мы планируем, как только браслет будет готов к запуску в производство. А пока мы в большей степени сосредоточены на самом продукте: делаем пробные заказы электроники и корпусов на российских и китайских заводах, выстраиваем систему продаж… Мы прикладываем массу усилий, чтобы приблизить запуск TILT, и надеемся, что оправдаем ожидания будущих пользователей.