Как язык и рот открывает новый способ управления всеми электронными устройствами. История русского контроллера TIP

Однажды отец-ортопед и сын-инженер решили помочь другу семьи, который из-за страшной аварии не мог пользоваться своими конечностями. Из попытки помочь близкому родился Tip — революционный контроллер, которым нужно управлять с помощью рта и языка. Рассказываю, как Tip изменит жизнь не только инвалидов, но и всех геймеров.

Данная статья не является рекламной и нацелена лишь на помощь сообществу инвалидов во всём мире. Ни один человек или организация заранее не платили мне за освещение данного проекта.

Большое спасибо за помощь в написании данной статьи месьё Лебедь. Его можно считать полноценным соавтором этой статьи! Отдельно хочется сказать огромное спасибо за помощь в редактировании и исправлении статьи пользователю Architheuthis. Обязательно почитайте их невероятные лонги!

Также это великолепное превью сделала невероятный профессионал SilverMoonya!

Когда дело доходит до устройств для людей с ограниченными возможностями, первыми вспоминают компании Microsoft и PlayStation, с их гигантскими бюджетами и возможностями. Как и большинство вещей, связанных с доступностью, контроллеры этих компаний прошли долгий путь за последнее десятилетие.

Microsoft выпустила Xbox Adaptive Controller в 2018 году. Его отличный дизайн обусловлен высоким уровнем персональной настройки, ведь помимо кнопок на корпусе, есть 24 порта, которые позволяют пользователям подключать свои собственные геймпады и периферийные устройства, чтобы удовлетворить личные потребности игроков.

PlayStation же пошла от обратного и решила сконцентрировать в одном устройстве максимальное количество возможностей доступности. Стик и кнопки очень большие и удобно расположены на одном участке пространства — это хорошо подходит для людей с ограниченной ловкостью рук или для людей, использующих разные части тела.

PlayStation же пошла от обратного и решила сконцентрировать в одном устройстве максимальное количество возможностей доступности. Стик и кнопки очень большие и удобно расположены на одном участке пространства — это хорошо подходит для людей с ограниченной ловкостью рук или для людей, использующих разные части тела.

Об этом самобытном контроллере я рассказывал в отдельной статье.

Xbox Adaptive Controller и PlayStation Access Controller получили широкое признание в игровой индустрии и в сообществе инвалидов. Но являются ли они идеальными игровыми устройствами? Нет, ведь каждая инвалидность уникальна.

Что делать если у человека только одна рука? Можно использовать Switch Joy-Con Adapter или контроллер Xbox One имени Бена Хека — они позволяют компактно вместить все элементы управления в одной ладони.

Даже только с помощью ног можно наловчиться проходить игры. Например, используя обычную клавиатуру и мышку, или же настроив под себя Xbox Adaptive Controller и PlayStation Access Controller.

Но что если человек не сможет использовать свои конечности вообще? Сдаться и отказаться от игр? Точно нет! Всего лишь придётся поработать ртом.

Весной 1986 года, Nintendo выпустила свой первый адаптивный контроллер. Он назывался Hands Free, был совместим с NES, и помогал играть без помощи рук или ног. Звучит безумно? Да, но это была гениальная идея.

Игрок с помощью рта, языка и подбородка перемещал специальную «палку», тем самым управляя крестовиной, а кнопки A и B нажимал с помощью «вдувания» и «выдувания» через маленькую трубку.
К сожалению, вместе с NES умер и этот геймпад. У новой консоли SNES было уже 4 дополнительные кнопки, из-за чего пришлось бы фундаментально перерабатывать контроллер Hands Free с его управлением с помощью «вдувания» и «выдувания». Похоже, что Nintendo просто не справилась с этой задачей или не захотела попробовать.

Но там, где одни сдались, наши российские разработчики пошли вперёд и разработали Tip. Это новейшее изобретение в сфере контроллеров доступности, разработанное, чтобы люди с тяжелыми нарушениями и с тетраплегией (потеря возможности функционирования рук и ног) могли управлять компьютерами и игровыми системами.

Идея создания устройства Tip Accessibility Device уходит корнями в очень личную историю основателя данного стартапа – Тараса Косик

Всё началось, как это очень часто бывает в сфере доступности, с желания помочь близкому человеку. Друг семьи Тараса, Юрий, в 2001 году получил тяжелую травму шейного отдела позвоночника. Это лишило Юрия возможности пользоваться своими конечностями.

По сути он стал отрезан от всем привычной жизни. Он не мог самостоятельно есть, пить или двигаться. Понимая как ему трудно, Тарас Косик решил сперва обеспечить друга хотя бы независимым доступом к ПК, чтобы ему не приходилось быть зависимым от окружающих людей. Но как Юре взаимодействовать с компьютером, если он не контролирует свои руки и ноги?

Решение должно было быть комплексным и креативным. Тут очень помог отец Тараса, Леонид Косик, который работал ортопедом-травматологом. Почти вся семья, движимая состраданием и решимостью, приступила к созданию нового устройства

Но для начала они создали удобное место для Юры. Это кресло, спроектированное как рабочая станция, было эргономичным и с регулируемыми функциями. Это позволило Юрию поддерживать удобную позу своего тела, минимизируя риск пролежней и других осложнений, связанных с длительной неподвижностью.

Однако кресло было лишь малой частью проекта. Чтобы по настоящему помочь Юрию, нужен был именно способ управления компьютером. Это привело к созданию первого прототипа устройства, управляемого языком.

На рынке адаптивных устройств для людей с тетраплегией сейчас есть всего несколько вариантов для использования.Mouth Stick — просто палочка для рта и до сих пор это самый распространенный способ ввода у тетраплегиков. Это дёшево, но очень неудобно. Человек постоянно должен напрягать шею и рот, невозможно разговаривать во время использования и есть постоянный риск, что стик может упасть.

Голосовое управление — самый простой и одновременно сложный способ работы с компьютером. Оно неплохо подходит для лазанья по интернету, если вам позволяет речевой аппарат, но совершенно не приспособлен для игр или любого творчества по типу рисования.

Есть ещё наследник Hands Free — это Quadstick. Очень неплохое устройство для гейминга, по сути джойстик с четырьмя датчиками давления, которые реагируют на действия ртом, с переключателями sip and puff (Sip-and-puff или sip 'n' puff — это технология, используемая для отправки сигналов на устройство с использованием давления воздуха путем «потягивания» или «пыхтения» через соломинку, трубку или «палочку») и датчиком положения губ. Из минусов опять же сильно устает шея из-за высокой громоздкости и из-за необходимости закреплять устройство на столе.

Все остальные варианты, включая биочипы, управления при помощи движения глаз и выражения лица, находятся на очень раннем этапе развития или очень сложны для использования. Например, программы, которые распознают движения головы и жесты лица с помощью обычной веб-камеры, не зависят от дорогостоящего оборудования для отслеживания головы, но качество и быстрота понимания вводных данных низкая.

А биочипы (BCI или нейроинтерфейс), как Neuralink, имеют огромный потенциал, но только в будущем.

Пока что имплантация чипа — это сложная операция на мозг и огромный риск для человека. К тому же непонятно как обеспечить надежную работу импланта в течение многих лет без необходимости замены. Сложно сказать как имплант поведет себя через год, не то что через пять лет.

Недавно Ноланд Арбо стал первым пациентом, которому был имплантирован чип, созданный стартапом Илона Маска Neuralink. И спустя несколько месяцев, он начал терять контроль над курсором. Компания Neuralink обнаружила, что некоторые нити, вставленные в его голову, со временем начали втягиваться, возможно, из-за попадания воздуха в череп после операции.

Поэтому Тарасу Косику нужно было найти способ создать уникальное устройство, которое было бы одновременно достаточно чувствительным, чтобы обнаруживать едва заметные движения, чтобы не уставал человек, достаточно прочным, чтобы выдерживать ежедневное использование, и чтобы не понадобилось хирургическое вмешательство. Кроме того, устройство должно было быть удобным, гигиеничным и легким в использовании. Голос, мимика и Sip & Puff не подходят. И именно на язык пал выбор Тараса Косика.

Разработка Tip была сложной. При создании даже использовали существующие технологии нестандартными способами. Например, модифицировали TrackPoint от компьютера IBM для создания импровизированного контроллера языка. TrackPoint — это своего рода небольшой джойстик в центре клавиатуры, используемый в качестве курсора мышки.

Первоначально семья Косика хотела создать именно персональные устройства. Это были уникальные пластинки, закрепленные на верхней челюсти и сделанные под одного пользователя.

Хотя это подтвердило концепцию, всё это было очень далеко до финального продукта. За год они создали около 5-6 совершенно разных прототипов, но позже от этого отказались.

Ведь уже тогда Тарасу было понятно насколько важным и коммерчески успешным в теории может стать Tip. Поэтому, чтобы помочь максимальному количеству людей, нужно было искать универсальную форму. И спустя некоторое время им удалось добиться успеха и сделать “прото Tip” для Юрия. И всё это в далёком 2004 году! Пускай устройство было гигантским, но самое главное, что концепция подтвердилась. Управлять языком было возможно и более того, довольно комфортно, для почти любых пользователей.

Стало очевидно, что Tip нужны были инвестиции для прохождения сертификаций и налаживания дистрибуции, чтобы массово поставлять устройства. Проект Тараса уже прошёл ряд успешных презентаций, в том числе и на федеральном телевидении. А также получил награды, включая международные, например награду «Гуманитарный проект Года» в UC Berkeley, Калифорния. Разработчики даже смогли представить свои идеи Биллу Гейтсу!

Но несмотря на свой огромный потенциал для помощи тысячам людей с тетраплегией, Tip столкнулось со значительными финансовыми и рыночными проблемами. Первоначальная разработка финансировалась из собственных средств Косика, а привлечение венчурного капитала было затруднено из-за предполагаемого ограниченного размера рынка. В начале нулевых мало кто видел в инвалидах платёжеспособных покупателей. А большинство фондов по обеспечению оборудованием по доступности даже в Европе и США были в зачаточном состоянии.

Технология опередила своё время. Проект пришлось оставить на долгие годы, несмотря на то, что путь от идеи до прототипа занял менее 3 лет даже без сторонних инвестиций.

Но сейчас всё изменилось, благодаря возрождению интереса к нейрокомпьютерным интерфейсам и большому пиару Neuralink. Люди и компании стали искать альтернативные варианты взаимодействия с компьютерами. Всё это очень подогрело интерес медиа и общества к проблемам тетраплегиков, сделало возможным попытаться опять прийти на рынок доступного оборудования.

Во многом благодаря техническому прогрессу, удалось добиться ещё большей компактности устройства и более плавной передачи сигнала. К тому же, быстрое и активное развитие AI сильно продвинуло спектр возможностей. Tip — это теперь контроллер с поддержкой искусственного интеллекта.

Всё это предоставило идеальные условия для возрождения проекта Tip Accessibility Device, который дошёл до этапа массового тестирования всего лишь за пару лет.

Если совсем просто, то устройство Tip позволяет пользователям управлять курсором, щёлкать, нажимать и выполнять команды, двигая языком.

Tip состоит из гарнитуры, которая крепится на ухо, и орального модуля на основе запатентованной технологии. Тонкий и легкий датчик крепится к верхнему небу, при этом не мешая пить или разговаривать. На гибкую печатную плату наносится специальный рисунок из 4-х контактных групп. При прикосновении языка специальная резистивная мембрана с графитовым напылением замыкает группы контактов, тем самым определяя направление движения курсора и скорость его ускорения. Все вместе они становятся сенсором — своего рода тачпад внутри рта.

Обычно есть несколько проблем у данных типов устройств. Язык не имеет “стабильной формы” и к тому же у разных людей совершенно разные особенности ротовой полости. Ещё язык быстро устает, поэтому важно, чтобы сенсор был очень чувствительным, но при этом защищал от ложных срабатываний.

И Tip решает эти фундаментальные проблемы. ИИ помогает в первоначальной антропометрической адаптации для каждого конкретного пользователя, гарантируя, что устройство будет удобно и точно функционировать. Программное обеспечение также играет важную роль в понимании различных жестов языка: оно берёт на себя роль переводчика, позволяя пользователям быстро и точно выполнять все команды.

Ещё один большой плюс Tip это неинвазивное и гигиеническое подключение. Это вам не хирургические операции, как Neuralink. Достаточно просто вставить Tip в рот, как капу, и не нужно ходить к стоматологу.

Каждый модуль рассчитан на работу в течение 200 часов (но не более 30 дней).

К тому же эти модули можно легко отсоединять и заменять, подобно сменным зубным щёткам, а упаковка оснащена встроенной камерой санитарной обработки и УФ-лампой. Разработчики просят 250 евро за стартовый набор на год и далее 200 евро в год на сменные ротовые модули.

Удивительно, но если задуматься, то Tip — это не только вспомогательное устройство для игроков с ограниченными возможностями.

Например, Tip может стать невероятным устройством для прицеливания, ведь язык – идеальный выбор для любых соревновательных игр.

Смотрите, сигнал от мозга до кончика указательного пальца идет примерно 38-80 мс (время отклика), а сигнал же от мозга к кончику языка идет 31-60 мс, что на 23% быстрее! Tip, в отличие от любых Sip & Puff устройств, спокойно подключается через Bluetooth, при этом отсутствуют задержки при перемещении курсора или нажатиях.

Высокая скорость отклика сделает вас настоящим кибератлетом. Останется только научиться работать языком, и вот вы уже можете мгновенно реагировать на события в игре и выполнять сложные маневры с точностью и быстротой, которые недоступны при использовании традиционных устройств ввода.

Но в каждой бочке мёда есть ложка дёгтя. Сам по себе Tip не будет полностью эффективным, если не будет поддерживать большое количество кнопок. К большому сожалению, на данном этапе Tip по сути лишь замена мышки. Можно успешно играть во множество игр, где не требуется одновременного нажатия нескольких кнопок, как в Civilization VI и Baldur’s Gate 3.

Поэтому в Fortnite поиграть одному пока что не получится. Но можно позвать друга и подключить Shared control — это возможность поделить управление между двумя людьми, своего рода Co-pilot от Microsoft. Эта функция позволяет «распознавать два устройства как один». Это отличная опция доступности, например, вы сможете управлять камерой и стрельбой в шутерах, а ваш напарник будет отвечать за передвижение персонажей.

Tip это устройство, которое ещё только развивается, несмотря на свою долгую историю. Одно из главных направлений для дальнейшего развития – это наращивание функциональности.

Так как ротовой модуль легко сменяется, можно добавлять новые датчики к уже существующему устройству. Есть возможность считывать смыкания левой-правой части челюсти, напряжение губ, клацанья зубами, перемещение языка в ротовой полости без контакта с сенсорной панелью и т.д.

В теории каждый компонент можно настроить для выполнения различных функций на компьютере или игровой консоли. Самое сложное не считать или интерпретировать данные, а сделать пользовательское взаимодействие максимально нативным и удобным.

Много лет идут споры между адептами клаво-мыши и геймпадов. С одной стороны, мы понимаем насколько быстрое и точное прицеливание с мыши, но только с геймпадом можно так стильно и вальяжно ходить чуточку отклоняя стик. Но что если найти третий вариант? Tip это очень перспективный вариант для всех людей, а не только для инвалидов. Точность, скорость и общее удобство использования делают его отличным дополнительным устройством.

И при этом для людей с ограниченными возможностями Tip это буквально окно в мир игр и не только. Он подходит для работы в интернете, для написания текстов и творческой деятельности и даже для управления вспомогательными устройствами, включая инвалидные коляски.

Создание этого контроллера маленькой командой говорит о многом. Возможно именно стремление Тараса Косика обеспечить поддержку игроков с ограниченными возможностями сможет толкнуть всю игровую индустрию к новым вариантам управления. Это путь от чистого желания помочь другу, до технологии, способной помочь огромному количеству людей. Это путь Tip! И чтобы дойти до конца нужны мы!

Разработчики проводят открытое тестирование Tip, на которое можно записаться прямо сейчас! Программа тестирования стартует в августе 2024 года и продлится до конца года. Если вы хотите принять участие в тестировании Tip Device, заполните форму здесь. Участие абсолютно бесплатное и возможно из любой страны.

Правда, доставить бесплатно можно только по территории США, Канады и Сербии. Доставка же демо-комплекта в другие страны осуществляется за счёт тестировщика.

#доступность #лонгрид