Трибуна Денис Шилов
2 057

Reface — управляй миром движением глаз

Моргнул три раза — и музыка остановилась.

В закладки
Аудио

Идея

Меня всегда интересовал вопрос: кто пользуется функцией управления глазами в современных смартфонах? Постоянно смотреть в камеру — это же очень неудобно.

Посмотрите для затравочки видео примерно на полминуты, как проект решает эту проблему:

Включаю и выключаю музыку глазами

Идея проста: вы моргаете или делаете что-то еще лицом — и гаджет определенным образом реагирует на это. Причем без айтрекинга.

Айтрекинг — это когда для положения глаз используется камера. А в проекте она не используется.

Продукт

На сегодня готово приложение-прототип. Нейросеть внутри распознает 7 действий:

  • Моргание
  • Сильное моргание
  • Посмотрел влево
  • Посмотрел вправо
  • Посмотрел вверх
  • Посмотрел вниз
  • Помотал головой вправо-влево

Планируется добавить еще несколько: поднимание бровей, например.

Конечное устройство будет иметь размер спортивных наушников. Будет располагаться на двух ушах. Сейчас все работает с девайсом другой фирмы: muse.

Ключевое отличие — размер. У muse шлем рассчитан на 4 точки головы, и из-за этого перекрывает весь лоб при ношении. Я же использую всего две.

Мало того, что ходить в девайсе от muse долго жутко неудобно, так еще и большая часть помех сигнала происходит из-за такого крепления к голове.

Muse headband Muse
Спортивные наушники Jabra

Как это работает

На электроэнцефалограмме вашего мозга отражаются сделанные вами действия: моргания, движения рукой, финты ушами и тдтп.

Устройство на голове передает электроэнцефалограмму в приложение на смартфоне. Нейросеть внутри приложения определяет, в какой момент вы моргнули, мотнули головой или поскрипели зубами. После этого она запускает заданное пользователем действие.

В приложении пользователь может указать триггеры. Минимальная длина, чтобы избежать лишнего риска — три действия. Максимальная длина не ограничена. Например: "моргнул двумя, поднял глаза вверх, поднял брови вверх — включился следующий трек".

В этих трех действиях можно заложить 343 комбинаций. В четырех уже 2401. То есть такого набора действий точно хватит.

Области применения

Управлять телефоном (выключать музыку, отклонять звонок и тд)

Отклоняю звонок, моргнув два раза

Напоминать о регулярности лечения

Есть определенная частота моргания, которая считается нормой. 25 раз в минуту. Моргаете чаще — ваши глаза устали, вам нужно отвлечься от ноутбука.

Можно с помощью Reface подсчитывать моргания и выводить напоминания. Например, "закапайте капли".

Считаю моргания.

Управлять компьютером

Можно добавить ассоциации шорткатов (скажем, Ctrl-C) к движениям глазами. То есть вы два раза моргнули - и у вас скопировался текст.

Управлять умными очками

Проматывать список в умных очках рукой у виска — не очень удобно. Гораздо удобней было бы управлять глазами. Как вариант — встроить само устройство в оправу очков.

Перелистывать слайды презентаций

Три раза моргнули — и у вас перелистнулся слайд. Эффектно, так еще и штуку для переключения слайдов покупать не придется.

Интеграция с ITTT

ITTT, согласно Википедии, "является бесплатным веб-сервисом для создания цепочек простых условных операторов, называемых апплетами". Там можно создавать цепочки а-ля "наступило 8 вечера — опубликуйте фото в фейсбуке". Интеграция есть уже сейчас.

То есть с помощью этой интеграции можно выключить свет в ванной, моргнув три раза. Если у вас умный дом, конечно.

Перелистывать страницы книг

Некоторых отвлекает от сюжета, когда нужно перелистывать страницы. Теперь их можно перелистывать глазами, не используя руки.

Перелистываю страницы

Планы развития

Главный план на сегодня — собрать базу емейлов (про это в разделе "как можно помочь") и ответов на соцопрос.

Потом, через некоторое время — краудфаундинг, либо раунд инвестиций. Либо и то, и другое.

Что касается разработки, два главных момента - это повышение точности работы (то есть расширение датасета для обучения нейросети) и создание прототипа девайса. Если с первым я справлюсь в одиночку, то для последнего придется привлекать человека со стороны.

Как можно помочь

Перейти на сайт и поучаствовать в соцопросе

Если вас заинтересовал проект, пожалуйста, введите на сайте проекта свой емейл. В ответ вам придет ссылка на соцопрос в гугл формах.

Пройдите его, пожалуйста, очень поможете мне лучше узнать ЦА проекта.

Собственно, сайт: https://reface.tech

Подписаться на соцсети

Вконтакте: https://vk.com/reface_tech

Telegram: https://t.me/reface_tech

Написать мне

Если у вас есть какие-то предложения, замечания или вопросы, пишите мне в ВКонтакте или Телеграме.

Вконтакте: vk.com/mixeden

Telegram: t.me/mixedenn

#стартапы #стартап #mvp #технологии_будущего #технологии #нейросети #нейронные_сети #нейроинтерфейсы #прототипы #здоровье

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Денис Шилов", "author_type": "self", "tags": ["\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438_\u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e","\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438","\u0441\u0442\u0430\u0440\u0442\u0430\u043f\u044b","\u0441\u0442\u0430\u0440\u0442\u0430\u043f","\u043f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u044b","\u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438","\u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435_\u0441\u0435\u0442\u0438","\u043d\u0435\u0439\u0440\u043e\u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441\u044b","\u0437\u0434\u043e\u0440\u043e\u0432\u044c\u0435","mvp"], "comments": 27, "likes": 34, "favorites": 16, "is_advertisement": false, "subsite_label": "tribuna", "id": 66577, "is_wide": false, "is_ugc": true, "date": "Thu, 09 May 2019 20:55:00 +0300" }
SMS-чат для клиентов
{ "id": 66577, "author_id": 70326, "diff_limit": 1000, "urls": {"diff":"\/comments\/66577\/get","add":"\/comments\/66577\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/66577"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199116, "last_count_and_date": null }

27 комментариев 27 комм.

Популярные

По порядку

Написать комментарий...
14

Для людей с ограниченными возможностями это просто отличная тема! Чем больше будет подобных дивайсов, тем это направление будет быстрее развиваться.

Но. Для всех остальных куда лучше просто нажать кнопочку.

Ответить
–3

Для людей которые не умеют ездить верхом это просто отличная тема! Но. Для всех остальных куда лучше просто поехать на лошади

Ответить
0

Не не умеют,а не могут. Большая разница.

Ответить
5

Мы так часто моргаем и качаем головой, что мне показалось несколько странным привязывать к таким действиям управление чем-либо.
Здоровому человеку куда проще использовать классические контроллеры, эргономика которых задумывалась как раз для выполнения подобных действий, чем постоянно контролировать естественные привычки типа произвольного моргания.
Для людей с ограниченными возможностями - может быть чем-то поможет, но не уверен, что на данный момент не существует аналогичных и более точных устройств.

Ответить
3

<Например: "моргнул двумя, поднял глаза вверх, поднял брови вверх — включился следующий трек".

←, →, ↓, →, J - Фаталити от SUB-ZERO.
Олды поймут.

Ответить
1

Для людей с ограниченными возможностями - существуют, но стоят дорого. А тот же muse стоит 20 тысяч.

Что касается морганий:
1. Специально для того, чтобы предотвратить ложные вызовы, надо сделать серию минимум из трех.
2. Движения учитываются, только если разница между временем их выполнения - секунда. Можно это дело изменить: поставить полсекунды. Это еще одна штука, чтобы препятствовать случайному вызову.
3. Существуют ситуации, когда вам будет неудобно доставать телефон из кармана. Например, в метро.
4. Использование устройства не ограничивается только управлением чем-то. В статье написан юзкейс: следить за здоровьем глаз. Можно и не только за здоровьем глаз: я это не написал в статье (потому что точность такая себе пока что), но я могу считать количество глотков воды, например. Полезно людям на диете. Могу считать количество улыбок - полезно психотерапевту как дополнительная инфа о пациенте.

Ответить
1

А что если апрувить действие «подмигиванием» одного глаза?) куда более редкое действие чем моргание обоими)

Ответить
1

Да, идея хорошая. Но решать, что выбирать из предложенных действий, будет пользователь. То есть можно будет выбрать и моргание двумя, и моргание одним: что-то одно из этого я оставлять не буду.

Про добавление других действий я в статье написал: 'Планируется добавить еще несколько: поднимание бровей, например'.

А вообще идея хорошая, спасибо :)

Ответить
0

Насколько у вас задействованы тут нейросети ?

Ответить
0

Классификация движений происходит нейросетью.

Ответить
0

В статье просто пример. На деле конечно же подобные действия будут скорей всего привязаны к двойному морганию.

Ответить
3

Это п*здец как круто! Уважение к таким парням! Всех успехов!
Буду рад оказать помощь любого вида, контакты: vyacheslav@edway.space
telegram: kalaushin

Ответить
2

Круто.
Как проект массового пользования - не прокатит. Подумайте хорошо над этим.
У такой штуки свои ниши , идите туда.
Для людей с ограничениями это раз.
Для научных исследований это два. Если устройство не мешает сильно при ношение, можно собирать информацию для целого ряда исследований. Рынок тоже хороший, я там кручусь.

Ответить
0

я там кручусь

А можно с вами поговорить об этом?

Ответить
2

Годнота!респектище и всех успехов!рвись в долину чувак,или в европу,у проекта при везении большое будущее.

Ответить
0

Если нормальный человек будет так делать, то это против эволюции.
Подойждем нейроконтроллеры.

Ответить
3

Нейроконтроллеры вам надо будет инвазивно в мозг втемяшивать, вероятно. Иначе малейшее дребезжание вашей головы - и нейросеть вместо нужного слова напишет совершенно другое. Отфильтровать это никак нельзя.

При этом у меня такой проблемы нет: на ЭЭГ моргания и прочая мышечная активность отображаются весьма конкретно.

Ответить
1

респект за работу

Ответить
1

А вы не думали в сторону еще большего выделения паттернов? Волнение, воздействии никотина, страх, нравится/не нравится. Да, там не только глаза, но и возможности более богатые - от корректировки поведенческой модели до приложений знакомств (лайк, автоматические эмодзи и т.п.). Успехов! Отличная разработка!

Ответить
0

Не думал. Хорошая идея.

Воздействие никотина я навряд ли смогу диагностировать. Я попробую поисследовать этот вопрос, но, как мне кажется, это будет очень сложно и процент ошибок будет велик.

А вот напряжение / расслабление - это достаточно легко делается. Я как-то не подумал об этом в контексте здоровья, большое спасибо за идею. Нравится / не нравится - тоже надо поисследовать вопрос, но я сейчас думаю, что это чуть сложнее, чем предыдущий пункт.

Еще раз большое спасибо!

Ответить
0

Пожалуйста! Никотина воздействие - спазмы сосудов головного мозга и других. А это изменение многих параметров как давление, возможно гормональные(?) изменения и т.д. А так - у вас почти готовый инструмент для психологов, психотерапевтов, для самодиагностики и коррекции. Пациент рассказывает терапевту будничную проблему и тут срабатывает датчик "организм реагирует на событие подсознанием".

Ответить
0

Тут вопрос в другом (касательно никотина). Спазмы сосудов не являются характерной штукой только для никотина: предположим, у чела заболела голова, а происходит это как раз чаще всего из-за спазма сосудов. В итоге штука сработает ложно.

То есть если это и делать - то в связке с чем-то еще.

Про гормоны - да, идея нормальная, но проблема в том, что гормональная система, в отличие от нервной - штука очень медленная. Кроме того, непонятно, а как эти гормоны неинвазивно доставать.

У меня сейчас предположение, что относительно без ошибок можно определять характер принятого вещества. Принял стимулятор, например.

Ответить
0

Изучал то, как писал Стивин Хопкинс?

Ответить
0

Ну да, он движением щеки набирал буковки. Если применительно к гаджету - применимо, но скорость набора будет медленная. Разве что юзать с автонабором.

Ответить
1

Я эту статью отправил инвесторам. Удачи

Ответить
0

Есть чувак, который занимается всякими разработками и строит типа силиконовой долины ) Может тебе ему написать стоит? Вдруг у вас что-то стоящее получится. Было бы круто. Приложу видео про него.

Ответить
0

Чувак это супер тема для всех. Особенно если подключить обучение под человека. Чтобы система в будущем определяла обычное моргание и моргание управление без сильного зажмуривания. Подключаю обычным людям и представляю через пару лет на улицах переключение во время бега

Ответить
0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Приложение-плацебо скачали
больше миллиона раз
Подписаться на push-уведомления
{ "page_type": "default" }