В современном мире технологии развиваются стремительными темпами. Что вчера казалось невозможным, сегодня уже стало обыденность. Кто-то использует эти технологии для увеличения своей прибыли, другие же пытаются приспособить их для людей, которые по каким-либо причинам лишены частей тела, зрения, слуха или голоса. Так, например, появились слуховые аппараты, биопротезы и бионические глаза. Мы же затронем тех, кто не может разговаривать привычным для нас способом, и использует для этого язык жестов.
Для работы с распознаванием языка жестов используют нейронные сети, а если быть точнее одну из их разновидностей. Долгая краткосрочная память (Long short-term memory; LSTM) – разновидность особой архитектуры рекуррентных нейронной сети, способная к обучению на долговременную зависимость.
LSTM были специально разработаны для задач, где необходима долговременная зависимость, отсутствующая у RNN сетей. Запомнить информацию на долгий период времени – это то, для чего они были созданы.
Схематически рассмотрим принцип работы и различия RNN и LSTM:
Структура рекуррентной нейронной сети похожа на цепочку повторяющихся друг за другом модулей нейронной сети. Структура такого одного модуля в RNN совсем проста, например, он может состоять только из одного слоя с функцией активации tanh (гиперболический тангенс).
Структура LSTM, как и RNN, также напоминает цепочку, но внутренняя наполненность модуля выглядит иначе. Они содержат целых четыре слоя вместо одного, и они взаимодействуют между собой особенным образом.
Реализацию LSTM можно рассмотреть на примере библиотеки SignLanguageRecognition(https://github.com/JanBinkowski/SignLanguageRecognition), релиз которой состоялся 15 ноября 2021 года, и в настоящий момент она активно разрабатывается.
Библиотека базируется на модели, построенной на архитектуре рекуррентной нейронной сети, состоящей из 6 слоев:
— 3 слоя LSTM;
— 3 полносвязных слоя.
Сама модель выглядит следующим образом:
Принцип построения моделей нейронных сетей для Распознавания языка жестов (Sign Language Recognition) в целом одинаковый, сначала идут слои LSTM, а затем полносвязные слои (Dense).
В данной библиотеки реализована технология точного отслеживания положения рук и пальцев. Программа определяет 21 ключевую точку руки в 3D пространстве (высоту, глубину и длину) и на основании этого классифицирует жесты, которые показывает рука.
Подход реализован с помощью MediaPipe - кроссплатформенным фреймворком с открытым кодом для построения пайплайнов обработки данных (видео, аудио, временные ряды).
На данный момент в библиотеки реализовано 3 жеста: буквы a, b, c.
Чтобы запустить пакет SignLanguageRecognition, его необходимо установить локально с помощью pip:
Для запуска пакета используем код:
Этот код откроет новое окно для работы с библиотекой, как указано на скриншотах выше.
Исходный код открыт, что позволяет обучать модель любой вариации языка жестов. Аналогичным образом работают системы Sign—to—Speech (https://github.com/ml-collective/sign-to-speech-for-sign-language-understanding) и Action Detection (https://github.com/nicknochnack/ActionDetectionforSignLanguage). Последняя позволяет довольно быстро обучить модель распознаванию произвольных жестов, в том числе не статичных, что выводит на новый уровень общение между людьми, а также между человеком и машиной.