Street Fighter с управлением жестами на базе CV и LSTM

Разработчик сделал Street Fighter с управлением жестами с использованием CV (компьютер вижн) и LSTM (модель, помогающая обрабатывать и предсказывать позы).

Удары, пинки и движение отслеживаются в реальном времени.

Про процесс, если вдруг интересно:

MediaPipe Pose отслеживает 33 ключевых точки → фильтрует до 21 для стабильности.
Пользовательский набор данных, собранный с собственных записанных ударов автора, кулаками и пинками.
Модель LSTM, обученная классифицировать окна времени скользящего движения ударом / пинком / холостого хода.
Прогноз → конвейер InputDevice: выходы моделей преобразуются в направленные + кнопочные входы внутри игрового движка.

Смотрю на это и вспоминаю сколько калорий потратил в Beat Saber, Climb и Space Pirates в VR.

Сейчас вот очки лежат на полке, куча классных игр внутри, а все как-то не дойдут руки (и ноги, это же виар) 🚬

Подписывайтесь на Telegram Точки над ИИ.