Эффект из Vision Pro повторили за выходные с обычной веб-камерой

Разработчик собрал систему, которая отслеживает движения рук и позволяет в реальном времени взаимодействовать с цифровой тканью. Для запуска не нужны шлем, перчатки или специальные датчики: достаточно ноутбука, веб-камеры и TouchDesigner.

Идея появилась после презентации Apple Vision Pro. Камера распознаёт по 21 ключевой точке на каждой руке: кончики пальцев, суставы и костяшки. Из этих координат создаётся трёхмерный скелет, который управляет виртуальным шёлком.

Ткань реагирует на движения рук, складывается, мнётся и провисает. По описанию проекта, система работает со скоростью до 60 кадров в секунду.

Подобный прототип можно собрать с помощью MediaPipe для TouchDesigner. Готовый компонент получает изображение с веб-камеры, распознаёт точки рук и передаёт их в TouchDesigner. Дальше эти координаты можно связать с частицами, тканью, светом или любым другим цифровым объектом.

Сравнивать такой эксперимент напрямую с Vision Pro за $3500 всё же нечестно. Шлем Apple одновременно отслеживает глаза и руки, строит карту помещения, выводит стереоскопическое изображение и выполняет множество других задач.

Но проект хорошо показывает, насколько доступным стало компьютерное зрение. Для создания интерактивной инсталляции иногда уже не нужна лаборатория. Достаточно веб-камеры, свободных выходных и keynote, после которого почему-то захотелось не покупать устройство, а собрать своё.