🧬 Open-TeleVision: Teleoperation with Immersive Active Visual Feedback
Когда-то у #OpenAI была команда по робототехнике, но потом её закрыли. Со слов Ильи Суцкевера, нужно было очень сильно вкладываться ресурсами и перепрофилироваться, и основной проблемой были данные (с реальных устройств или из симуляции). Даже мини-флот в 100 роботов (роборук, робоног или цельных гуманоидов) — уже огромный объём работы, от налаживания конвейера выпуска до обслуживания, но при этом со 100 роботов данных много не соберёшь. «There was no path to data from robotics».
Проблема остаётся актуальной и по сегодняшний день: данные генерируют люди — надевают VR-гарнитуры, и начинают как бы управлять роботами от первого лица. Такое называется «телеоперация» или «телеуправление». Её интуитивность и простота имеют решающее значение для обеспечения высококачественных, разнообразных данных, а также влияют на масштабируемость процесса. Чем выше планка входа — тем больше нужно потеть. А одна из самых главных проблем — задержка между движениями оператора и робота (пинг), над уменьшением которой бьются все команды в мире.
У #Nvidia есть своя лаборатория, которая занимается роботами, и вот в начале июля они выпустили систему OpenTeleVision в опенсурс для того, чтобы разные команды могли ей пользоваться. Более того, они даже опубликовали чертежи для 3д-принтера, чтобы можно было распечатать «голову» робота (и указали, какие 2 камеры нужно купить и как их прикрепить).
Фишка же в том, что как девайс предлагается использовать Apple #VisionPro 🤷♂