Ученые создали приложение для управления роботами с гарнитуры Apple Vision Pro (видео)

Ученые Массачусетского технологического института разработали приложение для гарнитуры смешанной реальности Apple Vision Pro, которое позволяет пользователям управлять роботами только с помощью жестов головы и рук. Об этом сообщил разработчик приложения, докторант Янгхьо Парк в социальной сети X (бывший Twitter).

Приложение под названием Tracking Streamer можно использовать для удаленного управления машинами в различных сценариях — от шуток до навигации в зоне бедствия и для других опасных манипуляций в спасательных или научных целях. Программа отслеживает движения человека, — в частности то, как двигаются голова, запястья и пальцы — и передает эти данные через соединение Wi-Fi к роботу, который находится в той же сети. Подключенный робот превращает данные в соответствующие движения.

"Это приложение теперь официально в VisionOS App Store! Вы можете найти Tracking Streamer в App Store и установить программу, — сообщают разработчики.

Исследователи обнародовали свою работу в короткой статье, опубликованной на Github — хранилище проектов с открытым кодом. Система отслеживает 26 точек на руках и запястьях, а также отдельные точки на голове. Программа позволяет считывать пространственные данные, высоту и другие параметры.

Янгхьо Парк на видео демонстрирует систему в действии. Соавтор исследования Гейб Марголис, аспирант Массачусетского технологического института, управляет четвероногим роботом с помощью рук и движений тела. Марголис жестами приказывает роботу подойти к закрытой двери, повернуть ручку, взяться за нее и войти. Также он жестом приказывает роботу взять пластиковую крышку мусорного ведра и бросить ее в урну. В какой-то момент он наклоняется, что заставляет робота имитировать его движения.

"Приятной особенностью Vision Pro является то, что она отслеживает все в глобальном кадре: программа постоянно локализует устройство, с которого запущено приложение. Это открывает захватывающие возможности для съемки человеческих движений в более масштабной среде", — отмечает Парк.

Apple выпустила гарнитуру Vision Pro в феврале 2024 года. Сайт Live Sciense отмечает, что незадолго до запуска ученые опубликовали работу, в которой исследовали, как гарнитуры виртуальной реальности можно использовать в повседневной жизни. обычно эти устройства имеют задержку, отсекают периферийное зрение и вызывают визуальные пространственные искажения.

"Эти устройства могут стать перспективным источником данных для обучения базовой модели робототехники!" — заключает Парк

Парк и Марголис предположили в своей статье, что некоторые пользователи могут носить Apple Vision Pro все время, как очки, и что длительная эксплуатация даст больше данных, которые можно использовать для обучения роботов, как люди двигаются.

С гарнитурой Apple Vision Pro стоит обращаться осмотрительно. Ранее сообщалось, что прогулки в гарнитуре виртуальной реальности скрывают опасности, а злоумышленники могут начать использовать это в собственных целях. Пользователи гарнитуры Apple Vision Pro могут столкнуться с виртуальными преградами, которые перекрывают поле зрения и могут неожиданно напугать, потому что внезапно появляются в неожиданных местах.