Вчені створили застосунок для керування роботами з гарнітури Apple Vision Pro (відео)

Вчені Массачусетського технологічного інституту розробили застосунок для гарнітури змішаної реальності Apple Vision Pro, який дозволяє користувачам керувати роботами лише за допомогою жестів голови та рук. Про це повідомив розробник програми, докторант Янгхьо Парк у соціальній мережі X (колишній Twitter).

Застосунок під назвою Tracking Streamer можна використовувати для віддаленого керування машинами в різних сценаріях — від жартів до навігації в зоні лиха та для інших небезпечних маніпуляцій у рятувальних або наукових цілях. Програма відстежує рухи людини, — зокрема те, як рухаються голова, зап’ястя та пальці — і передає ці дані через з’єднання Wi-Fi до робота, який знаходиться у тій самій мережі. Під’єднаний робот перетворює дані у відповідні рухи.

"Ця програма тепер офіційно в VisionOS App Store! Ви можете знайти Tracking Streamer в App Store і встановити програму, — повідомляють розробники.

Дослідники оприлюднили свою роботу в короткій статті, опублікованій на Github — сховищі проєктів з відкритим кодом. Система відстежує 26 точок на руках та зап’ястях, а також окремі точки на голові. Програма дозволяє зчитувати просторові дані, висоту та інші параметри.

Янгхьо Парк на відео демонструє систему в дії. Співавтор дослідження Гейб Марголіс, аспірант Массачусетського технологічного інституту, керує чотирилапим роботом за допомогою рук та рухів тіла. Марголіс жестами наказує роботу підійти до зачинених дверей, повернути ручку, взятися за неї та увійти. Також він жестом наказує роботу взяти пластикову кришку відра для сміття та кинути її у смітник. У якийсь момент він нахиляється, що змушує робота імітувати його рухи.

"Приємною особливістю Vision Pro є те, що вона відстежує все в глобальному кадрі: програма постійно локалізує пристрій, з якого запущено додаток. Це відкриває захопливі можливості для знімання людських рухів у більш масштабному середовищі", — зазначає Парк.

Apple випустила гарнітуру Vision Pro у лютому 2024 року. Сайт Live Sciense зазначає, що незадовго до запуску вчені опублікували роботу, у який досліджували, як гарнітури віртуальної реальності можна використовувати у повсякденному житті. зазвичай ці пристрої мають затримку, відсікають периферійний зір та викликають візуальні просторові спотворення.

"Ці пристрої можуть стати перспективним джерелом даних для навчання базової моделі робототехніки!" — підсумовує Парк

Парк та Марголіс припустили у своїй статті, що деякі користувачі можуть носити Apple Vision Pro весь час, як окуляри, і що тривала експлуатація дасть більше даних, які можна використовувати для навчання роботів, як люди рухаються.

З гарнітурою Apple Vision Pro варто поводитися обачно. Раніше повідомлялося, що прогулянки у гарнітурі віртуальної реальності приховують небезпеки, а зловмисники можуть почати використовувати це у власних цілях. Користувачі гарнітури Apple Vision Pro можуть зіткнутися з віртуальними перепонами, які перекривають поле зору та можуть несподівано налякати, бо раптово з'являються у неочікуваних місцях.