Новий рушій прискорює навчання роботів: вони працюють у 430 000 разів "швидше за реальність"

Навчання робототехніки з використанням ШІ значно зросло за допомогою нового інструменту під назвою "Genesis" — нової системи комп'ютерного моделювання з відкритим вихідним кодом. Про це пише Interesting Engineering.

Представлена великою групою дослідників із університетів і приватних компаній, система дає змогу роботам практикувати завдання в змодельованій реальності в 430 000 разів швидше, ніж це було раніше.

Genesis розроблено на чистому Python, водночас він у 10-80 разів швидший за наявні стеки з прискоренням на GPU, такі як Isaac Gym і MJX. Він забезпечує швидкість моделювання приблизно в 430 000 разів вищу, ніж у реальному часі, і займає всього 26 секунд для навчання політики руху робота, яку переносять у реальний світ на одному RTX4090.

Генеративний фреймворк націлений на автоматизацію генерації даних і множинних модальностей. Розроблена для робототехніки загального призначення, система здатна моделювати широкий спектр матеріалів і фізичних явищ. Вона являє собою легку, надшвидку, зручну платформу моделювання робототехніки, а також потужний і швидкий інструмент фотореалістичного рендерингу.

Метою платформи є інтеграція фізично точних і просторово узгоджених відео, руху і параметрів камери, руху персонажів — людей і тварин, роботизованої маніпуляції і політики пересування, повністю інтерактивних 3D-сцен, мовленнєвого аудіо, лицьової анімації та емоцій.

У великомасштабному моделюванні Genesis використовувала автоматичну гібернацію для прискорення моделювання сутностей, що перебувають у конвергентних і статичних станах. Ця функція перебуває на стадії тестування і її буде випущено у версії 0.1.1. Під час моделювання сцени маніпуляції Genesis працює зі швидкістю 43 мільйони кадрів на секунду, що в 430 000 разів швидше, ніж у реальному часі.

Дослідницька група також стверджує, що фізичний рушій Genesis оснащений згенерованим на основі VLM агентом, який використовує API, що надаються інфраструктурою моделювання, як інструменти для створення 4D динамічних світів, які потім можна використовувати як основне джерело даних для вилучення різних модальностей.

Нагадаємо, що нещодавно у США чоловік зазнав психологічного насильства від свого робота-пилососа. Той під час прибирання несподівано почав вигукувати расистські образи голосом свого власника. Згодом виявилося, що у США ще кілька роботів нахамили своїм власникам.