Нова нейромережа створює 3D-моделі людей за допомогою камери смартфона: як це виглядає

Фахівці з Університету Корнелла розробили штучний інтелект під назвою NeuMan, який створює тривимірну модель людини за допомогою камери iPhone. Вони розмістили свої напрацювання з відкритим кодом на ресурсі GitHub.

Дослідники зайнялися проблемою фотореалістичного рендерингу, який займає багато часу та вимагає від машини високої продуктивності. Вони створили нейромережу, якій достатньо надати відео, зняте на камеру смартфона (команда використовувала iPhone). Готові моделі можна використовувати для створення сцен у роликах або доповненої реальності, надаючи їм різні пози та зовнішній вигляд.

За словами дослідників, вони навчили дві моделі ШІ: одна займається створенням моделі, а інша — створенням сцени. Для навчання NeuMan використовували методи оцінки грубої геометрії — приблизна оцінка дозволяє створити деформувальне поле із простору спостереження в канонічний простір, і результат рендерингу не залежить від початкової пози прообразу.

Айтішники продемонстрували результати в декількох роликах. Вони залишили оригінальне тло, але змусили тривимірні моделі виконувати різні дії, яких не робили актори, наприклад, перестрибувати перешкоди, робити колесо, перекидатися, танцювати. Люди в роликах не ідеальні, можна помітити "замилені" деталі, проте перші роботи нейромережі виглядають багатообіцяючими — вона може значно прискорити створення фільмів або відеоігор.

Раніше нейромережа Midjourney створила кліп на пісню "Все йде за планом" групи "Цивільна оборона". Користувачі завантажили до неї текст композиції, а штучний інтелект "намалював" відеоряд.

Писали також, що соціальна мережа TikTok отримала свій штучний інтелект. Він малює фони для роликів за текстовим описом. Фокус попросив програму намалювати останній день президента Росії Володимира Путіна.