Новая нейросеть создает 3D-модели людей с помощью камеры смартфона: как это выглядит

Специалисты из Университета Корнелла разработали искусственный интеллект под названием NeuMan, который создает трехмерную модель человека при помощи камеры от iPhone. Они разместили свои наработки с открытым кодом на ресурсе GitHub.

Исследователи занялись проблемой фотореалистичного рендеринга, который занимает много времени и требует от машины высокой производительности. Они создали нейросеть, которой достаточно предоставить видео, снятое на камеру смартфона (команда использовала iPhone). Готовые модели можно использовать для создания сцен в роликах или дополненной реальности, придавая им различные позы и внешний вид.

По словам исследователей, они обучили две модели ИИ: одна занимается созданием модели, а другая — созданием сцены. Для обучения NeuMan использовали методы оценки грубой геометрии — приблизительная оценка позволяют создать деформирующее поле из пространства наблюдения в каноническое пространство, и результат рендеринга не зависит от изначальной позы прообраза.

Айтишники продемонстрировали результаты в нескольких роликах. Они оставили оригинальный фон, но заставили трехмерные модели выполнять различные действия, которых не совершали актеры, например, перепрыгивать препятствия, делать колесо, кувыркаться, танцевать. Люди в роликах не идеальны, можно заметить "замыленные" детали, однако первые работы нейросети выглядят многообещающие — она может значительно ускорить создание фильмов или видеоигр.

Ранее нейросеть Midjourneyсоздала клип на песню "Все идет по плану" группы "Гражданская оборона". Пользователи загрузили в нее текст композиции, а искусственный интеллект "нарисовал" видеоряд.

Писали также, что социальная сеть TikTok обзавелась собственным искусственным интеллектом. Он рисует фоны для роликов по текстовому описанию. Фокус попросил приложение нарисовать последний день президента России Владимира Путина.