Новый ИИ превратит "плоский" рисунок в 3D-изображение за 5 секунд: как это возможно (видео)
Компания Adobe вместе с учеными разработали технологию, которая поможет создателям контента как можно быстрее превращать 2D-графику в 3D.
Исследователи из компании Adobe и Австралийского национального университета заявили о создании нового алгоритма искусственного интеллекта, который может создавать 3D-модели из 2D-изображений за 5 секунд. Об этом сообщает портал TechSpot.
Используя большой набор данных для обучения алгоритма машинного обучения, исследователи создали то, что они называют первой моделью большой реконструкции (LRM), способной предсказывать форму 3D-модели по одному двумерному изображению, и это может быть сделано за считанные секунды. Предыдущие модели 3D-генерации обучались на небольших наборах данных, ориентированных на одну категорию изображений, объясняют исследователи в своей опубликованной статье. И наоборот, их модель LRM имеет хорошо масштабируемую архитектуру на основе преобразователей с 500 миллионами обучаемых параметров и была обучена примерно на 1 миллионе 3D-объектов, доступных в наборах данных Objaverse и MVImgNet.
Такое сочетание высокопроизводительной модели и крупномасштабных обучающих данных обеспечивает алгоритму LRM "широко обобщаемую" возможность создания контента, объясняют исследователи. Модель смогла создавать "высококачественные" 3D-реконструкции на основе различных тестовых изображений, включая фотографии из реального мира, говорится в статье. Более того, LRM может использовать как "обычные" изображения, так и визуальные фрагменты, созданные службами искусственного интеллекта, такими как DALL-E и Stable Diffusion, в качестве входной 2D-модели.
Исследователи утверждают, что LRM обладает потенциальными "преобразующими" возможностями, поскольку ее можно использовать в широком спектре отраслей, включая дизайн, развлечения и игры. Дизайнеры или 3D-художники могут упростить процесс 3D-моделирования, значительно сократив время, необходимое для создания ресурсов для видеоигр или анимации.
LRM также может демократизировать 3D-моделирование, поскольку "обычные" пользователи потенциально могут создавать высокодетализированные модели на основе фотографий, сделанных на смартфон, почти так же хорошо, как опытные дизайнеры. Хотя LRM по-прежнему сталкивается с проблемами, такими как размытие текстур для скрытых частей изображения, он открывает мир творческих и коммерческих возможностей. Исследователи предоставили страницу с демонстрационными видео и интерактивными 3D-сетками, чтобы показать, на что способна LRM прямо сейчас.
Ранее Фокус рассказывал, что Илон Маск возможно покажет свой чат-бот на базе нейросети Grok на конференции в Москве. Оргкомитет международной конференции AI Journey опроверг появление миллиардера в российской столице.