Новий ШІ перетворить "плоский" малюнок на 3D-зображення за 5 секунд: як це можливо (відео)
Компанія Adobe разом із вченими розробили технологію, яка допоможе творцям контенту якнайшвидше перетворювати 2D-графіку на 3D.
Дослідники з компанії Adobe та Австралійського національного університету заявили про створення нового алгоритму штучного інтелекту, який може створювати 3D-моделі з 2D-зображень за 5 секунд. Про це повідомляє портал TechSpot.
Використовуючи великий набір даних для навчання алгоритму машинного навчання, дослідники створили те, що вони називають першою моделлю великої реконструкції (LRM), здатною передбачати форму 3D-моделі по одному двовимірному зображенню, і це може бути зроблено за лічені секунди. Попередні моделі 3D-генерації навчалися на невеликих наборах даних, орієнтованих на одну категорію зображень, пояснюють дослідники у своїй опублікованій статті. І навпаки, їхня модель LRM має добре масштабовану архітектуру на основі перетворювачів із 500 мільйонами параметрів, що навчаються, і її було навчено приблизно на 1 мільйоні 3D-об'єктів, доступних у наборах даних Objaverse і MVImgNet.
Таке поєднання високопродуктивної моделі та великомасштабних навчальних даних забезпечує алгоритму LRM "широко узагальнену" можливість створення контенту, пояснюють дослідники. Модель змогла створювати "високоякісні" 3D-реконструкції на основі різних тестових зображень, включно з фотографіями з реального світу, ідеться в статті. Ба більше, LRM може використовувати як "звичайні" зображення, так і візуальні фрагменти, створені службами штучного інтелекту, такими як DALL-E і Stable Diffusion, як вхідну 2D-модель.
Дослідники стверджують, що LRM має потенційні "перетворювальні" можливості, оскільки її можна використовувати в широкому спектрі галузей, включно з дизайном, розвагами та іграми. Дизайнери або 3D-художники можуть спростити процес 3D-моделювання, значно скоротивши час, необхідний для створення ресурсів для відеоігор або анімації.
LRM також може демократизувати 3D-моделювання, оскільки "звичайні" користувачі потенційно можуть створювати високодеталізовані моделі на основі фотографій, зроблених на смартфон, майже так само добре, як досвідчені дизайнери. Хоча LRM як і раніше стикається з проблемами, такими як розмиття текстур для прихованих частин зображення, він відкриває світ творчих і комерційних можливостей. Дослідники надали сторінку з демонстраційними відео та інтерактивними 3D-сітками, щоб показати, на що здатна LRM просто зараз.
Раніше Фокус розповідав, що Ілон Маск можливо покаже свій чат-бот на базі нейромережі Grok на конференції в Москві. Оргкомітет міжнародної конференції AI Journey спростував появу мільярдера в російській столиці.