Діджитал-артисти воювали з ШІ у створенні спецефектів для кіно — переміг ШІ (відео)

Команда експертів із візуальних ефектів продемонструвала можливості нового ШІ, який створює дуже реалістичні спецефекти за лічені хвилини.

Відеоролик опублікований на YouTube-каналі Corridor Crew.

Технології візуальних ефектів (VFX) покладаються на три основні процеси, які необхідно виконати для монтажу практично будь-якого кадру:

• "Ротоскопінг" — насамперед потрібно розділити відеоряд на кілька окремих шарів, наприклад, об'єкт і фон.
• "Фарбування" — далі необхідно заповнити прогалини, які залишаються після поділу кадрів.
• "Відстеження камери" — місце розташування камери дуже важливо враховувати при відтворенні сцен на комп'ютері та додаванні нових об'єктів або ефектів.

За словами фахівців із продюсерської студії Corridor Digital, уже зараз ШІ здатний виконати два з трьох зазначених процесів: ротоскопінг і фарбування. У теорії, машинні алгоритми можуть значно прискорити монтування відео та за кілька тижнів виконати роботу, на яку в людей ідуть місяці.

Спочатку діджитал-артисти влаштували змагання у своєму офісі. Вони записали на відео, як один із членів команди крутиться "колесом", і вирішили додати спецефекти у вигляді вибухів, порівнявши ефективність різних технік комп'ютерної графіки: малювання за допомогою стилуса, створення постефект масок, програму MOCHA, інструмент для виділення меж RotoBrush 2.0 (теж використовує ШІ) і новий алгоритм машинного навчання Runway.

Останні два методи виявилися найшвидшими. Раніше за всіх впорався артист, котрий використовував RotoBrush — програму, яка автоматично виділяє контури об'єктів легкими рухами миші. Автор дещо поспішив і залишив огріхи. Метод Runway відстав на кілька хвилин, однак надав чистіший результат — монтажер навіть додав три вибухи замість одного.

Для другого випробування Corridor Crew вирішили використовувати записи зі зйомок свого ролика з роботом Boston Dynamics. Проект зайняв місяці роботи команди, найскладнішим було "стерти" живого актора з усіх кадрів, щоб замінити його на машину. Фахівці припустили, що ШІ допоможе їм легше виділити об'єкти. Вони використовували інструмент під назвою Flow Guided Video Completion. Алгоритм відстежує всі пікселі при пересуванні об'єктів, передбачає появу прогалин, створених "маскою", і заповнює їх. Йому вдалося швидко та якісно прибрати актора, хоча на останніх кадрах він залишив велику пляму, прийнявши пікселі за елементи фону. Нехай цей момент дизайнерам довелося виправляти вручну, але система все одно значно прискорила процес і виявилася набагато швидшою за людину.

"Ми стоїмо на порозі гігантського прориву, і це не тільки візуальні ефекти — це все, що завгодно. Це буквально нова грань комп'ютерних технологій, і ви можете використовувати їх на хороших машинах, до яких маєте доступ. І кожен, хто збирається зняти фільм, може зробити це зі швидкістю думки", — розповів артист на ім'я Ніко.

Раніше писали, що ШІ навчився передбачувати дощі краще за досвідчених синоптиків. Алгоритм від компанії DeepMind складає прогноз на найближчі півтори години для районів площею всього близько квадратного кілометра.

До цього експерти назвали 5 ризиків, пов'язаних зі штучним інтелектом. Учені з Браунівського університету запевняють, що розвиток технологій вже досяг точки, коли пора подумати про методи безпеки.