Искусственный интеллект научился "оживлять" фотографии

Скриншот видео разработчиков из Вашингтонского университета и Facebook
Скриншот видео разработчиков из Вашингтонского университета и Facebook

На эту разработку ученых вдохновила магическая газета "Ежедневный пророк" из книг Джоан Роулинг о Гарри Поттере

Команда разработчиков из Вашингтонского университета и Facebook создала нейросеть, которая может превратить в анимацию двумерные изображения людей и помочь им "сбежать" за пределы фото. Исследование опубликовано на arXiv.org.

На эту разработку ученых вдохновила магическая газета "Ежедневный пророк" из книг Джоан Роулинг о Гарри Поттере.

В отличие от уже существующих программ, которые превращают статичные изображения в гифки, новый алгоритм переводит в "оживленное" изображение в 3D-плоскость. Персонаж может ходить, бегать, сидеть или прыгать.

На первом этапе алгоритм распознает силуэт человека и отделяет его от остального фона и создает сначала двухмерную, а затем трехмерную модель фигуры. После этого "дорисовывается" реалистичный фон на месте пробела, который образуется после сдвигания фигуры человека.

Анимацию можно использовать в дополненной реальности, например, в музеях:

Напомним, исследователи из Калифорнийского университета в Беркли создали нейросеть, которая позволяет виртуальным персонажам обучаться по роликам с YouTube.