Учені "зняли кіно", підглянувши, що в людей коїться у голові: без ШІ не обійшлося

Китайські вчені з Національного університету Сінгапуру та Китайського університету Гонконгу вважають, що їхня розробка відкриє нові можливості для дослідження механізмів зору, пам'яті й уяви, пише Vice.

В експерименті учасники спостерігали за короткими відеороликами, що показують різні сцени життя: людей, тварин, природи тощо. Вчені використовували дані фМРТ і модель ШІ Stable Difussion для перетворення тексту на зображення моделі під назвою MinD-Video, яка генерує відео зі свідчення мозку. Потім ці сигнали подавалися на вхід нейронної мережі, яка навчалася відтворювати відео на основі даних мозкової активності. Статтю з описом роботи й результатами дослідження було розміщено на сайті вчених.

Результати виявилися разючими: нейронна мережа змогла не лише відновити загальні контури та кольори об'єктів на відео, а й деталізувати їхню текстуру, рух і освітлення. Відео, отримані із сигналів мозку, були чіткішими та реалістичнішими, ніж ті, що створювалися раніше за допомогою інших методів.

Учені зазначають, що такий підхід може допомогти краще зрозуміти, як мозок кодує і декодує зорову інформацію, а також як він зберігає та відтворює спогади. Крім того, такий метод може бути корисним для створення нових форм комунікації та розваги, наприклад, для передачі відео прямо з голови людини.

Раніше Фокус писав, що інші вчені зі США навчили нейромережу читати думки людей: на що здатний "декодер думок".