Ученые "сняли кино", подсмотрев, что у людей творится в голове: без ИИ не обошлось
Ученые разработали метод, позволяющий ИИ формировать видеоряд из сигналов мозга человека.
Китайские ученые из Национального университета Сингапура и Китайского университета Гонконга считают, что их разработка откроет новые возможности для исследования механизмов зрения, памяти и воображения, пишет Vice.
В эксперименте участники наблюдали за короткими видеороликами, показывающими различные сцены из жизни: людей, животных, природы и т.д. Ученые использовали данные фМРТ и модель ИИ Stable Difussion для преобразования текста в изображение модели под названием MinD-Video, которая генерирует видео из показания мозга. Затем эти сигналы подавались на вход нейронной сети, которая обучалась воспроизводить видео на основе данных мозговой активности. Статья с описанием работы и результатами исследования была размещена на сайте ученых.
Результаты оказались впечатляющими: нейронная сеть смогла не только восстановить общие контуры и цвета объектов на видео, но и детализировать их текстуру, движение и освещение. Видео, полученные из сигналов мозга, были более четкими и реалистичными, чем те, что создавались ранее с помощью других методов.
Ученые отмечают, что такой подход может помочь лучше понять, как мозг кодирует и декодирует зрительную информацию, а также как он хранит и воспроизводит воспоминания. Кроме того, такой метод может быть полезен для создания новых форм коммуникации и развлечения, например, для передачи видео прямо из головы человека.
Ранее Фокус писал, что другие ученые из США научили нейросеть читать мысли людей: на что способен "декодер мыслей".