Невероятные результаты. В исследовании активность мозга превратилась в рок-песню (видео)

Недавнее исследование открыло новые горизонты, продемонстрировав возможность реконструировать песню только на основе паттернов мозговой активности человека. Это инновационное исследование, что сначала может показаться научной фантастикой, побуждает слушателей изучить его слуховые результаты из первых уст, пишет IFLScience.

У Фокус.Технологии появился свой Telegram-канал. Подписывайтесь, чтобы не пропускать самые свежие и захватывающие новости из мира науки!

Кроме разгадки тайн слухового восприятия, это исследование протягивает усики в сферу интерфейсов между мозгом и компьютером — область, которая характеризуется непрерывным развитием. Эти интерфейсы, примером которых являются устройства, которыми пользуются такие люди, как покойный Стивен Хокинг, дают возможность общаться тем, кто потерял способность к коммуникации вследствие травм или болезней мозга.

В частности, разработаны нейропротезы, которые позволяют парализованным людям писать текст, мысленно имитируя почерк, или строить предложения путем простого мышления. Однако передача нюансов речи — таких, как ритм и эмоции, так называемая просодия — остается огромным вызовом, что делает современные технологии определенно механистическими.

Ведущий автор исследования Людовик Беллиер (Ludovic Bellier) считает: "Сейчас технология напоминает ментальную клавиатуру; подобно печатной машинке, она требует нажатия кнопок. Как следствие, полученный голос имеет несколько роботизированное качество, в частности, ему не хватает того, что я называю экспрессивной автономией".

Черпая вдохновение в музыке, полной присущих ей ритмических и гармонических особенностей, исследователи начали разработку модели, способной декодировать и реконструировать более разнообразные в просодическом смысле звуки. Неожиданно на анализ ждал идеальный набор данных.

Более десяти лет назад 29 человек, которые боролись с трудноизлечимой эпилепсией, приняли участие в исследовании. Во время исследования их мозговая активность регистрировалась с помощью внутричерепных электродов во время прослушивания трехминутного отрывка из классической песни Pink Floyd "Another Brick in the Wall, Part 1".

В 2012 году профессор Роберт Найт из Калифорнийского университета в Беркли был частью команды первопроходцев, которая осуществила реконструкцию слухового восприятия только на основе мозговой активности. С тех пор научный ландшафт значительно изменился, что побудило Найта и Беллиера возглавить исследование, посвященное новой проблеме восприятия музыки.

Исследователь тщательно проанализировал записи, используя искусственный интеллект, чтобы создать модель декодирования слуховой активности коры головного мозга. Эта модель имела целью преобразовать нейронные сигналы в форму звуковой волны, что точно отражала музыкальную композицию, в которую были погружены участники эксперимента.

Для него, преданного музыканта, эта попытка стала очень увлекательной: "Эта идея, несомненно, вызвала во мне волну восторга".

Результаты оказались невероятными. Реконструированное аудио дало узнаваемый ритм, мелодию и даже выразительные слова: "В общем, это был просто кирпич в стене".

Кроме того, исследование выявило ранее неизвестные участки мозга, связанные с распознаванием ритма, на примере резонансного наигрывания на гитаре. Особенно важным оказался участок в правой верхней височной извилине, расположенный в слуховой коре чуть позади и выше уха.

Также исследователи наблюдали полушарную асимметрию: в то время как восприятие речи преимущественно разворачивалось в левом полушарии мозга, восприятие музыки — в правом.

Найт объясняет: "В процессе развития интерфейсов между мозгом и машиной это открывает путь к добавлению музыкальности в будущие мозговые имплантаты для тех, кто в этом нуждается. Это открывает потенциал для расшифровки не только лингвистического содержания, но и элементов просодической природы языка и аффектов. Кажется, мы действительно начали процесс дешифровки".

Беллиер отмечает: "Однако нашим нынешним неинвазивным методам не хватает необходимой точности. Мы надеемся, что со временем электроды, размещенные снаружи на черепе, смогут обеспечить значительную точность сигнала из более глубоких участков мозга. Но расстояние до такого достижения остается значительным. Возможно, в будущем наступит эпоха, когда такие подвиги станут достижимыми. Пока же симфония, обнаруженная только через активность мозга, заставляет нас стремиться к дальнейшим открытиям".

Завершая свое исследование, авторы утверждают, что они действительно добавили еще один кирпич в здание понимания обработки музыки в человеческом мозге.

Ранее Фокус писал, как рацион предков странным образом влияет на наш мозг.

Эта статья основывается на последних научных и медицинских исследованиях и не противоречит им. Текст носит лишь информационный характер и не содержит медицинских советов. Для установления диагноза обязательно обратитесь к врачу.