Сигналы мозга научились переводить в речь

GARY WATERS/SCIENCE SOURCE
GARY WATERS/SCIENCE SOURCE

Это поможет создать новое поколение синтезаторов речи для людей, потерявших голос

Related video

Ученые из Калифорнийского университета в Сан-Франциско (UCSF) научились переводить в речь мозговые импульсы. Об этом пишет The Guardian.

По словам авторов разработки, в будущем такой интерфейс "мозг-машина" поможет свободно общаться людям, потерявшим способность разговаривать из-за паралича, рака горла, болезни Паркинсона и других заболеваний.

Обычные синтезаторы речи (даже тот, что использовал покойный Стивен Хокинг) работают мучительно медленно, переводя около восьми слов в минуту, тогда как обычно люди произносят за минуту до 100-150 слов. Кроме того, синтезатор Хокинга анализировал движения его глаз и мышц лица, складывая слова по отдельным буквам. Новая же технология расшифровывает сигналы, поступающие непосредственно из мозга.

"Впервые мы можем генерировать полноценные предложения, основываясь только на мозговой активности человека", - говорит Эдвард Чанг, профессор неврологической хирургии в UCSF.

Предыдущие исследования были сосредоточены на поиске соответствий между мозговыми импульсами и звуками речи, но Чанг и его коллеги пошли другим путем, решив отслеживать сигналы не тех областей мозга, которые отвечают за распознавание речи, а тех, которые координируют сам речевой аппарат.

Чтобы измерить активность мозга, в него потребовалось вживить электроды. Так как процедура инвазивная, в эксперименте участвовали пятеро пациентов с эпилепсией, которым перед операцией все равно имплантируют электроды для определения областей поражения мозга.

Участники произносили вслух сотни фраз, а алгоритм машинного обучения сопоставлял паттерны электрической активности в мозге с речевыми движениями, такими как сжатие губ, напряжение голосовых связок, смещение кончика языка у небу и т.д., и только потом переводил их в звук.

Другие новости об исследованиях работы мозга: