Facebook разработал систему для перевода мыслей в речь

Система работает в режиме реального времени

Компания Facebook совместно с Калифорнийским университетом в Сан-Франциско разработала нейрокомпьютерный интерфейс для перевода мозговых сигналов в речь. Об этом пишет New Atlas.

“Расшифровка мозговой активности в реальном времени уже использовалась для декодирования отдельных звуков, но мы впервые использовали этот подход для идентификации произнесенных слов и фраз”, - говорит соавтор исследования Дэвид Мозес.

Чтобы измерить активность мозга, в него вживляются электроды. В исследовании участвовали три добровольца-пациента с эпилепсией, которым перед плановой операцией все равно должны были имплантировать в мозг электроды для определения областей поражения мозга.

Участникам задали серию простых вопросов. Например: “Как вы оцениваете свое самочувствие по шкале от 0 до 10?”. При этом респонденты вслух проговаривали ответы, выбранные из заранее составленного списка. Со временем алгоритм научился угадывать ответы по их мозговой активности. 

Ученые подчеркивают, что алгоритм также учитывал заданный вопрос. “Большинство предыдущих подходов были сосредоточены только на декодировании речи, но здесь мы подтвердили важность понимания двух сторон диалога - как вопросов, так и ответов”, - говорит речевой нейробиолог Эдди Чанг. 

Кроме того, предыдущие исследования были сосредоточены на поиске соответствий между мозговыми импульсами и звуками речи, но Чанг и его коллеги пошли другим путем, решив отслеживать сигналы не тех областей мозга, которые отвечают за распознавание речи, а тех, которые координируют сам речевой аппарат. Алгоритм машинного обучения сопоставляет паттерны электрической активности в мозге с речевыми движениями, такими как сжатие губ, напряжение голосовых связок, смещение кончика языка у небу и т.д.

В перспективе такая технология поможет создать синтезаторы речи для людей, потерявших голос из-за паралича, рака горла или болезни Паркинсона. Ученые подчеркивают, что программа читает не все мысли подряд, а только те, которые человек четко и уверенно проговаривает в уме. Таким образом, пациентам не стоит опасаться, что программа случайно разболтает их секреты.

Как писал Фокус: