Будущее уже здесь. Технология видеоигр помогла парализованной женщине вновь заговорить

Десятилетиями ученые работают над созданием интерфейса "мозг-компьютер", способный упростить жизнь парализованным людям, которые утратили способность разговаривать и двигаться. В новом исследовании ученые из компании Speech Graphics из Эдинбурга совместно с исследователями из Калифорнийского университета в Сан-Франциско (UCSF) и Калифорнийского университета в Беркли разработали первый в мире интерфейс, электронным способом генерирующий речь и выражение лица, пишет The Independent.

Авторы исследования полагают, что разработка позволит вернуть людям возможность естественного общения. По словам исследователей, в работе использовалось то же программное обеспечение, что и для управления лицевой анимацией в играх, например, The Last Of Us Part II и Hogwarts Legacy. По сути, оно использует мозговые волны, чтобы затем преобразовать их в цифрового аватара.

У Фокус. Технологии появился свой Telegram-канал. Подписывайтесь, чтобы не пропускать самые свежие и захватывающие новости из мира науки!

По словам руководителя исследования, заведующего отделением неврологической хирургии Калифорнийского университета в Сан-Франциско Эдварда Чанга, который посвятил созданию интерфейса "мозг-компьютер" последние 10 лет, в ходе исследования им удалось расшифровать сигналы мозга женщины по имени Энн. В общей сложности им удалось интерпретировать сигналы мозга тремя разными формами:

• текст;
• синтетический голос;
• лицевая цифровая анимация на цифровом аватаре (в том числе синхронизация губ и эмоциональных выражений).

Авторы исследования отмечают, что данный эксперимент, по сути, стал первым в мире. Когда лицевая анимация была синхронизирована на основе сигналов мозга. По словам Чанга, в новом исследовании ученые сосредоточились на восстановлении полноценного способа общения для людей, утративших его.

Отметим, что чип представляет собой прямоугольник толщиной с бумагу и состоит из электродов. Он был имплантирован на поверхность мозга женщины в области, которые, как показало исследование, имеют решающее значение для речи. В результате электроды перехватывали сигналы мозга, которые попадали бы в мышцы языка, челюсти, голосового аппарата и лица, если бы пациентка не была парализована после инсульта.

Далее кабель, подключенный к порту, закрепленному на голове женщины, соединил электроды с блоком компьютера. Потребовалось несколько недель, чтобы обучить алгоритмы искусственного интеллекта распознавать активность мозга, связанную со словарным запасом, включающим более 1 000 слов. Однако это того стоило.

В результате пациента смогла писать текст, а также говорить синтезированным голосом на основе записи речи Энн на ее свадьбе до того, как ее парализовало. После этого потребовалось еще несколько недель, чтобы ИИ научился расшифровывать активность ее мозга в мимике. Но, в конце концов, им удалось и это.

Отметим, что технология лицевой анимации на основе искусственного интеллекта имитирует с течением времени сокращения мышц, в том числе речевую артикуляцию и невербальную активность. В ходе эксперимента ученые использовали синтезированный голос женщины в качестве входных данных для системы речевой графики. Далее программное обеспечение преобразовало голос в движение мышц на 3D-анимации, основанной на движке игры.

В результате исследователям удалось создать реалистичный аватар женщины, который произносил слова синхронно с синтезированным голосом. Однако на этом ученые не остановились, фактически им удалось добиться того, что реципиент могла заставить аватара выражать эмоции и двигать отдельными мышцами.

Отметим, что восстановление голоса впечатляет само по себе, однако в сочетании с лицом и мимикой, оно способно вернуть пациенту ощущение воплощения и контроля, который он потерял в результате инсульта или другой болезни.

Ранее Фокус писал о том, как мозговые чипы могут удивительным образом изменить вашу личность.