Будущее уже здесь. Технология видеоигр помогла парализованной женщине вновь заговорить
Исследователи полагают, что данная разработка поможет восстановить естественное общение для тех, кто не может разговаривать.
Десятилетиями ученые работают над созданием интерфейса "мозг-компьютер", способный упростить жизнь парализованным людям, которые утратили способность разговаривать и двигаться. В новом исследовании ученые из компании Speech Graphics из Эдинбурга совместно с исследователями из Калифорнийского университета в Сан-Франциско (UCSF) и Калифорнийского университета в Беркли разработали первый в мире интерфейс, электронным способом генерирующий речь и выражение лица, пишет The Independent.
Авторы исследования полагают, что разработка позволит вернуть людям возможность естественного общения. По словам исследователей, в работе использовалось то же программное обеспечение, что и для управления лицевой анимацией в играх, например, The Last Of Us Part II и Hogwarts Legacy. По сути, оно использует мозговые волны, чтобы затем преобразовать их в цифрового аватара.
У Фокус. Технологии появился свой Telegram-канал. Подписывайтесь, чтобы не пропускать самые свежие и захватывающие новости из мира науки!
По словам руководителя исследования, заведующего отделением неврологической хирургии Калифорнийского университета в Сан-Франциско Эдварда Чанга, который посвятил созданию интерфейса "мозг-компьютер" последние 10 лет, в ходе исследования им удалось расшифровать сигналы мозга женщины по имени Энн. В общей сложности им удалось интерпретировать сигналы мозга тремя разными формами:
- текст;
- синтетический голос;
- лицевая цифровая анимация на цифровом аватаре (в том числе синхронизация губ и эмоциональных выражений).
Авторы исследования отмечают, что данный эксперимент, по сути, стал первым в мире. Когда лицевая анимация была синхронизирована на основе сигналов мозга. По словам Чанга, в новом исследовании ученые сосредоточились на восстановлении полноценного способа общения для людей, утративших его.
Отметим, что чип представляет собой прямоугольник толщиной с бумагу и состоит из электродов. Он был имплантирован на поверхность мозга женщины в области, которые, как показало исследование, имеют решающее значение для речи. В результате электроды перехватывали сигналы мозга, которые попадали бы в мышцы языка, челюсти, голосового аппарата и лица, если бы пациентка не была парализована после инсульта.
Далее кабель, подключенный к порту, закрепленному на голове женщины, соединил электроды с блоком компьютера. Потребовалось несколько недель, чтобы обучить алгоритмы искусственного интеллекта распознавать активность мозга, связанную со словарным запасом, включающим более 1 000 слов. Однако это того стоило.
В результате пациента смогла писать текст, а также говорить синтезированным голосом на основе записи речи Энн на ее свадьбе до того, как ее парализовало. После этого потребовалось еще несколько недель, чтобы ИИ научился расшифровывать активность ее мозга в мимике. Но, в конце концов, им удалось и это.
Отметим, что технология лицевой анимации на основе искусственного интеллекта имитирует с течением времени сокращения мышц, в том числе речевую артикуляцию и невербальную активность. В ходе эксперимента ученые использовали синтезированный голос женщины в качестве входных данных для системы речевой графики. Далее программное обеспечение преобразовало голос в движение мышц на 3D-анимации, основанной на движке игры.
В результате исследователям удалось создать реалистичный аватар женщины, который произносил слова синхронно с синтезированным голосом. Однако на этом ученые не остановились, фактически им удалось добиться того, что реципиент могла заставить аватара выражать эмоции и двигать отдельными мышцами.
Отметим, что восстановление голоса впечатляет само по себе, однако в сочетании с лицом и мимикой, оно способно вернуть пациенту ощущение воплощения и контроля, который он потерял в результате инсульта или другой болезни.
Ранее Фокус писал о том, как мозговые чипы могут удивительным образом изменить вашу личность.