Майбутнє вже тут. Технологія відеоігор допомогла паралізованій жінці знову заговорити

Десятиліттями вчені працюють над створенням інтерфейсу "мозок-комп'ютер", здатний спростити життя паралізованим людям, які втратили здатність розмовляти та рухатися. У новому дослідженні вчені з компанії Speech Graphics з Единбурга спільно з дослідниками з Каліфорнійського університету в Сан-Франциско (UCSF) і Каліфорнійського університету в Берклі розробили перший у світі інтерфейс, який в електронний спосіб генерує мову і вираз обличчя, пише The Independent.

Автори дослідження вважають, що розробка дасть змогу повернути людям можливість природного спілкування. За словами дослідників, у роботі використовували те саме програмне забезпечення, що й для управління лицьовою анімацією в іграх, наприклад, The Last Of Us Part II та Hogwarts Legacy. По суті, воно використовує мозкові хвилі, щоб потім перетворити їх на цифрового аватара.

У Фокус. Технології з'явився свій Telegram-канал. Підписуйтесь, щоб не пропускати найсвіжіші та найзахопливіші новини зі світу науки!

За словами керівника дослідження, завідувача відділення неврологічної хірургії Каліфорнійського університету в Сан-Франциско Едварда Чанга, який присвятив створенню інтерфейсу "мозок-комп'ютер" останні 10 років, під час дослідження їм вдалося розшифрувати сигнали мозку жінки, на ім'я Енн. Загалом їм вдалося інтерпретувати сигнали мозку трьома різними формами:

• текст;
• синтетичний голос;
• лицьова цифрова анімація на цифровому аватарі (зокрема синхронізація губ і емоційних виразів).

Автори дослідження зазначають, що цей експеримент, по суті, став першим у світі. Коли лицьова анімація була синхронізована на основі сигналів мозку. За словами Чанга, у новому дослідженні вчені зосередилися на відновленні повноцінного способу спілкування для людей, які втратили його.

Зазначимо, що чип являє собою прямокутник завтовшки з папір і складається з електродів. Його імплантували на поверхню мозку жінки в ділянки, які, як показало дослідження, мають вирішальне значення для мовлення. У результаті електроди перехоплювали сигнали мозку, які потрапляли б у м'язи язика, щелепи, голосового апарату та обличчя, якби пацієнтка не була паралізована після інсульту.

Далі кабель, підключений до порту, закріпленого на голові жінки, з'єднав електроди з блоком комп'ютера. Знадобилося кілька тижнів, щоб навчити алгоритми штучного інтелекту розпізнавати активність мозку, пов'язану зі словниковим запасом, що включає понад 1 000 слів. Однак це було того варте.

У результаті пацієнтка змогла писати текст, а також говорити синтезованим голосом на основі запису промови Енн на її весіллі до того, як її паралізувало. Після цього знадобилося ще кілька тижнів, щоб ШІ навчився розшифровувати активність її мозку в міміці. Але, врешті-решт, їм вдалося і це.

Зазначимо, що технологія лицьової анімації на основі штучного інтелекту імітує з плином часу скорочення м'язів, зокрема мовленнєву артикуляцію і невербальну активність. Під час експерименту вчені використовували синтезований голос жінки як вхідні дані для системи мовленнєвої графіки. Далі програмне забезпечення перетворило голос на рух м'язів на 3D-анімації, що базується на рушії гри.

У результаті дослідникам вдалося створити реалістичний аватар жінки, який вимовляв слова синхронно із синтезованим голосом. Однак на цьому вчені не зупинилися, фактично їм вдалося домогтися того, що реципієнт могла змусити аватара висловлювати емоції та рухати окремими м'язами.

Зазначимо, що відновлення голосу вражає саме по собі, однак у поєднанні з обличчям та мімікою, воно здатне повернути пацієнту відчуття втілення та контролю, яке він втратив внаслідок інсульту чи іншої хвороби.

Раніше Фокус писав про те, як мозкові чипи можуть дивовижним чином змінити вашу особистість.