Программа уже работает с точностью 95,5%
Ученые из Университета Цинхуа обучили искусственный интеллект распознавать речь без звука - только по движению губ. Он будет использоваться как часть бесшумной программы-ассистента. Научная статья опубликована в онлайн-библиотеке ACM.
Программа Lip-Interact отслеживает движения губ по 20 контрольным точкам. Начало и конец каждой фразы она определяет по тому, насколько широко открыт рот. Сейчас Lip-Interact уже работает с точностью 95,5%. Правда, пока программа распознает только 44 команды для управления смартфоном.
Кроме глухонемых людей, приложение пригодится тем, кто привык пользоваться голосовым помощником, но не хочет привлекать к себе внимание в людных местах.
В целом машинное чтение по губам имеет огромный потенциал для распознавания речи в шумной обстановке, биометрической идентификации и реставрации немого кино.
Ранее сообщалось, что искусственный интеллект научился определять повышенный риск развития рака груди.