Голосовой ИИ использовали для дипфейков. Интернет-хулиганы опорочили стартап
Разработчики из ElevenLabs обещают повысить уровень защиты сервиса Voice Lab.
Буквально пару дней назад стартап ElevenLabs представил публике бета-версию своей нейросети умеющей озвучивать любой текст с помощью голосов, которые можно тонко настраивать. И тут же интернет-хулиганы опорочили всю благородную затею, пишет Engadget.
Посетители печально-известного рассадника интернет-троллей всех мастей форума 4chan обнаружили на ресурсе множество файлов с подделанными с помощью ИИ голосами знаменитостей, которые озвучивают расистские, гомофобные и другие оскорбительные лозунги.
Например, в одном клипе, был голос, похожий на голос Эммы Уотсон, читающей отрывок из "Майн Кампф". Кроме звезды фильмов о Гарри Поттере в голосовых дипфейках засветились режиссеры Квентин Тарантино и Джордж Лукас. Правда не совсем ясно, во всех ли непристойных клипах использовалась технология от ElevenLab, но в сообщениях на форуме 4chan содержались отсылки именно на этот продукт.
В данный момент шокированная происходящим ElevenLabs собирает все данные о злоупотреблениях своим продуктом и собирается усилить защиту от голосовых хулиганов. В частности, стартап собирается внедрить дополнительную проверку учетных записей.
Кроме того, компания собирается требовать от пользователей подтверждения права собственности на голос, который они хотят клонировать методом отправки образца с текстом подсказки.
Наконец, компания подумывает о том, чтобы полностью отказаться от своего инструмента Voice Lab и заставить пользователей отправлять запросы на клонирование голоса, которые она должна проверять вручную.
Ранее Фокус писал, что ИИ может уничтожить человечество: почему ученые так думают и когда это случится.