Голосовий ШІ використали для діпфейків. Інтернет-хулігани зганьбили стартап
Розробники із ElevenLabs обіцяють підвищити рівень захисту сервісу Voice Lab.
Буквально кілька днів тому стартап ElevenLabs представив публіці бета-версію своєї нейромережі, яка вміє озвучувати будь-який текст за допомогою голосів, які можна тонко налаштовувати. І відразу інтернет-хулігани зганьбили всю благородну витівку, пише Engadget.
Відвідувачі сумнозвісного розсадника інтернет-тролів усіх мастей, форуму 4chan виявили на ресурсі безліч файлів із підробленими за допомогою ШІ голосами знаменитостей, які озвучують расистські, гомофобні й інші образливі гасла.
Наприклад, в одному кліпі був голос, схожий на голос Емми Вотсон, яка читає уривокі з "Майн Кампф". Окрім зірки фільмів про Гаррі Поттера, в голосових діпфейках засвітилися режисери Квентін Тарантіно та Джордж Лукас. Правда, не зовсім ясно, чи в усіх непристойних кліпах використовувалася технологія від ElevenLab, але в повідомленнях на форумі 4chan були посилання саме на цей продукт.
Наразі шокована тим, що відбувається, ElevenLabs збирає всі дані про зловживання своїм продуктом і збирається посилити захист від голосових хуліганів. Зокрема, стартап має намір запровадити додаткову перевірку облікових записів.
Крім того, компанія збирається вимагати від користувачів підтвердження права власності на голос, який вони хочуть клонувати шляхом надсилання зразка з текстом підказки.
Нарешті компанія подумує про те, щоб повністю відмовитися від свого інструменту Voice Lab і змусити користувачів надсилати запити на клонування голосу, які вона повинна перевіряти вручну.
Раніше Фокус писав, що ШІ може знищити людство: чому вчені так думають і коли це станеться.