Разделы
Материалы

Midjourney теперь генерирует картинки только за деньги: все "из-за Папы Римского"

Фото: Соцести | Папа Римский в пуховике - фейковая картинка

Разработчики пошли на этот шаг после волны фальшивых "фото" арестованного Трампа и Папы Римского в белом пуховике.

Компания Midjourney, которая предлагает услугу генерации изображений с помощью искусственного интеллекта, приостановила бесплатные пробные версии своего сервиса, сообщает The Verge.

На такой шаг разработчики нейросети пошли после того, как несколько ее сгенерированных изображений — включая фальшивые изображения ареста Дональда Трампа и Папы Римского в стильной куртке — стали вирусными в интернете, и многие приняли подделки за реальные фотографии.

В чем корень проблемы

Дэвид Хольц, основатель и генеральный директор Midjourney, объявил об этом изменении ссылаясь на "необычайный спрос и злоупотребление пробными версиями". Ранее Midjourney позволяла любому зарегистрироваться, чтобы использовать свое программное обеспечение через Discord, предлагая 25 бесплатных генераций изображений перед тем, как начать взимать плату за подписку от $10 в месяц. Многие, не желая платить, просто регистрировали новые аккаунты, так что такой строгий шаг может быть вызван борьбой не столько с дипфейками, сколько с "халявщиками", считают некоторые эксперты.

Многие ИТ-специалисты давно предупреждали об опасном потенциале ИИ для создания дезинформации, но это раньше не было большой проблемой, потому что подделки легко распознавались. Однако возможности генеративного ИИ набирают обороты и волна поддельных фото, как в случае с Трампом и Папой Римским, наверняка не последний инцидент.

Midjourney выпустила пятую версию своего программного обеспечения, где значительно улучшила качество генерирования изображений, особенно с людьми. Эти улучшения привели к тому, что ряд изображений Midjourney стали вирусными в последние недели. На фейках засветились не только Дональд Трамп с Папой, но и Эммануэль Макрон, Илон Маск.

"Фейковый" Макрон гуляет на протестных акциях в Париже

Чем слабее модерация – тем больше фейков

Многие эксперты полагают, что нейросеть стала жертвой слабой модерации и лояльной политики в отношении генерируемых изображений. Правила Midjourney более снисходительны, чем у некоторых конкурентных сервисов (например, DALL-E), но более строгие, чем у других (например, Stable Diffusion). Нейросеть поддерживает список запрещенных слов и тем (зависит от страны зарегистрированного пользователя), но четко перечня этих "стоп-фраз" так до сих пор и не опубликовано. Тем более сам Хольц в прошлом году заявлял, что ограничений никто не заметит, если не будет усиленно пытаться сгенерировать "запрещенку". Но все же теперь компания объявила, что внесла в запретный список слово "арестован", например.

По словам Дэвида Хольца, кроме обязательной оплаты его компания планирует ввести новые меры безопасности для своих пользователей, такие как двухфакторная аутентификация и проверка личности. Он также призвал пользователей быть ответственными за свои генерации и не использовать их для создания дезинформации или нарушения авторских прав.

Как отличить дипфейк от реальности

ИТ-специалисты в сфере машинного обучения советуют обращать внимание на мелкие детали изображения, такие как аномалии в освещении, тени или отражения. Генеративный ИИ, несмотря на всю реалистичность, все еще далек от совершенства и это можно легко заметить по "фото" с арестом Трампа, например. Если посмотреть чуть внимательней, то легко увидеть, что все изображение слишком картинное, как бы нарисованное, есть множество характерных для картинных мазков размытостей.

Если приглядеться, то пока еще можно отличить сгенерированную ИИ фотографию от настоящей
Фото: Соцсети

Другой способ — это проверить источник изображения или видео и сравнить его с другими источниками информации. Также можно использовать специальные инструменты или приложения, которые помогают обнаруживать дипфейки с помощью анализа пикселей или метаданных.

Однако по мере развития технологии искусственного интеллекта станет все сложнее отличить реальное изображение или видео от поддельного. Поэтому необходимо повышать осведомленность общественности о потенциальных рисках дипфейков и развивать критическое мышление и медиа грамотность, говорят специалисты.

Ранее Фокус писал, что ИИ обвинили в том, что он довел человека до самоубийства: кто виноват на самом деле.