Midjourney теперь генерирует картинки только за деньги: все "из-за Папы Римского"

Компания Midjourney, которая предлагает услугу генерации изображений с помощью искусственного интеллекта, приостановила бесплатные пробные версии своего сервиса, сообщает The Verge.

На такой шаг разработчики нейросети пошли после того, как несколько ее сгенерированных изображений — включая фальшивые изображения ареста Дональда Трампа и Папы Римского в стильной куртке — стали вирусными в интернете, и многие приняли подделки за реальные фотографии.

В чем корень проблемы

Дэвид Хольц, основатель и генеральный директор Midjourney, объявил об этом изменении ссылаясь на "необычайный спрос и злоупотребление пробными версиями". Ранее Midjourney позволяла любому зарегистрироваться, чтобы использовать свое программное обеспечение через Discord, предлагая 25 бесплатных генераций изображений перед тем, как начать взимать плату за подписку от $10 в месяц. Многие, не желая платить, просто регистрировали новые аккаунты, так что такой строгий шаг может быть вызван борьбой не столько с дипфейками, сколько с "халявщиками", считают некоторые эксперты.

Многие ИТ-специалисты давно предупреждали об опасном потенциале ИИ для создания дезинформации, но это раньше не было большой проблемой, потому что подделки легко распознавались. Однако возможности генеративного ИИ набирают обороты и волна поддельных фото, как в случае с Трампом и Папой Римским, наверняка не последний инцидент.

Midjourney выпустила пятую версию своего программного обеспечения, где значительно улучшила качество генерирования изображений, особенно с людьми. Эти улучшения привели к тому, что ряд изображений Midjourney стали вирусными в последние недели. На фейках засветились не только Дональд Трамп с Папой, но и Эммануэль Макрон, Илон Маск.

Чем слабее модерация – тем больше фейков

Многие эксперты полагают, что нейросеть стала жертвой слабой модерации и лояльной политики в отношении генерируемых изображений. Правила Midjourney более снисходительны, чем у некоторых конкурентных сервисов (например, DALL-E), но более строгие, чем у других (например, Stable Diffusion). Нейросеть поддерживает список запрещенных слов и тем (зависит от страны зарегистрированного пользователя), но четко перечня этих "стоп-фраз" так до сих пор и не опубликовано. Тем более сам Хольц в прошлом году заявлял, что ограничений никто не заметит, если не будет усиленно пытаться сгенерировать "запрещенку". Но все же теперь компания объявила, что внесла в запретный список слово "арестован", например.

По словам Дэвида Хольца, кроме обязательной оплаты его компания планирует ввести новые меры безопасности для своих пользователей, такие как двухфакторная аутентификация и проверка личности. Он также призвал пользователей быть ответственными за свои генерации и не использовать их для создания дезинформации или нарушения авторских прав.

Как отличить дипфейк от реальности

ИТ-специалисты в сфере машинного обучения советуют обращать внимание на мелкие детали изображения, такие как аномалии в освещении, тени или отражения. Генеративный ИИ, несмотря на всю реалистичность, все еще далек от совершенства и это можно легко заметить по "фото" с арестом Трампа, например. Если посмотреть чуть внимательней, то легко увидеть, что все изображение слишком картинное, как бы нарисованное, есть множество характерных для картинных мазков размытостей.

Другой способ — это проверить источник изображения или видео и сравнить его с другими источниками информации. Также можно использовать специальные инструменты или приложения, которые помогают обнаруживать дипфейки с помощью анализа пикселей или метаданных.

Однако по мере развития технологии искусственного интеллекта станет все сложнее отличить реальное изображение или видео от поддельного. Поэтому необходимо повышать осведомленность общественности о потенциальных рисках дипфейков и развивать критическое мышление и медиа грамотность, говорят специалисты.

Ранее Фокус писал, что ИИ обвинили в том, что он довел человека до самоубийства: кто виноват на самом деле.