Apple будет сканировать iPhone в поисках запрещенного контента: что нужно знать юзерам

Apple анонсировала сканирование iPhone, iPad и других устройств на предмет контента о насилии над детьми. Фокус разбирался, как работает новая ИИ-система и с какими проблемами рискуют столкнуться пользователи.

ИИ для борьбы с насилием: как это работает

Как сообщает сама Apple, в iOS и iPadOS будут использованы новые криптографические технологии, чтобы ограничить распространение Child Sexual Abuse Material (CSAM) в Интернете, сохраняя при этом конфиденциальность источников. Компания будет сообщать правоохранителям о коллекциях таких фото, если обнаружит их в хранилище iCloud, а виртуальный помощник Siri и система поиска будут препятствовать поиску контента, связанного с насилием над детьми.

Нововведения появятся с выходом обновления для iOS 15, iPadOS 15, watchOS 8 и macOS Monterey, которое должно выйти до конца 2021 года. В ОС будут внедрены алгоритмы искусственного интеллекта, задача которых — выявлять CSAM-материалы в сообщениях и хранилище iCloud.

Как стало известно Financial Times, Apple использует машинный алгоритм neuralMatch, который обучили при помощи 200 тыс. изображений из Национального центра пропавших без вести и эксплуатируемых детей. На первых порах система будет запущена и протестирована в США.

Найденный подозрительный контент в iCloud Photos, система будет сопоставлять с изображениями из базы данных, доступ к которой предоставят госорганы. Процесс основан на криптографической технологии пересечения частных наборов, которая ищет совпадения без раскрытия результата. В итоге изображение загружается в облако с соответствующей меткой — ваучером безопасности.

Эксперт рассказал, как можно подставить любого человека и обмануть ИИ

Мэнттью Грин, специалист по шифрованию из Университета Джона Хопкинса, рассказал о проблемных моментах при поиску следов CSAM-контента порталу 9to5mac. Эксперт сообщил, что если речь идет о точной копии изображения, то пользователю достаточно обрезать один пиксель, чтобы избежать обнаружения. Поэтому система будет обращать внимание на фото и видео, которые были изменены, однако ИИ может помечать и файлы с абсолютно невинным содержимым.

В связи с этим могут возникнуть две проблемы, считает Грин. Во-первых, если Apple или правоохранители проверяют фото и не находят крамолы — конфиденциальность пользователя при этом все равно нарушена. Во-вторых, даже подозрение в таком преступлении может испортить жизнь человека: его репутацию, карьеру, отношения. К тому же, устройства могут надолго конфисковать для расследования.

Эксперт говорит, что можно намеренно сделать любое изображение компрометирующим при помощи технологий цифрового отпечатка и хеширования (цифровой отпечаток, или фингерпринт — информация, собранная об удаленном устройстве/файле для дальнейшей идентификации, — ред.) Недоброжелатель может отправить пользователю невинно выглядящее фото, которое система распознает как CSAM (в ходе хеширования данные преобразовываются в битовую строку установленной длины. Эта специфическая строка кода дает ИИ возможность распознать исходные данные, т.е. отличить, например, фото от видео или текста. При изменении данных в коде строки, можно пометить для ИИ-системы любой контент как потенциально опасный — ред.). В результате человек может стать фигурантом расследования, а на самом деле его просто подставят.

Фингерпринт может использоваться не только для обнаружения CSAM-контента – это значит, что правительство может добавлять в базу данных изображения политических плакатов и тому подобное. Мэттью Грин опасается, что инструмент Apple, предназначенный для выявления преступников, будут использовать для борьбы с оппозиционерами и неугодными активистами, правозащитниками и пр.

Подход Apple к проверке контента на устройстве может фактически превратить защиту приватности в уязвимость. При наличии сквозного шифрования, применяемого в iMessage, Apple не сможет видеть содержимое сообщений или показать содержимое переписки властям даже при наличии постановления суда. Однако если правительство внедрит цифровые отпечатки для текстов определенного типа, к примеру, таких, которые содержат данные о времени и месте проведения планируемой акции протеста, — тогда оно сможет создать базу данных политических оппонентов.

Зачем Apple такое обновление iОС

Принято считать, что нулевая и стопроцентная конфиденциальность — плохая идея, поэтому государства ищут баланс где-то посредине. Например, во многих стран полицейские не могут просто так ворваться в дом и провести обыск – для этого нужно иметь веские аргументы и судебный ордер, даже если речь идет о терроризме или насилием над детьми. Такая же проблема и с цифровой приватностью. Apple использует высокую степень конфиденциальности в качестве маркетингового инструмента, а потому оказалась в сложном положении.

Грин признает, что Apple может принять меры предосторожности. Например, компания может захотеть создать собственные цифровые отпечатки из изображений, полученных от властей, либо отказаться от сканирования текста, но и это создает риски для пользователей. В то же время, в резервных копиях iCloud не используется сквозное шифрование, поэтому Apple может передать правоохранителям с ордером любые данные, хранящиеся в "облаке", а это большая часть личных файлов на смартфонах.

"Apple могла бы легко использовать сквозное шифрование для резервного копирования iCloud, но решила не делать этого, и я уверен, что это тщательно продуманное решение. Компания считает, что это защищает большинство пользователей, поскольку компания имеет надежные внутренние меры безопасности и публикует данные только по приказу суда, в то же время ограничивая давление, с которым она сталкивается со стороны правительств", — пишет аналитик 9to5mac Бен Лавджой.

По его мнению, возможно, что это первый шаг к новому компромиссу со стороны Apple: в будущем она переходит на шифрование E2E для резервных копий iCloud, которое включает в себя фотографии и видео, но также встраивает механизм, с помощью которого правительства могут сканировать библиотеки фотографий, и, может быть, даже сообщений.

Ранее писали, как Apple уделала Facebook новой политикой конфиденциальности. Компания позволила пользователям своих устройств отключать сбор данных для подбора рекламы.