Apple скануватиме iPhone у пошуках забороненого контенту: що потрібно знати користувачам

Apple анонсувала сканування iPhone, iPad та інших пристроїв на предмет контенту про насильство над дітьми. Фокус розбирався, як працює нова ШІ-система і з якими проблемами ризикують зіткнутися користувачі.

ШІ для боротьби з насильством: як це працює

Як повідомляє власне Apple, в iOS та iPadOS будуть використані нові криптографічні технології, щоб обмежити поширення Child Sexual Abuse Material (CSAM) в інтернеті, зберігаючи при цьому конфіденційність джерел. Компанія повідомлятиме правоохоронцям про колекції таких фото, якщо знайде їх у сховищі iCloud, а віртуальний помічник Siri та система пошуку будуть перешкоджати пошуку контенту, пов'язаного з насильством над дітьми.

Нововведення з'являться з виходом оновлення для iOS 15, iPadOS 15, watchOS 8 і macOS Monterey, яке повинно вийти до кінця 2021 року. В ОС будуть впроваджені алгоритми штучного інтелекту, завдання яких — виявляти CSAM-матеріали в повідомленнях і сховищі iCloud.

Як стало відомо Financial Times, Apple використовує машинний алгоритм neuralMatch, який навчили за допомогою 200 тис. зображень з Національного центру зниклих безвісти й експлуатованих дітей. На перших порах система буде запущена і протестована в США.

Знайдений підозрілий вміст в iCloud Photos, система зіставлятиме із зображеннями з бази даних, доступ до якої нададуть держоргани. Контроль здійснюється шляхом криптографічної технології перетину приватних наборів, яка шукає збіги без розкриття результату. Зрештою зображення завантажується в хмару з відповідною міткою — ваучером безпеки.

Експерт розповів, як можна підставити будь-яку людину й обдурити ШІ

Ментт'ю Грін, фахівець із шифрування з Університету Джона Гопкінса, розповів про проблемні моменти в процесі пошуку слідів CSAM-контенту порталу 9to5mac. Експерт повідомив, що якщо йдеться про точну копію зображення, то користувачеві достатньо обрізати один піксель, щоб уникнути виявлення. Тому система буде звертати увагу на фото та відео, які були змінені, проте ШІ може позначати і файли з абсолютно безневинним вмістом.

У зв'язку з цим можуть виникнути дві проблеми, вважає Грін. По-перше, якщо Apple або правоохоронці перевіряють фото і не знаходять крамоли — конфіденційність користувача при цьому все одно порушена. По-друге, навіть підозра в такому злочині може зіпсувати життя людини: її репутацію, кар'єру, стосунки. До того ж, пристрої можуть надовго конфіскувати для розслідування.

Експерт каже, що можна навмисно зробити будь-яке зображення компроматним за допомогою технологій цифрового відбитка і хеширування (цифровий відбиток, або фінгерпрінт — інформація, зібрана про віддалений пристрій / файл для подальшої ідентифікації, — ред.) недоброзичливець може відправити користувачеві фото, що невинно виглядає, яке система розпізнає як CSAM (у процесі хеширування дані перетворюються на бітовий рядок встановленої довжини. Цей специфічний рядок коду дає ШІ можливість розпізнати вихідні дані, тобто відрізнити, наприклад, фото від відео або тексту. Після зміни даних у коді рядка, можна позначити для ШІ-системи будь-який контент як потенційно небезпечний — ред.). Зрештою людина може стати фігурантом розслідування, а насправді її просто підставлять.

Фінгерпрінт може використовуватися не тільки для виявлення CSAM-контенту — це значить, що уряд може додавати в базу даних зображення політичних плакатів тощо. Метт'ю Грін побоюється, що інструмент Apple, призначений для виявлення злочинців, будуть використовувати для боротьби з опозиціонерами та неугодними активістами, правозахисниками тощо.

Підхід Apple до перевірки контенту на пристрої може фактично перетворити захист приватності на вразливість. За наявності наскрізного шифрування, що застосовується в iMessage, Apple не зможе бачити вміст повідомлень або показати вміст листування владі навіть за наявності постанови суду. Однак якщо уряд запровадить цифрові відбитки для текстів певного типу, наприклад, таких, які містять дані про час і місце проведення запланованої акції протесту, — тоді він зможе створити базу даних політичних опонентів.

Навіщо Apple таке оновлення iОС

Заведено вважати, що нульова і стовідсоткова конфіденційність — погана ідея, тому держави шукають баланс десь посередині. Наприклад, у багатьох країнах поліцейські не можуть просто так увірватися в будинок і провести обшук — для цього потрібно мати вагомі аргументи та судовий ордер, навіть якщо йдеться про тероризм або насильство над дітьми. Така ж проблема і з цифровою приватністю. Apple використовує високий ступінь конфіденційності як маркетинговий інструмент, а тому опинилася в складному становищі.

Грін визнає, що Apple може вжити заходів обережності. Наприклад, компанія може захотіти створити власні цифрові відбитки із зображень, отриманих від влади, або відмовитися від сканування тексту, але й це створює ризики для користувачів. У той же час, у резервних копіях iCloud не використовується наскрізне шифрування, тому Apple може передати правоохоронцям з ордером будь-які дані, що зберігаються в "хмарі", а це велика частина особистих файлів на смартфонах.

"Apple могла б легко використовувати наскрізне шифрування для резервного копіювання iCloud, але вирішила не робити цього, і я впевнений, що це ретельно продумане рішення. Компанія вважає, що це захищає більшість користувачів, оскільки компанія має надійні внутрішні заходи безпеки і публікує дані тільки за наказом суду, в той же час обмежуючи тиск, з яким вона стикається з боку урядів", — пише аналітик 9to5mac Бен Лавджой.

На його думку, можливо, що це перший крок до нового компромісу з боку Apple: в майбутньому вона переходить на шифрування E2E для резервних копій iCloud, яке враховує фотографії та відео, але також вбудовує механізм, за допомогою якого уряди можуть сканувати бібліотеки фотографій, і, можливо, навіть повідомлень.

Раніше писали, як Apple втерла носа Facebook новою політикою конфіденційності. Компанія дозволила користувачам своїх пристроїв відключати збір даних для підбору реклами.