За Оруеллом: 30 років тому вчений передбачив, що трапиться, коли IT перейде на "темну сторону"

У 1994 році — до того, як у більшості з нас з'явився доступ до інтернету та персональні комп'ютери — професор і викладач Каліфорнійського університету Філіп Агре опублікував статтю, в якій по суті передбачив тотальний збір даних користувачів. "Цей процес змінить і спростить людську поведінку, — писав тоді він, будучи впевненим у тому, що люди охоче розлучаться з величезною кількістю найпотаємнішої інформації про себе. — По-справжньому тривожні події можуть здатися не такими вже поганими через відсутність явних жахів, як ті, що описав Оруелл у своїй в антиутопії", — вважав Агре.

Про висновки вченого, які стали пророчими, докладно розповідає колумніст The Washington Post Жан-Франсуа Подевен.

Майже 30 років по тому все так і сталося. Дані, зібрані соціальними мережами, пошуковими системами та мобільними додатками для безлічі цілей, використовуються, щоб впливати на людей, — будь-то покупка пральної машини або рішення віддати голос за того чи іншого кандидата на виборах.

"Дивує й те, що Агре передбачав авторитарне зловживання технологією розпізнавання осіб, він передбачив нашу нездатність протистояти добре продуманій дезінформації і те, що штучний інтелект буде використаний у злочинних цілях, — пише Подевен. — Але тоді його ніхто не слухав".

Хто такий Філіп Агре, і як йому вдалося випередити час

Автору колонки вдалося поспілкуватися лише з колишніми колегами та друзями професора. І в розмові з ним вони зізналися, що останнім часом все частіше перечитують роботи вченого і переконуються в його правоті. Особливо після захоплення Капітолію протестувальниками в січні 2021 року. У ті моменти вони усвідомили, наскільки непідконтрольними є BigTech-компанії та яку силу має інтернет.

На жаль, сам Філіп Agre не дає інтерв'ю. У 2009 році він пропав безвісти, залишивши свій будинок і роботу, нікого ні про що не попередивши. Рік по тому його знайшли поліцейські, а лікарі підтвердили його осудність. Однак з тих пір про нього нічого не чутно. Спроби зв'язатися з його сестрою та іншими членами сім'ї теж не увінчалися успіхом. Десяток колишніх колег і друзів поняття не мають, де Агре живе сьогодні. Хтось вважає, що він, як і раніше, проживає в Лос-Анджелесі, але це не точно.

У 1989 році Агре отримав докторський ступінь в Массачусетському технологічному інституті, і того ж року була винайдена всесвітня павутина — WWW. У той час навіть венчурні капіталісти Силіконової долини, які робили ставку на зростання комп'ютерних технологій, не уявляли собі, наскільки глибоко та швидко "комп'ютеризація всього" змінить життя, економіку та навіть політику. А Філіп вже на початку 90-х прийшов до висновку, що область штучного інтелекту розвивається в напрямку, який багато сьогодні визнають помилковим.

Узагалі багато ідей та висновків, які Агре описував у своїх наукових статтях, тільки недавно почали озвучувати як факт аналітичні центри та некомерційні організації, що займаються залученням технологічних компаній до відповідальності. Наприклад, незаперечним фактом є те, що ШІ вкрай погано розпізнає обличчя людей різних рас, тим самим виявляючи "упередженість".

"Я бачу, що те, про що Філ писав у 90-х, сьогодні подається як нові ідеї", — говорить Крістін Боргман, професорка інформаційних досліджень Каліфорнійського університету.

Жан-Франсуа Подевен впевнений, що краще зрозуміти технології та спрогнозувати їхній подальший розвиток Філіпу Агре допомогли гуманітарні науки. Його друзі підтвердили, що він сердився на своїх батьків і вчителів, які змушували його вчити тільки математику і нічого більше. Але подорослішавши, він відкрив для себе світ літератури та філософії. Він говорив, що припинивши аналізувати все на світі з точки зору логіки та математики, зрозумів, як насправді "влаштовані" високі технології та що їх чекає.

"Агре об'єднав своє розуміння гуманітарних і точних наук, щоб проаналізувати вплив, якого технології будуть завдавати суспільству в міру свого розвитку. Сьогодні багато що з його висновків мають вигляд пророкувань, які збулися", — резюмує колумніст.

Головні передбачення Філіпа Агре, які стали реальністю

Штучний інтелект стане великою проблемою для людства

За словами Джеффрі Боукера, почесного професора інформатики Каліфорнійського університету, стаття Агре 1997 року "Уроки, отримані при спробі реформувати ШІ" до сих пір вважається класикою. Тоді автор зауважив, що розробники нейромереж ігнорують критику, хоча саме критика повинна бути частиною процесу створення ШІ. "Висновок досить блискучий, і нам потрібно багато років, щоб зрозуміти це", — сказав Боукер.

"Тим не менш, ШІ сьогодні впроваджують навіть у "низькотехнологічні" галузі та дозволяють йому впливати на вибір більшості людей, що користуються інтернетом. Він "вказує", що дивитися на YouTube і що читати на Facebook, виносить вироки засудженим злочинцям, дає можливість компаніям автоматизувати та скорочувати робочі місця, а також дозволяє авторитарним режимам ефективніше контролювати громадян і запобігати спробам встановлення демократії", — пише Подевен.

Сучасний ШІ зосереджений на зборі та обробці величезних обсягів даних за допомогою потужних комп'ютерів. Але в міру розвитку цієї технології виникли проблеми — від дискримінації до поширення дезінформації — і деякі вчені говорять, що це частково тому, що її мало критикували, про що застерігав Агре 30 років тому.

Так, у грудні 2020 року через Google звільнили дослідницю штучного інтелекту Тімніт Гебру після того, як вона написала статтю про етичні проблеми, з якими стикаються розробники AI в компанії. Це ще раз доводить, що ця область не сприймає критику взагалі.

Інтернет і комп'ютери забезпечать збір даних буквально про всіх

У своїй статті 1994 року, опублікованій за рік до запуску Yahoo, Amazon і eBay, учений передбачав, що комп'ютери зможуть полегшити збір даних про "світове співтовариство" і що люди ігноруватимуть проблеми конфіденційності, тому що спостереження за ними буде здійснювати така велика кількість організацій (і в різних цілях), що неможливо буде зрозуміти, хто зі "збирачів", умовно, хороший, а хто поганий.

Маніпуляції суспільством за допомогою зібраних даних

Професор писав, що масовий збір даних змінить і спростить поведінку людей, а тому оцінювати різні спільноти стане простіше, як і прогнозувати їхню поведінку, настрій тощо.

"Це і відбулося в масштабах, які тоді мало хто міг уявити. І дані, отримані в результаті взаємодії людей онлайн, використовуються сьогодні для подальшого формування їхньої поведінки та маніпулювання нею", — продовжує Подевен.

Системи штучного інтелекту стежитимуть за людьми

У 2001 році професор написав: "Ваше обличчя — це не штрих-код", — протестуючи проти використання систем розпізнавання осіб у громадських місцях. У статті він передбачив, що, якщо технологія продовжить розвиватися в США, вона в підсумку буде взята на озброєння іншими країнами. Як приклад він навів Китай, і мав рацію.

20 років по тому в США вирують дебати з приводу використання технології розпізнавання осіб співробітниками правоохоронних органів і імміграційної служби, а деякі штати почали забороняти цю технологію в громадських місцях. Незважаючи на протести, вже занадто пізно обмежувати поширення технології. Китай, як і передбачав Агре, використовує її повсюди, що дозволило Комуністичної партії встановити безпрецедентний рівень спостереження.

За словами Джеффрі Боукера, професор Агре був розчарований тим, що сучасники не розуміли його. "Він відчував, що люди не розуміють того, що він говорить. Він писав для сліпих", — поділився Боукер.

Останнім проектом Агре була книга, присвячена аналізу роботи інтернету. На жаль, він її не закінчив. Кілька років тому колишні колеги з Каліфорнійського університету в Лос-Анджелесі спробували зібрати колекцію його робіт, щоб опублікувати, але вчений попросив їх цього не робити.