Штучний інтелект і ядерні загрози: алгоритмічні ігри "на слабо"

Протягом усієї російсько-української війни лунали російські ядерні погрози та попередження. Ця небезпечна риторика посилювалася і радикалізувалася за допомогою технологій штучного інтелекту — кібероперацій "під чужим прапором", фейкових новин і дипфейків. Протягом усієї війни обидві сторони посилалися на привид ядерної катастрофи, включно з неправдивими заявами Росії про те, що Україна створює "брудну бомбу", і твердженням президента Володимира Зеленського, що Росія заклала вибухівку, щоб спричинити ядерну катастрофу на одній з українських електростанцій. Світ знову змушений мати справу з психологічною стороною застосування найруйнівнішої зброї в нову епоху ядерного балансування.

Фокус переклав статтю Джеймса Джонсона про те, як штучний інтелект і ядерні загрози змінюються з розвитком технологій.

Швидкий технологічний розвиток ШІ ставить питання про делегування повноважень із запуску ядерної зброї ШІ (або позалюдським системам управління ядерною зброєю), що розглядається водночас як небезпечний і потенційно стабілізуючий. Небезпека такого делегування полягає в тому, що зброю можна запустити випадково. Потенційно ж воно стабілізує ситуацію, оскільки знижується ймовірність планування ядерного удару, якщо відомо, що дії у відповідь здійснюватимуться з автономністю, машинною швидкістю і точністю. Принаймні наразі серед ядерних держав існує консенсус, що руйнівні наслідки випадкового обміну ядерними ударами зводять нанівець усі потенційні переваги автоматизації автоматизації запуску ядерної зброї у відповідь.

Проте важливо відповісти на запитання: як війна з використанням ШІ може вплинути на психологію людей під час ядерних криз? Теорія Томаса Шеллінга про "загрозу, що залишає місце випадковості" (тобто ризик того, що військову ескалацію неможливо повністю контролювати) допомагає аналітикам зрозуміти, як і чому ядерні держави можуть маніпулювати ризиком для досягнення конкурентної переваги в переговорних ситуаціях, і як це змагання гри на нервах, рішучості й авторитеті може призвести держави до ненавмисного вступу у війну. Як динаміка епохи штучного інтелекту може вплинути на теорію Шеллінга? Висловлені Шеллінгом міркування про стабільність криз між суперниками, що володіють ядерною зброєю, в епоху технологій, що дають змогу використовувати ШІ в контексті ширшої інформаційної екосистеми, пропонують новий погляд на "ядерну дилему ШІ" — перетин технологічних змін, стратегічного мислення та ядерного ризику.

У цифрову епоху поєднання збільшеної швидкості, усіченого процесу ухвалення рішень, технологій подвійного призначення, зниження рівня людської компетентності, критичної вразливості мереж і дезінформації вносить у кризи більше випадковості та невизначеності. Це створює нові шляхи для ненавмисної ескалації конфлікту до ядерного рівня. Нові вразливості та загрози (уявні чи інші) для архітектури ядерного стримування держав у цифрову епоху стануть новими генераторами випадкових ризиків — механічних відмов, людських помилок, хибних тривог і несанкціонованих пусків.

Ці вразливості зроблять нинішні та майбутні кризи (Росія — Україна, Індія — Пакистан, Тайванська протока, Корейський півострів, Південно-Китайське море тощо) схожими на багатокористувацьку гру в "слабко", де під ядерною тінню сходяться "щось випадкове" Шеллінга, невизначеність, удача і помилка контролю. У цій небезпечній грі кожна зі сторін може збільшити ризик того, що криза ненавмисно переросте в ядерну війну. Простіше кажучи, ризики ядерних держав, які використовують "випадковість" Шеллінга у війні із застосуванням ШІ, перекривають усі можливі вигоди від небезпечних ігор.

Машина Судного дня: "Маленька чорна скринька" Шеллінга

Як різні структури ядерного командування, управління та зв'язку можуть вплинути на компроміс між випадковістю та контролем? Дослідження показують, що на випадковість впливає нездатність як позитивного (функції та процедури, які дають змогу вивільнити ядерні сили за командою відповідного органу), так і негативного контролю (функції, що перешкоджають їхньому використанню в іншому випадку) ядерної зброї. Наприклад, деякі науковці обговорюють вплив на стабільність і стримування подальшої автоматизації систем управління, контролю та зв'язку в ядерній сфері сучасних "машин Судного дня", таких як російський "Периметр" (відомий на Заході як "Мертва рука") — радянська автоматизована система ядерного удару у відповідь, в якій, як стверджують деякі ЗМІ, тепер використовуються технології штучного інтелекту.

З раціоналістичного погляду, реакція автономного пускового пристрою ("маленької чорної скриньки" Шеллінга) залежатиме від дій супротивника і, як передбачається, буде чітко доведена до його відома, стратегічна двозначність зменшиться, а отже, підвищиться ефективність стримування. Інакше кажучи, що "автоматичнішим він буде, то менше у противника залишиться стимулів перевіряти мої наміри, граючи на нервах і подовжуючи період ризику". У контексті взаємного гарантованого знищення переконливою і, отже, ефективною була б тільки погроза застосування зброї, яка активізується під час провокації, незалежно від обставин. Крім того, автономна машина позбавить людину, яка ухвалює рішення, необхідності зберігати рішучість у виконанні морально і раціонально обґрунтованої погрози, і, усунувши сумніви, закладені в моральних інстинктах людини зі свободою волі, забезпечить достовірність загрози стримування.

Із психологічного погляду, повністю позбавляючи людину можливості діяти (тобто після активації пристрою людина нічого не може зробити, щоб зупинити його), вибір ескалації (або деескалації) кризи лягає на заздалегідь запрограмовані й незмінні цілі машини. Така мета, своєю чергою, "автоматично втягує нас обох у війну, якщо того чи іншого дня виникає потрібна (або не потрібна) комбінація", поки вимоги суб'єкта не будуть задоволені. Жахлива невизначеність, випадковість і непередбачувані обставини, що виникнуть унаслідок передання права вибору й контролю над ядерним вибухом нелюдському агенту — навіть якщо параметри й протоколи запуску пристрою будуть чітко запрограмовані для стримування агресії — збільшать ризик як позитивних (наприклад, кібератаки, протидії рою дронів або псування даних), так і негативних збоїв (наприклад, операцій "під чужим прапором", вдосконалених ШІ постійних загроз або спуфінгу) систем керування, контролю й зв'язку ядерного оркестру, а також систем контролю, контролю і зв'язку, що працюють в умовах, коли ядерне обладнання не може бути використане в умовах, що не відповідають вимогам.

Ба більше, повна автоматизація процесу запуску ядерної зброї (тобто дії без участі людини в процесі пошуку, супроводу та запуску цілі) не тільки омине моральні вимоги теорії справедливої війни (наприклад, відсутність правових гарантій запобігання конфлікту та захисту невинних), а й порушить вимогу jus ad bellum щодо наявності належних повноважень, а значить, у принципі, буде нелегітимною.

Таким чином, внісши в ситуацію невизначеності та випадковості (тобто примушуючи супротивника гадати) стосовно того, як той чи інший суб'єкт може відреагувати на різноманітні непередбачувані обставини, і за умови, що є ясність щодо намірів противника, ми можемо отримати певну стримувальну цінність. Якщо, на відміну від тактики "божевільного", результат частково або повністю визначається екзогенними механізмами і процесами, які нібито не піддаються контролю і розумінню лідерів, то виникає реальний і тривалий ризик. На противагу цьому загроза, що походить від зовнішніх щодо учасників чинників, може стати меншим випробуванням волі й рішучості супротивників, що призведе до того, що одній зі сторін буде менш витратно — з погляду репутації та статусу — відступити від краю прірви.

Психологія людини та "загроза випадковості" в алгоритмічній війні

У книзі "Нелогічність американської ядерної стратегії" Роберт Джервіс пише, що "роботу машин і реакцію людей під час стресу неможливо передбачити з високим ступенем достовірності". Критики зазначають, що, хоча "загрози, які залишають щось на волю випадку" зводять роль людської поведінки під час ухвалення рішень до міркувань про переконливість загрози, проблеми зобов'язань і маніпулювання ризиком, дослідження Шеллінга непропорційно великою мірою спираються на економічні моделі раціонального вибору. Деякі вчені критикують основні припущення Шеллінга і в інших аспектах.

Два когнітивних упередження показують, що лідери схильні до недооцінки випадкового ризику під час ухвалення кризових рішень. По-перше, як уже зазначалося, існує "ілюзія контролю", що може змусити лідерів бути надто впевненими у своїй спроможності контролювати події, ризикуючи (особливо ненавмисно або випадково) призвести до ескалації кризи або конфлікту. По-друге, лідери схильні вважати противника більш централізованим, дисциплінованим і скоординованим, а отже, таким, що більше контролює ситуацію, ніж вони самі.

Крім того, у "випадкових погрозах" ігнорується емоційна та еволюційна цінність відплати і насильства, що вкрай важливо для розуміння процесів, які лежать в основі теорії Шеллінга. Згідно з Шеллінгом, завдаючи страждання, нічого не можна отримати або захистити безпосередньо; натомість "можна тільки змусити людей поводитися так, щоб уникнути цього". У техаському журналі "Огляд національної безпеки" Макдермотт та ін. писали, що "людська психологія помсти пояснює, чому і коли політики охоче беруть на себе зобов'язання щодо інших, очевидно "ірраціональних", заходів відплати" — а це ключове поняття для ядерного потенціалу другого удару. Оскільки удар у відповідь не може запобігти атомній катастрофі відповідно до економіко-раціональних моделей, він не має логічного обґрунтування.

В основі поняття стримування — як у військовій, так і в інших сферах — лежить неявне припущення про існування достатньо сильних мотивів для удару у відповідь, коли, навіть якщо удар у відповідь не принесе стратегічних вигод, супротивник однаково має на нього очікувати. Інший парадокс стримування — загроза нападу на супротивника в разі його небажаної поведінки; якщо вдається переконати супротивника в погрозі, то шкода, завдана йому, не має особливого значення. Одним словом, стримування за своєю суттю є психологічним феноменом. Воно використовує загрози для маніпулювання сприйняттям ризику противником, щоб переконати його в недоцільності силової відповіді.

Людські емоції — психологічні процеси, що включають суб'єктивні зміни, оцінки та інтерсуб'єктивні судження, які зміцнюють переконання, — та еволюція можуть допомогти пояснити, яким чином невизначеність, випадковість і шанс вклинюються в кризу, незважаючи на те, що "раціональні" учасники зберігають певний контроль над своїм вибором. Нещодавні дослідження еволюційних моделей, що виходять за рамки традиційних когнітивних теорій, дають змогу по-новому поглянути на те, як конкретні емоції можуть впливати на довіру і стримування. Крім помсти, дипломатію насильства супроводжують й інші емоції, як-от прагнення до статусу, гнів, страх і навіть переважно чоловіча еволюційна схильність до відчуття смаку крові після досягнення почуття перемоги. Таким чином, психологічна цінність, що надається відплаті, може також впливати на сприйняття, переконання і уроки досвіду лідерів, які визначають вибір і поведінку в кризових ситуаціях. Шеллінг використовує термін "взаємний страх раптового нападу" — уявлення про те, що ймовірність раптового нападу виникає тому, що обидві сторони бояться одного й того самого, — щоб висвітлити цей психологічний феномен.

Наприклад, нещодавнє дослідження довіри населення до ШІ показало, що вік, стать і спеціальні знання можуть впливати на толерантність людей до ризику під час використання ШІ, включно з автономною зброєю і прогнозуванням злочинів. Ці аспекти людської психології можуть також допомогти пояснити, здавалося б, парадоксальне співіснування передових збройових технологій, що обіцяють швидкість, дистанцію і точність (тобто безпечніші форми примусу), зі збереженою схильністю до суто людських ігор на нервах на межі ядерної війни. Емоційно-когнітивні моделі, однак, не обов'язково прямо суперечать класичним раціональним моделям. Навпаки, ці моделі можуть доповнювати й розвивати раціональні моделі, забезпечуючи критичне розуміння людських вподобань, мотивів і сприйняття з еволюційної та когнітивної точок зору.

Лідери, які діють у різних політичних системах і часових контекстах, звісно ж, демонструватимуть різні діапазони емоційної свідомості і, відповідно, різний ступінь здатності регулювати і контролювати свої емоції. Ба більше, оскільки різні емоційні стани можуть спричиняти різне сприйняття ризику, лідери можуть виявитися схильними до переоцінки своєї здатності контролювати події та недооцінки ролі удачі й випадковості, а відтак, і до неправильного сприйняття намірів інших та переоцінки своєї здатності впливати на перебіг подій. Наприклад, перелякані люди, як правило, більш схильні до ризику у своїх рішеннях і поведінці порівняно з людьми, що виявляють гнів або мстивість і схильними невірно оцінювати характер ризиків, що виникають.

Література з ядерного стримування припускає, що стримувальний ефект ядерної зброї ґрунтується на нераціональному страху (або "екзистенціальному упередженні") на противагу раціональному розрахунку ризику, що ініціює ітеративний процес навчання, який забезпечує роботу екзистенціалістського стримування. Хоч би якими були когнітивні витоки цих поглядів, про які ми поки що знаємо дуже мало, вони, тим не менш, чинитимуть фундаментальний вплив на сприйняття загроз лідерами та їхні когнітивні диспозиції.

Дійові особи зазнають впливу як мотивованих ("керованих афектом"), так і невмотивованих ("когнітивних") упереджень, оцінюючи, чи становлять інші сторони загрозу. Ба більше, у періоди стресу та кризи вплив цих психологічних чинників посилюється, що може спотворити об'єктивну оцінку загроз і, відповідно, обмежити можливості співпереживання. На сприйняття людини значною мірою впливають її переконання про те, як влаштований світ, і шаблони, ментальні конструкції та схильності, що виникають на їхній основі, найімовірніше, представлятимуть нас. Джервіс пише: "Особа, яка ухвалює рішення, що вважає іншу сторону скоріше ворожою, сприйматиме неоднозначну інформацію як таку, що підтверджує цей образ, тоді як ту саму інформацію про країну, яку вважають дружньою, сприйматимуть більш доброзичливо".

На груповому рівні напад члена іншої групи часто використовують як цапа-відбувайла, щоб приписати "образ ворога" (злісного, опортуністичного, згуртованого тощо) групі як єдиному акторові, щоб викликати рішучість і силу для відплати — антропологи називають це "помстою третьої сторони" або "вікарною відплатою". У міжнародних відносинах така міжгрупова динаміка, здатна хибно характеризувати супротивника і "ворога", чиї переконання, образи і вподобання незмінно змінюються, чревата риторичною і збройною ескалаційною відповідною поведінкою, пов'язаною з дилемою безпеки.

Маючи здатність впливати на міжгрупову динаміку (пояснювати події, мобілізувати політичні ресурси, впливати на суспільний дискурс тощо), політичні лідери, як правило, особливо сприйнятливі до погроз з боку зовнішньої групи, а відтак із більшою ймовірністю санкціонують відплату за напад з боку зовнішньої групи. Зростаючий масив літератури із соціальної психології показує, що поява, схвалення і, зрештою, вплив політичних лідерів залежать від того, як вони втілюють, репрезентують і утверджують ідеали, цінності та норми своєї (тобто внутрішньої) групи, а також від того, наскільки вони відрізняються від ідеалів, цінностей і норм зовнішньої групи.

Цифрова епоха, що характеризується дезінформацією, "бульбашками фільтрів" і "відлунням-камерами" у соціальних мережах і швидко поширюється автоматизованими соціальними ботами, поглиблює ефект розпалювання поляризаційних хибних ідей на підтримку опіонізаційних кандидатів за таких вкрай популістських і поляризованих умов, як вибори 2016 і 2020 років у США і референдум 2016 року щодо Brexit. На думку дослідників соціальної ідентичності Александра Хаслама та Майкла Платоу, існують переконливі докази того, що потяг людей до певних груп та їхня подальша поведінка, яка підтверджує ідентичність, визначаються "не особистим потягом та інтересом, а радше зв'язками на рівні групи". Така групова динаміка може наражати осіб, які ухвалюють рішення, на підвищений тиск "риторичної пастки", унаслідок чого альтернативні варіанти політики (життєздатні чи інші) можуть бути проігноровані або відкинуті.

Більшість досліджень свідчить про криволінійну траєкторію ефективності прийняття рішень у період стресу. Кілька особливостей людської психології впливають на нашу здатність міркувати в умовах стресу. По-перше, великий обсяг інформації, доступний особам, які ухвалюють рішення, у кризових ситуаціях, як правило, складний і неоднозначний. В епоху цифрових технологій алгоритми машинного навчання дають змогу збирати, статистично корелювати, розбирати й аналізувати величезні масиви даних у режимі реального часу. По-друге, брак часу у ході криз створює велике когнітивне навантаження на людину. По-третє, тривала робота в умовах недостатнього відпочинку, а також величезне навантаження, якого зазнають керівники, ухвалюючи рішення, що потенційно мають екзистенційні наслідки (у випадку з ядерною зброєю), ще більше перешкоджають ухваленню правильних рішень під тиском. У сукупності ці психологічні проблеми можуть перешкоджати здатності суб'єктів надсилати та приймати тонкі, ледь вловимі та складні сигнали, які дають змогу оцінити переконання, образи та сприйняття ризику противником, що вкрай важливо для ефективного стримування.

Незважаючи на те, що засоби ШІ можуть поліпшити обізнаність про поле бою і, по суті, дати командирам більше часу на роздуми, вони несуть у собі стратегічні витрати, не в останню чергу прискорюючи темп ведення бойових дій і скорочуючи терміни ухвалення рішень. Інструменти ШІ також можуть стати потенційним засобом зниження (або розвантаження) когнітивного навантаження на людей і, отже, полегшення стресу, спричиненого кризою, а також сприйнятливості людей до таких явищ, як когнітивні упередження, евристика та групове мислення. Однак скорочення кількості запитів на отримання широкого спектра думок для розгляду альтернатив навряд чи можливе за рахунок впровадження нових технологій. Таким чином, подальше звуження простору для роздумів і обговорень посилює наявні психологічні процеси, які можуть перешкоджати ефективному прийняттю рішень у кризових (і некризових) ситуаціях, а саме: уникнення складних компромісів, обмежене співпереживання супротивникам та неправильне сприйняття сигналів, які подають інші.

У своїх судженнях люди спираються на такі здібності, як міркування, уява, вивчення, роздуми, соціальний та історичний контекст, досвід і, що важливо для криз, емпатія. За словами філософа Джона Дьюї, мета судження — "довести неповну [і невизначену] ситуацію до її завершення". Людські судження і рішення, що випливають із них, мають внутрішній моральний та емоційний вимір. Алгоритми машинного навчання, навпаки, генерують рішення після обробки масивів даних шляхом накопичення обчислень, розрахунків і раціональних правил. У міру розвитку ШІ, що підміняє людські судження нечіткою машинною логікою, люди, найімовірніше, чіплятимуться за ілюзорну оболонку своєї здатності зберігати людський контроль і управління ШІ в міру його розвитку. Таким чином, схильні до помилок і недоліків системи ШІ продовжуватимуть призводити до непередбачених наслідків, докорінно не пов'язаних із людиною.

У бойових діях із застосуванням ШІ поєднання швидкості, інформаційного перевантаження, складних і тісно пов'язаних систем і багатополярності, імовірно, посилить наявну схильність людей до відмови від нюансів і балансу в кризових ситуаціях для підтримки евристичної керованості складних і динамічних ситуацій. Таким чином, помилкові уявлення про супротивника і його образи, сформовані на основі раніше існуючих уявлень, можуть бути скоріше поглиблені, ніж виправлені під час кризи. Ба більше, кризове управління, здійснюване з невтомною швидкістю машини, що стискає тимчасові рамки ухвалення рішень, і нелюдські агенти, залучені до процесу ухвалення рішень, призведуть до того, що навіть якщо з'явиться однозначна інформація про наміри супротивника, тиск часу, найімовірніше, відсіє (або повністю обмежить) тонкі сигнали і ретельне обмірковування дипломатії. Таким чином, труднощі, з якими стикаються актори під час одночасного висловлення рішучості з якогось питання і готовності до стриманості, тобто під час подачі сигналу про те, що вони поки що утримаються від вогню, ускладнюватимуться в геометричній прогресії через когнітивні й технічні перешкоди, пов'язані із впровадженням нелюдських агентів для участі (або заміщення) у фундаментально людських починаннях.

Ба більше, когнітивні дослідження показують, що привабливість точності, автономності, швидкості, масштабу і смертоносності в поєднанні зі схильністю людей до антропоморфізму, когнітивного розвантаження та упередження проти автоматизації можуть розглядати ШІ як панацею від описаних вище когнітивних недоліків людського аналізу і ухвалення рішень. Шанобливе ставлення людей до машин (яке передувало ШІ) може бути зумовлене припущенням про те, що (а) рішення ухвалюють на основі жорсткої емпіричної науки, (б) алгоритми ШІ функціонують на швидкостях і складнощах, що перевищують людські можливості, або (в) тим, що люди бояться, що машини їх переграють або перехитрують. Тому легко зрозуміти, чому люди схильні розглядати судження алгоритму (як для інформування, так і для ухвалення рішень) як авторитетні, особливо якщо врахувати, що людські рішення і судження та автономність машин перетинаються в різних точках континууму на кожному етапі ланцюжка вбивства.

Керування алгоритмічним протиборством

Зважаючи на обмеженість емпіричних даних щодо ядерної ескалації, погроз, блефу і припинення війни, наведені аргументи (як і в Шеллінга) мають здебільшого дедуктивний характер. Іншими словами, висновки робляться на основі різних правдоподібних (і спірних) теоретичних законів і статистичних міркувань, а не емпіричним шляхом. Заповнити цю емпіричну прогалину допомагають надійні фальсифіковані контрфактичні моделі, що фальсифікуються, які пропонують уявні сценарії, що спростовують загальноприйняті уявлення, припущення і людські упередження (упередження заднім розумом, евристика, упередження доступності і тощо). Контрфактичне мислення також дає змогу уникнути пастки історичного та дипломатичного телосу, який ретроспективно вибудовує залежний від шляху причинно-наслідковий ланцюжок, часто ігноруючи або відкидаючи роль невизначеності, випадковості, удачі, самовпевненості, "ілюзії контролю" та когнітивних упереджень.

Ба більше, методи машинного навчання (моделювання, імітація та аналіз) можуть доповнити контрфактичні моделі та низькотехнологічні настільні ігри для виявлення умов, за яких можуть сформуватися "ідеальні шторми", — не для того, щоб їх передбачити, а скоріше для того, щоб кинути виклик загальноприйнятій думці, виявити упередженість та інерцію, щоб виявити та, в ідеалі, пом'якшити ці умови. Американський філософ Вільям Джеймс писав: "Поняття, вперше застосовані для пояснення явищ, часто стають надбанням громадськості, коли вони роблять їх незрозумілими".

Про автора

Джеймс Джонсон — викладач стратегічних досліджень в Абердинському університеті. Почесний науковий співробітник Лестерського університету, позаштатний співробітник проєкту "Назустріч третьому ядерному століттю", що фінансується Європейською дослідницькою радою, і співробітник Центру стратегічних досліджень з ядерної проблематики. Автор книги AI and the Bomb: Nuclear Strategy and Risk in the Digital Age (Oxford University Press, 2023). Його остання книга — The AI Commander: Centaur Teaming, Command, and Ethical Dilemmas (Oxford University Press, 2024).