Штучний інтелект і ядерна стабільність: як убезпечити системи "мертвої руки"

Політики всього світу намагаються розібратися в нових можливостях і небезпеках, які несе в собі штучний інтелект. Серед усіх наслідків ШІ для світу одним із найбільш значущих буде його інтеграція в систему управління ядерною зброєю. Неправильне використання ШІ в ядерних операціях може призвести до катастрофічних наслідків. При правильному застосуванні він може знизити ядерний ризик за рахунок поліпшення раннього попередження і виявлення та підвищення живучості потенціалу другого удару, що посилить стримування. Аби повною мірою скористатися цими перевагами, системи повинні враховувати сильні та слабкі сторони людей і машин. Успішні спільні людино-машинні когнітивні системи об'єднуватимуть точність і швидкість автоматизації з гнучкістю людських суджень і робитимуть це в такий спосіб, щоб уникнути упередженості автоматизації та передачі людських суджень машинам. Оскільки впровадження ШІ перебуває на ранній стадії, у Сполучених Штатів є можливість зробити світ безпечнішим, чіткіше виклавши свою політику, домігшись широкого міжнародного консенсусу і виступивши як законодавець нормативних тенденцій.

Фокус переклав статтю Майкла Деппа і Пола Шарре про те, як впровадження ШІ може вплинути на ядерну стабільність.

Сполучені Штати були надзвичайно відкритими й орієнтованими на перспективу в розробленні та публікації своєї політики щодо військового ШІ та автономних систем: вони опублікували свою політику щодо автономності зброї у 2012 році, ухвалили етичні принципи для військового ШІ у 2020 році й оновили свою політику щодо автономності зброї у 2023 році. В "Огляді ядерної політики" 2022 року міністерство офіційно і недвозначно заявило, що під час застосування ядерної зброї завжди буде присутня людина. У листопаді 2023 року понад 40 країн приєдналися до Сполучених Штатів, схваливши політичну декларацію про відповідальне військове використання ШІ. До числа держав, які підтримали декларацію, увійшли не тільки союзники США, а й країни Африки, Південно-Східної Азії та Латинської Америки.

Розвиваючи цей успіх, Сполучені Штати повинні домагатися укладення міжнародних угод із іншими ядерними державами, щоб знизити ризики інтеграції ШІ в ядерні системи або розміщення ядерної зброї на борту безпілотних транспортних засобів. Велика Британія і Франція випустили спільну заяву зі Сполученими Штатами 2022 року, в якій погодилися з необхідністю "зберігати людський контроль" над ядерними запусками. В ідеалі це могло б стати початком зобов'язань постійних членів Ради Безпеки ООН, якби вдалося переконати Росію і Китай приєднатися до цього принципу. Навіть якщо вони не захочуть погодитися, Сполучені Штати повинні продовжувати вдосконалювати свою власну політику, щоб усунути критичні прогалини, і працювати з іншими ядерними державами над зміцненням їхніх зобов'язань як тимчасовим заходом і способом досягнення міжнародного консенсусу з цього питання.

Небезпеки автоматизації

Оскільки збройні сили дедалі активніше впроваджують штучний інтелект і автоматизацію, необхідно терміново прояснити, як ці технології мають використовуватися в ядерних операціях. За відсутності офіційних угод держави ризикують зіткнутися з тенденцією повзучої автоматизації, яка може підірвати ядерну стабільність. Хоча політики зі зрозумілих причин не хочуть запроваджувати обмеження на нові технології, щоб не відмовитися від цінного майбутнього потенціалу, американські чиновники не повинні заспокоювати себе тим, що інші держави будуть відповідально підходити до використання ШІ та автоматизації в ядерних операціях. Такі приклади, як російська система "мертвої руки" "Периметр" і автономний підводний безпілотник з ядерною зброєю "Посейдон", показують, що інші країни можуть розглядати ці ризики інакше, ніж Сполучені Штати, і бути готовими до дій, які американські політики визнали б неприйнятними.

Наявні системи, такі як російський "Периметр", підкреслюють ризики, пов'язані з впровадженням державами автоматики в ядерні системи. "Периметр" — це система, створена Радянським Союзом у 1980-х роках для гарантування безпеки на випадок знищення радянського керівництва внаслідок знеголовлювального удару. Повідомляється, що "Периметр" оснащений мережею датчиків, які визначають, чи мав місце ядерний напад. Якщо ці датчики спрацьовують під час активації "Периметра", система чекатиме сигналу від вищого військового командування протягом заздалегідь визначеного періоду часу. Якщо сигналу зі штабу не надійде, імовірно тому, що радянське/російське керівництво було знищене, то "Периметр" обійде звичайний ланцюжок командування і передасть повноваження щодо запуску ядерної зброї відносно наймолодшому офіцеру на посаді. Високопоставлені російські чиновники заявили, що система досі функціонує, зазначивши в 2011 році, що вона "готова до бою", а в 2018 році — що вона була "вдосконалена".

Система розроблена для того, щоб зменшити навантаження на радянське керівництво, пов'язане із квапливим ухваленням рішення в умовах дефіциту часу і неповної інформації. Теоретично радянські/російські лідери могли б витратити більше часу на роздуми, знаючи, що існує безвідмовна система, яка гарантуватиме удар у відповідь, якщо Сполучені Штати матимуть успіх у знеголовлювальному ударі. Однак ціною цього є система, яка скоротить шлях до ядерного знищення в разі збою.

Дозвіл автономним системам брати участь в ухваленні рішень про ядерний запуск загрожує зниженням стабільності та збільшенням небезпеки збоїв. Інцидент зі Станіславом Петровим — наочний приклад небезпеки автоматизації ухвалення ядерних рішень. У 1983 році радянська система раннього попередження повідомила, що Сполучені Штати запустили кілька міжконтинентальних балістичних ракет. Підполковник Станіслав Петров, який чергував у той час, запідозрив, що в системі стався збій, оскільки кількість запущених ракет була підозріло малою, а самі ракети не були виявлені радарами раннього попередження. Петров повідомив про це як про несправність, а не про атаку, і правильно зробив. ШІ та автономним системам часто бракує розуміння контексту, яке є в людини і яке використовував Петров, аби зрозуміти, що повідомлення про запуск ракети було помилковою тривогою. Без людського судження на критичних етапах ядерних операцій автоматизовані системи можуть робити помилки або підвищувати рівень помилкової тривоги, збільшуючи ядерний ризик.

Ба більше, однієї лише присутності людини в системі недостатньо для забезпечення ефективного ухвалення рішень. Люди-оператори часто стають жертвами упередженості автоматики — стану, за якого люди надто довіряють автоматиці та віддають свої судження на відкуп машинам. Аварії із самокерованими автомобілями демонструють небезпеку надмірної довіри людей до автоматики, і військовий персонал не застрахований від цього явища. Щоб забезпечити когнітивну залученість людей у процес ухвалення рішень, військовим необхідно враховувати не тільки саму автоматику, а й психологію людини, а також людино-машинні інтерфейси.

У ширшому сенсі, під час розроблення людино-машинних систем необхідно усвідомлено визначати відповідні ролі людей і машин. Машини краще справляються з точністю і швидкістю, тоді як люди краще розуміють ширший контекст і застосовують судження. Занадто часто операторів-людей залишають заповнювати прогалини в тому, що не може зробити автоматика, виступаючи в ролі резервних або відмовостійких систем у тих крайніх випадках, з якими автономні системи не можуть впоратися. Але така модель часто не враховує реалії людської психології. Навіть якщо люди-оператори не стають жертвами упередженого ставлення до автоматизації, припустити, що людина може годинами пасивно спостерігати за виконанням завдання машиною, чи то самокерований автомобіль, чи то військова система озброєння, а потім раптово й правильно визначити проблему, коли автоматика не справляється, і різко перейти до дій, щоб узяти управління на себе, нереально. Людська психологія так не працює. І трагічні аварії зі складними високоавтоматизованими системами, як-от катастрофа літака 447 авіакомпанії Air France 2009 року та катастрофи 737 MAX у 2018 і 2019 роках, демонструють важливість врахування динамічної взаємодії між автоматикою та людьми-операторами.

Американські військові також знайомі з трагічними збоями автоматизованих систем, навіть якщо в них беруть участь люди. У 2003 році системи протиповітряної та протиракетної оборони Patriot армії США збили два дружніх літаки під час початкової фази війни в Іраку. В обох інцидентах люди були в курсі подій. Однак складне поєднання людських і технічних помилок призвело до того, що люди-оператори не до кінця розуміли складні, високоавтоматизовані системи, за які вони відповідали, і не могли ефективно керувати ними.

Військовим необхідно розробити посібник із проєктування систем, навчання операторів, доктрини та оперативних процедур, щоб гарантувати, що люди в системі не просто бездумні гвинтики в машині, а справді виявляють людське судження. Розробка конкретного керівництва для розробників і операторів зброї найбільш важлива в ядерній сфері, де наслідки збоїв можуть бути дуже серйозними.

Роз'яснення керівних принципів Міністерства оборони

Нещодавня політика і заяви про роль автономності та ШІ в ядерних операціях — це важливий перший крок у створенні інструкцій, але необхідні додаткові роз'яснення. В "Огляді ядерної політики" 2022 року йдеться про таке: "У всіх випадках Сполучені Штати триматимуть людину "в курсі" всіх дій, що мають вирішальне значення для інформування та виконання рішень президента про початок і припинення застосування ядерної зброї". Велика Британія ухвалила аналогічну політику 2022 року, заявивши у своїй оборонній стратегії штучного інтелекту: "Ми переконаємося, щоб незалежно від використання ШІ в наших стратегічних системах політичний контроль людини над нашою ядерною зброєю зберігався в будь-який час".

Це перші офіційні заяви про використання ШІ в ядерному командуванні та управлінні, що стали знаковими. Високопоставлені американські військові й раніше наголошували на важливості людського контролю над ядерною зброєю, включно із заявами генерал-лейтенанта Джека Шанахана, тодішнього директора Об'єднаного центру штучного інтелекту 2019 року. Однак офіційні політичні заяви мають ще більше значення, оскільки вони сигналізують як внутрішній, так і зовнішній військовій аудиторії про важливість того, щоб усі рішення щодо застосування ядерної зброї ухвалювалися людьми. Ці заяви, проте, залишають багато відкритих питань щодо реалізації.

Наступним кроком для Міністерства оборони буде переведення людського чинника на мову ядерних систем, доктрин і навчання. Ключові питання: які дії є "критичними для інформування та виконання рішень президента"? Чи складаються вони тільки з дій, що безпосередньо оточують президента, чи вони також включають дії далі по ланцюжку командування до і після президентського рішення? Наприклад, чи припустимо, щоб людина передала президенту засновану на алгоритмі рекомендацію про проведення ядерної атаки? Або ж людина має брати участь в інтерпретації даних і виносити своє власне людське судження?

Американські військові вже використовують ШІ для обробки інформації, наприклад супутникових знімків і відеозаписів з безпілотників. Імовірно, ШІ також буде використовуватися для аналізу розвідувальних даних, які можуть допомогти в ухваленні рішень про застосування ядерної зброї. За яких обставин ШІ доречний і корисний для ядерної стабільності? Чи є деякі додатки та способи використання ШІ більш цінними, ніж інші?

Яких запобіжних заходів має бути вжито для захисту від помилок, збоїв або підробленої інформації в системах ШІ? Наприклад, наразі Сполучені Штати використовують механізм "подвійної феноменології", щоб гарантувати, що потенційну ракетну атаку підтверджують два незалежні інструменти, такі як супутники та наземні радари. Чи повинні Сполучені Штати прийняти підхід із двома алгоритмами за будь-якого використання ШІ в ядерних операціях, забезпечуючи наявність двох незалежних систем ШІ, навчених на різних наборах даних із різними алгоритмами, як захист від спуфінг-атак або ненадійних систем ШІ?

Коли системи ШІ використовують для опрацювання інформації, як ця інформація має бути подана операторам-людям? Наприклад, якщо військові використовують алгоритм, навчений виявляти ознаки заправки ракети паливом, ця інформація може бути по-різному інтерпретована людиною, якщо система ШІ повідомить "заправка", а не "підготовка до запуску". "Заправка" — більш точний і достовірний опис того, що насправді виявляє система ШІ, який може спонукати людину-аналітика до пошуку додаткової інформації, тоді як "підготовка до запуску" — це висновок, який може бути або не бути доречним залежно від ширшого контексту.

Коли використовуються алгоритмічні рекомендаційні системи, який обсяг базових даних має безпосередньо переглядати людина? Чи достатньо операторам бачити лише висновок алгоритму, чи вони повинні мати доступ до вихідних даних, які обґрунтовують рекомендацію алгоритму?

Нарешті, який ступінь залученості в процес очікується від людини? Чи має людина просто бути присутньою як запасний варіант на випадок збою в роботі ШІ? Чи людина має бути залучена в процес аналізу інформації, вироблення дій і рекомендацій? Чи є деякі з цих етапів більш важливими, ніж інші, для участі людини?

Це найважливіші питання, які необхідно вирішити Сполученим Штатам, які прагнуть використовувати переваги ШІ в ядерних операціях і при цьому дотримуються політики "людського фактора". Що швидше Міністерство оборони відповість на ці питання, то більше воно зможе прискорити впровадження ШІ, щоб він був надійним і відповідав необхідним стандартам надійності для ядерних операцій. Прояснення цих питань не є надмірним обмеженням підходу США до ШІ. Інструкції завжди можна змінити з часом, у міру розвитку технології. Але відсутність чітких інструкцій загрожує тим, що ми втратимо цінні можливості використання ШІ або, що ще гірше, впровадимо ШІ таким чином, що це може підірвати ядерну стабільність і стримування.

Системи "мертвої руки"

Роз'яснюючи свою політику "людського чинника", Сполучені Штати повинні взяти на себе тверде зобов'язання відмовитися від систем запуску ядерної зброї "мертвої руки" або систем із постійним наказом на запуск, що включають у себе алгоритмічні компоненти. Системи "мертвої руки", подібні до російського "Периметру", здавалося б, мають бути заборонені поточною політикою Міністерства оборони. Однак Сполученим Штатам слід чітко заявити, що вони не будуть створювати такі системи з огляду на їхню небезпеку.

Попри всі ризики, деякі американські аналітики вважають, що Сполученим Штатам все ж таки слід прийняти на озброєння систему "мертвої руки" для реагування на появу нових технологій, таких як ШІ, гіперзвук і сучасні крилаті ракети. Однак існують і безпечніші методи реагування на ці загрози. Замість того щоб залишати майбутнє людства на відкуп алгоритмам, Сполучені Штати мають посилити свій потенціал другого удару у відповідь на нові загрози.

Деякі члени Конгресу США навіть висловили бажання прописати цю вимогу в законі. У квітні 2023 року двопартійна група представників представила закон про блокування запуску ядерної зброї автономним штучним інтелектом, який заборонить фінансування будь-якої системи, що запускає ядерну зброю без "значущого людського контролю". Існує прецедент законодавчої вимоги про те, що в стратегічних системах має бути присутня людина. У 1980-х роках, під час розроблення Стратегічної оборонної ініціативи (також відомої як "Зоряні війни"), Конгрес ухвалив закон, що вимагає "ствердного рішення людини на відповідному рівні влади" для стратегічних систем протиракетної оборони. Цей закон може послужити зразком для аналогічної законодавчої вимоги щодо використання ядерної зброї. Одна з переваг законодавчої вимоги полягає в тому, що вона гарантує неможливість скасування такої важливої політики майбутньою адміністрацією або керівництвом Пентагону без санкції Конгресу.

Ядерна зброя та безпілотні транспортні засоби

Сполучені Штати повинні аналогічним чином прояснити свою політику щодо ядерної зброї на безекіпажних транспортних засобах. США створюють новий стратегічний бомбардувальник B-21, що має ядерний потенціал, який у майбутньому зможе виконувати польоти без екіпажу, і розробляють великі підводні безпілотні апарати, які могли би нести бойове навантаження. Американські військові заявили, що не дуже-то хочуть розміщувати ядерну зброю на борту безпілотних платформ. У 2016 році тодішній командувач Глобального ударного командування ВПС генерал Робін Ренд зазначив, що при перевезенні ядерної зброї на B-21 завжди буде присутній екіпаж: "Якщо говорити відверто, то мені дуже подобається, коли людина перебуває в строю, особливо коли ми виконуємо місію подвійного призначення з ядерною зброєю". Думку генерала Ренда можуть поділяти старші офіцери, але вона не є офіційною політикою. Сполучені Штати мають ухвалити офіційну політику, згідно з якою ядерна зброя не розміщуватиметься на борту безпілотних платформ. Розробка такої політики може допомогти розробникам зброї і службам визначити відповідну роль безекіпажних платформ у ядерних операціях, оскільки Міністерство оборони розробляє більші безекіпажні і частково пілотовані платформи.

Ядерна зброя вже давно розміщується на безпілотних засобах доставки, таких як балістичні та крилаті ракети, але розміщення ядерної зброї на багаторазовій безпілотній платформі, такій як бомбардувальник, принципово відрізняється. Рішення людини про запуск ядерної ракети — це рішення про нанесення ядерного удару. Людина може відправити на патрулювання безпілотну платформу з двостороннім зв'язком, наприклад безпілотний бомбардувальник або підводний автономний апарат. У цьому випадку рішення людини про запуск безпілотника з ядерною зброєю ще не буде рішенням про нанесення ядерного удару. Замість цього безпілотник може бути відправлений на патрулювання як сигнал до ескалації або для підготовки до нанесення ядерного удару в разі подальшого рішення про його нанесення. При цьому величезна частка довіри буде покладена на канали зв'язку і бортову автоматику безпілотника, які можуть виявитися ненадійними.

Американські військові вже втрачали контроль над безпілотниками. У 2017 році невеликий тактичний армійський безпілотник пролетів понад 965 км від південної Аризони до Денвера після того, як армійські оператори втратили зв'язок. У 2011 році новітній американський стелс-безпілотник RQ-170 опинився в руках іранців після того, як американські оператори втратили з ним зв'язок над Афганістаном. Втрата контролю над безпілотником з ядерною зброєю може призвести до потрапляння ядерної зброї в чужі руки або, в гіршому випадку, до ескалації ядерної кризи. Єдиний спосіб зберегти ядерну стабільність — прямий, фізичний контроль людини над ядерною зброєю до моменту ухвалення рішення про нанесення ядерного удару.

Хоча американські військові, найімовірніше, не захочуть розміщувати ядерну зброю на борту безпілотного літака або підводного апарата, Росія вже розробляє подібну систему. Підводний автономний безпілотний апарат "Посейдон" або "Статус-6", як повідомляється, призначений для нанесення другого або третього ядерного удару по США. Як Росія збирається використовувати цю зброю, поки незрозуміло — і з часом може змінитися, — але в принципі таку безпілотну платформу, як "Посейдон", можна відправляти на патрулювання, ризикуючи потрапити в небезпечну аварію. Інші ядерні держави можуть побачити цінність у безпілотних літаках з ядерною зброєю або підводних апаратах у міру розвитку цих технологій.

Сполучені Штати повинні спиратися на свої нинішні наміри у формуванні глобальних норм використання ШІ у військових цілях і працювати з іншими країнами, щоб роз'яснити небезпеку безпілотників з ядерною зброєю. Як перший крок Міністерство оборони США має чітко заявити як офіційну політику, що воно не розміщуватиме ядерну зброю на двосторонніх, багаторазових безекіпажних платформах, таких як бомбардувальники або підводні апарати. Часом Сполучені Штати відмовлялися від небезпечної зброї в інших галузях, наприклад, від протисупутникової зброї, що спричиняє утворення сміття, і публічно заявляли про її небезпеку. Подібне роз'яснення небезпек безпілотників з ядерною зброєю могло б допомогти сформувати поведінку інших ядерних держав і, можливо, запобігти їхньому прийняттю на озброєння.

Висновок

Вкрай важливо, щоб ядерні держави підходили до інтеграції ШІ та автономності у свої ядерні операції продумано і виважено. Деякі додатки, наприклад, використання ШІ для зниження ризику раптового нападу, можуть підвищити стабільність. Інші застосування, такі як системи "мертвої руки", можуть бути небезпечними і дестабілізуючими. Російські системи "Периметр" і "Посейдон" демонструють, що інші країни готові піти на ризик у царині автоматизації та автономності, який американські лідери вважатимуть безвідповідальним. Сполученим Штатам необхідно розвивати нинішню динаміку, щоб прояснити свою власну політику і працювати з іншими ядерними державами над досягненням міжнародного консенсусу щодо відповідальних обмежень для ШІ в ядерних операціях. Чутки про американсько-китайську угоду щодо ШІ в ядерному командуванні та управлінні на зустрічі президента Джозефа Байдена і генсека Сі Цзіньпіна дають натяк на можливість об'єднання зусиль ядерних держав для захисту від ризиків інтеграції ШІ в найнебезпечнішу зброю людства. Сполучені Штати мають скористатися моментом і не проґавити цю можливість побудувати безпечніше і стабільніше майбутнє.

Про авторів

Майкл Депп — науковий співробітник проєкту з безпеки та стабільності ШІ в Центрі нової американської безпеки (CNAS).

Пол Шарре — виконавчий віцепрезидент і директор з досліджень CNAS, автор книги Four Battlegrounds: Power in the Age of Artificial Intelligence.