Повстання машин або рутинна перевірка. На що вказують військові симуляції із застосуванням ШІ

1 червня газета Guardian повідомила, що під час симуляції, яку проводили ВПС США, безпілотник зі штучним інтелектом "убив" свого оператора. За словами полковника Такера Гамільтона, начальника відділу випробувань і операцій ШІ ВПС, безпілотник отримав наказ знищити радарні установки противника, а коли він помітив, що люди-оператори можуть скасувати його рішення про відкриття вогню, то вирішив усунути їх, щоб продовжити виконання своєї місії без перешкод. Незважаючи на те, що це була всього лише симуляція, і ніхто не постраждав, історію з гучним заголовком підхопили новинні видання по всьому світу.

Спростування початкової статті вийшло через день, але шкоди вже було завдано: критики автономної зброї використовували статтю, щоб вказати на численні небезпеки таких систем. Однак у бурхливому потоці критики було упущено один ключовий момент: те, що система з використанням ШІ може проявити нові й небезпечні небажані моделі поведінки, — це не жахіття з наукової фантастики. Це реальна і важлива складова тестування та оцінки нових розроблюваних систем зброї.

Фокус переклав новий текст Натана Г. Вуда, присвячений військовим системам зі штучним інтелектом.

Практично за всіма ознаками початкова стаття була помилковою — таку симуляцію в реальності не проводили. Але, заради інтересу, що якби це було правдою? Що якби ВПС провели симуляцію з безпілотником зі штучним інтелектом і виявили, що той намагається вбити свого оператора? Чи означає це, що таким системам взагалі не можна довіряти, або що машини неминуче повстануть проти своїх творців? Чи означає це, що військові мають відмовитися від розроблення всіх автономних систем або систем зі ШІ?

Звісно, ні. ШІ має і матиме вирішальне значення для низки бойових систем. Якби історія Гамільтона сталася насправді, це просто означало б, що дедалі автономніші системи можуть проявляти нові форми поведінки, деякі з яких небажані, і що військові та постачальники озброєнь мають бути обережними під час розроблення такої зброї. Це не означає, що зброя з підтримкою ШІ або автономна зброя не створює етичних або юридичних проблем, але наголошує на необхідності випробувань і оцінювання нової зброї спеціально для пошуку таких проблем. І якщо проблеми виявлять, то відповідь має бути спрямована на їхнє вирішення, а не на те, щоб піддатися страхам і повністю відмовитися від проєкту. Ба більше, ретельне і прозоре тестування та оцінка необхідні для розроблення нових систем зброї, які мають бути максимально безпечними та надійними, але ця практика сильно постраждає, якщо відкритість щодо проблем, які виникають, призведе до закликів зупинити все, що розробляється. Під час розроблення зброї траплятимуться невдачі, але вони є найважливішою складовою прогресу.

Якщо серйозно поставитися до реалій розроблення зброї, а також до важливості проміжних невдач і недоглядів, стає зрозумілим, що військовим і урядам необхідно приділяти пильну увагу тому, коли й за яких обставин системи виходять з ладу. Однак ця увага має бути спрямована на усунення проблем. Якщо деякі з них усунути неможливо, тоді ці відомства повинні визначити, чи можна знизити подальші ризики, або ж проєкти варто повністю скасувати. У будь-якому разі, щоб дійти таких висновків, дуже важливо, щоб проєкт продовжував рухатися вперед, а не зривався після кожної невдачі та кожної хвилі критики, спричиненої гучним заголовком.

Роботи-вбивці

Автономні системи озброєння, які критики часто називають "роботами-вбивцями", є предметом численних суспільних дискусій, а міжнародні зусилля з регулювання їхнього розроблення та використання тривають уже багато років. Однак важливо пам'ятати, що автономна зброя є основою сучасних збройних сил протягом десятиліть. І Міністерство оборони США, і Міжнародний комітет Червоного Хреста визначають автономні системи зброї як системи, що можуть обирати та уражати цілі без втручання людини. Це охоплює не тільки футуристичні платформи, а й такі звичні речі, як баражуючі боєприпаси, протирадарні ракети і протиракетні системи типу Phalanx, які використовуються багатьма військово-морськими силами в усьому світі. Критики автономної зброї зазвичай виступають не проти цих випробуваних платформ, а проти автономних систем, які іноді можуть поводитися непередбачувано або будуть нездатні адекватно розрізняти законні цілі та цілі, які не можна атакувати.

Коли Гамільтон заявив, що безпілотник зі штучним інтелектом "убив оператора, бо той заважав йому виконати своє завдання", це зіграло прямо на руку критикам: нібито така зброя буде непередбачуваною, неконтрольованою і за своєю суттю небезпечною.

Прессекретарка ВПС Енн Стефанек відповіла, що "Міністерство ВПС не проводило жодних подібних симуляцій безпілотного ШІ і, як і раніше, віддане етичному і відповідальному використанню технології ШІ". Гамільтон також уточнив свої слова, сказавши, що він мав на увазі просто уявний експеримент, а не реальну симуляцію, і додав, що "ми ніколи не проводили такий експеримент, і нам не потрібно було б цього робити, щоб зрозуміти, що це правдоподібний результат". Проте, навіть після того, як стало відомо про помилковість початкового повідомлення, критики залишилися непохитними, заявивши, що цей випадок, "тим не менш, показує нагальну необхідність міжнародного законодавства про автономні системи озброєння для забезпечення відповідного людського контролю над застосуванням сили".

Варто зазначити, що ця критика дещо недоречна, оскільки в статті Гамільтона йшлося про безпілотник зі штучним інтелектом, який перебував під контролем людини, в тому сенсі, що він міг ідентифікувати загрози, але його атакам могла запобігти людина-оператор. Однак жахливий поворот у цьому уявному експерименті полягав у тому, що дрон "отримував бали за усунення загрози", і тому, щоб максимізувати свої бали, він "убивав" оператора, який міг завадити йому виконати своє завдання. Коли йому було наказано не вбивати оператора, він "знищив" диспетчерську вишку.

Хоча цей випадок був гіпотетичним, а заперечення критиків трохи не дотягує до істини, очевидно, що щось не так, коли дрон виступає проти своїх операторів, щоб "отримати більше балів". В основі проблеми лежить так звана проблема узгодження — як змусити систему ШІ не просто робити те, що ви явно говорите, а робити це так, щоб це відповідало основним цілям і цінностям армії? Безпілотник в уявному експерименті Гамільтона робив те, про що його просили оператори — знищував ворожі системи ППО, — але він робив це зовсім не синхронно з їхніми спільними цілями та намірами, та ще й діяв прямо проти безпосередніх наказів операторів. Але чи означає все це разом узяте, що така система неодмінно виявиться невдалою? Ба більше, чи дійсно виявлення подібних проблем у платформі озброєння дає нам підставу припинити розробку або згорнути проєкт? Щоб відповісти на це запитання, ми маємо запитати себе, чого ми хочемо від нашої зброї і як на практиці просувається проєктування та розроблення.

Чого ми хочемо від зброї?

Очевидно, що будь-яка система озброєння має відповідати низці вимог: вона має бути ефективною для певної бойової ролі, безпечною для солдатів, досить вибірковою, щоб не піддавати цивільне населення непропорційному ризику, і, в ідеалі, економічно ефективною. До автономної зброї також висуваються додаткові вимоги, центральне місце серед яких посідає директива Міністерства оборони США 3000.09 про автономність у системах озброєння. Серед іншого, такі системи мають "давати змогу командирам і операторам здійснювати відповідні рівні людського судження про застосування сили", бути вразливими до часових, географічних та операційних обмежень, щоб мінімізувати ймовірність помилок, бути достатньо надійними, захищеними від ворожого втручання, а також бути спроєктованими так, щоб бути зрозумілими операторам, забезпечувати зворотній зв'язок під час операцій та визначати чіткі процедури активації та деактивації. Загалом, Міністерство оборони зводить вимоги до автономної зброї до п'яти широких принципів: відповідальність, рівноправність, відстежуваність, надійність і керованість.

На додаток до цих конкретних і загальних вимог до автономної зброї, доктор Ендрю Гілл і полковник Грегг Томпсон з Військового коледжу армії США досліджують "п'ять величезних стрибків", які, на їхню думку, слугують орієнтирами в розвитку автономної зброї. Два з цих стрибків, тест спонтанної доктрини і тест дисциплінованої ініціативи, мають стосунок до гіпотетичного випадку, описаного Гамільтоном.

Тест спонтанної доктрини передбачає навмисне створення для роботизованої системи ситуації, для якої вона неоптимально організована або оснащена, а потім дає їй змогу досліджувати різні способи протидії.

Хоча наявність оператора, який може скасовувати рішення про націлювання, не обов'язково слід розглядати як "неоптимальну" організаційну структуру, з погляду автономної системи це саме так — безпілотному ШІ дано вказівку знищити ворожу ППО, він ідентифікує ціль, але з якоїсь причини йому можуть завадити виконати наказ. Якби безпілотник знайшов творчі способи обійти цю останню перешкоду, це стало б величезним стрибком уперед, сформувавши спонтанну доктрину, яка дасть змогу йому повніше виконувати свої завдання. Коли ці "творчі способи" включають у себе напад на дружній персонал, розробникам, безумовно, необхідно вирішити цю проблему, але факт залишається фактом: безпілотник все-таки знайшов спосіб обійти обмеження і досягти успіху для місії.

Тест на дисципліновану ініціативу стосується виправданих актів непокори, коли солдат (або автономна система) змінює свої накази або завдання для досягнення ще більших цілей. Знову ж таки, як і в першому випадку, безпілотник, який для досягнення цих цілей націлюється на власного оператора, вочевидь невдалий приклад, але він також досягає цього "стрибка", якого вимагає автономна зброя, — йому дають завдання, і він робить те, що необхідно для виконання цього завдання. Пошук нових методів виконання завдань (або вихід за їхні межі) — це добре, а завдання конструкторів, інженерів і випробувачів — переконатися, що жоден із цих нових методів не порушує правових або етичних принципів, що регулюють ведення війни, і що в іншому система функціонує так, як задумано.

Важливість тестування

Це підводить нас до найважливішого аспекту розроблення нової зброї на війні: тестування та оцінювання. У поточній версії Директиви 3000.09 однією з сфер, до якої було внесено значні доповнення, є процес розгляду автономної зброї та методи "тестування й оцінювання" і "перевірки та підтвердження". Зокрема, директива передбачає "встановлення мінімальних порогів ризику і надійності для автономності систем озброєння", а також "конкретні вимоги, що піддаються перевірці, для реалізації етичних принципів ШІ МО". Для досягнення цієї мети в директиві велика увага приділяється розробці адміністративних, людських і технічних систем для тестування й оцінювання, а також верифікації та валідації (напів)автономних систем зброї.

Якби безпілотник відкрив вогонь по своєму оператору, щоб "набрати більше балів" під час випробувань, він, звісно, не пройшов би процес перевірки, передбачений директивою. Ба більше, одна з основних причин проведення випробувань полягає в тому, щоб з'ясувати, чи можливі такі речі. Якщо так, то система не готова до розгортання і потребує додаткової роботи. Вимагати, щоб система або платформа добре поводилася і працювала в кожному окремому тесті, означає очікувати, що в процесі розроблення не виникне жодних проблем або непередбачуваних труднощів, а це, навпаки, підвищує ймовірність виникнення проблем надалі.

Прозорість, похибка вцілілого і відповідальні інновації

У лютому 2007 року шість літаків F-22 Raptor летіли на схід через Тихий океан, аж раптом їхні комп'ютерні системи вийшли з ладу, а разом з ними і майже всі органи управління. В інтерв'ю CNN генерал-майор Дон Шеппард (у відставці) описав ситуацію так:

"На міжнародній лінії зміни дати раптово відмовили всі системи, і коли я кажу "всі системи", я маю на увазі все: навігацію, зв'язок, паливні системи".

Схоже, що якась частина комп'ютерного коду в літаку не змогла впоратися з раптовим стрибком назад у часі, який стався, коли літак перетнув лінію зміни дати, і це спричинило швидке відключення всієї системи. На щастя, літаку вдалося повернутися додому, і його швидко полагодили, але все могло бути набагато гірше.

Але що якби щоразу, коли відбувалася невдача або виявлялася помилка, громадськість виступала би за відмову від проєкту? Гірше того — що якби в умовах такого тиску Lockheed Martin знав про потенційну помилку? Усе разом це створило б значний тиск з метою не робити помилок або, принаймні, не показувати нікому, що ви їх зробили. У цьому випадку Lockheed Martin міг би просто спробувати утримати свій літак від перетину міжнародної лінії зміни дати. Проблему вирішено. Ну, тобто до того моменту, поки такі літаки не будуть розгорнуті в цьому районі в бойовій обстановці.

Караючи за помилки і чинячи тиск на тих, хто зазнає невдач, ми навряд чи раптом отримаємо найкращих інженерів, розумніших вчених або старанніших операторів. Однак у нас з'являться команди, які показують менше помилок публіці. І це проблема. Як влучно зауважив комп'ютерний вчений Гарольд Тімблбі, "люди, хоч би як добре вони були навчені, зрештою завжди здійснюють промахи", й іноді ці промахи можуть мати катастрофічні наслідки. Але якщо бути прозорими щодо помилок, ми можемо розробити системи, які зроблять їх менш імовірними або матимуть достатні запобіжні заходи, щоб можлива помилка не призвела до катастрофічного збою.

Що стосується розроблення автономної зброї, то одна лише розповідь Гамільтона (без будь-яких доказів) викликала хвилю істерії з приводу таких систем, і навіть після того, як до початкової доповіді внесли поправки, критики залишилися непохитними у своїх запереченнях. Але автономна зброя вже є частиною сучасних збройних сил, була такою протягом десятиліть і залишатиметься такою в осяжному майбутньому. Суспільний резонанс все ж може вплинути на зусилля інженерів, чинячи на них тиск, щоб вони "не робили помилок" або, просто кажучи, не показували нікому, що вони їх роблять. Такий тиск може бути шкідливим — робити помилки і вчитися на них, як зазначив математик Метт Паркер, "це шлях розвитку інженерної справи". Розробники створюють щось, пробують, шукають недоліки, а знаходячи їх, вивчають, що пішло не так, і намагаються зробити краще. Якщо вимагати, щоб помилок узагалі не виникало, зростає ймовірність, що неминучі помилки приховуватимуть замість того, щоб розглядати їх як важливі уроки.

Висновок

Випадку, про який розповів Гамільтон, ніколи не було. Ні в симуляції, ні в реальному житті не існувало безпілотника зі штучним інтелектом, який намагався б убити свого оператора або знищити його диспетчерську вишку. Але навіть якби це сталося, реакцією на таку подію не мають бути негайні, вмотивовані страхом вимоги припинити розробку автономних систем для армії. Інженерні невдачі — це можливість дізнатися, що і чому пішло не так, і ключ до поліпшення не тільки проєктування конкретних систем, а й розуміння ширших наукових реалій. Слід також пам'ятати, що тестування ніколи не буває повним, особливо для військових систем, оскільки супротивники постійно шукатимуть способи зашкодити їм — інколи в такі способи, які можуть зробити зброю непередбачуваною. Це сумна реальність, і потрібно пам'ятати, що в будь-якій інженерній справі трапляються помилки та аварії. Випробування та оцінка допомагають звести такі невдачі до прийнятного мінімуму, але вони ніколи не зникнуть повністю.

Прийняття майбутніх проблем і, до того ж, прийняття їх як можливості для навчання, є головною умовою прогресу в проєктуванні. Культура нагнітання страху перед невдачами не знизить імовірність невдач і не зробить так, щоб команди інженерів з першої спроби домоглися потрібного результату. Навпаки, вона лише позбавить компанії стимулу проводити відповідальні та ретельні випробування й оцінки, і призведе до того, що помилки приховуватимуть, а не вивчатимуть. Така ситуація, напевно, створить власні небезпеки і підірве довіру, необхідну для того, щоб солдати були готові використовувати автономні системи, покликані їм допомогти. Це не означає, що критика повинна затихнути або що розробники зброї повинні бути позбавлені жорсткої критики, коли це виправдано. З деякими помилками не можна і не слід миритися, особливо коли вони зберігаються в розгорнутих системах. Однак ми повинні переконатися, що наша критика спрямована на реальні проблеми, а не на необхідні кроки в процесі проєктування (або навіть просто на гіпотези). Розробники несуть відповідальність як перед комбатантами, так і перед цивільними в усьому світі за те, щоб системи, які вони проєктують, були надійними, виборчими і піддавалися осмисленому людському контролю. Усе це вимагає, щоб розробники зброї шукали проблеми якомога ретельніше, а потім знаходили рішення. В іншому разі ми отримаємо зброю, яка не заслуговує на довіру і яка не повинна бути розгорнута.

Про автора

Натан Г. Вуд — постдок Гентського університету і співробітник Групи етики та нових наук Каліфорнійського політехнічного університету в Сан-Луїс-Обіспо. Його дослідження присвячені етиці та законам війни, особливо в тому, що стосується нових технологій, автономних систем зброї та аспектів майбутніх конфліктів.