Синтетичні організми, безпілотні системи та роботи. Технології та загрози воєн майбутнього

Напередодні вторгнення до Іраку у 2002 році міністр оборони США Дональд Рамсфелд сказав свою знамениту тираду: "Є відомі відомі — це речі, про які ми знаємо, що ми їх знаємо. Є відомі невідомі, тобто речі, про які ми тепер знаємо, що ми їх не знаємо. Але є ще й невідомі невідомі речі, про які ми не знаємо, що ми їх не знаємо". Він вважав, що "саме остання категорія, як правило, є найскладнішою". Рамсфелду багато в чому можна дорікнути, але коли йдеться про озброєння, його слова настільки ж афористичні, як фраза Черчілля про те, що генерали завжди готуються до минулої війни. І те, й інше — про непередбачуваність майбутнього, зануреного у військові секрети.

Трохи більше року тому генерал армії США Джон Мюррей в інтерв'ю Defence News назвав три головні технології війни майбутнього: штучний інтелект, безпілотні системи та робототехніка.

"Щоб змусити всі три технології працювати в цифровому середовищі, має бути надійна та стійка мережа, архітектура даних і талант", — сказав він. Як досягти успіху на цій ниві? За допомогою конвергенції, здатної об'єднати сили в п'яти сферах ведення бойових дій: повітря, земля, море, космос і цифрове середовище. Американці вже запустили Project Convergence і восени минулого року провели шеститижневі навчання. Вони стали наочною демонстрацією того, як час сам собою перетворюється на зброю. Якщо раніше від моменту виявлення мети до пострілу проходило 20 хв., тепер цей термін скоротився до 20 с.

Швидкість рішень і казус Петрова. СРСР збиває корейський лайнер, а система "Око" дає збій

Такий стрибок здається неймовірним, але тільки до того часу, поки не заглянеш у амбітні документи військових, які прописують перспективу на десятиліття вперед. Наприклад, у Плані польоту безпілотних авіаційних систем на 2009-2047 роки, розробленому американськими ВПС, записано, що "у 2047 році технологія зможе скоротити час виконання циклу OODA [observe, orient, decide, act — спостерігати, орієнтуватися, приймати рішення, діяти] до мікро- або наносекунд. Подібно до того, як майстер шахів може перевершити досвідчених шахістів, [безпілотні літальні апарати] зможуть реагувати на цих швидкостях, і, отже, цей цикл перетворюється на вектор "сприймати та діяти".

Усе частіше люди будуть не "в циклі", а скоріше "поряд із циклом", відстежуючи виконання певних рішень. У той же час досягнення в галузі штучного інтелекту дозволять системам приймати бойові рішення та діяти в межах юридичних і політичних обмежень, не обов'язково вимагаючи участі людини".

На папері це має дуже пристойний вигляд, а фраза "в межах юридичних і політичних обмежень", застосована до робіт, може викликати розчулення. Однак у Пола Шарра, експерта Пентагону з оборони та колишнього рейнджера армії США, "самостійність" штучного інтелекту викликає побоювання. У 2018 році він випустив книгу "Армія без людей: автономна зброя та майбутнє війни", що викликала величезний читацький інтерес і, серед іншого, увійшла до списку must read Білла Гейтса. Шарр починає її з драматичного епізоду, що стався восени 1983 року в розпал холодної війни, через кілька місяців після того, як президент США Рональд Рейган оголосив про Стратегічну оборонну ініціативу, що отримала в пресі назву "Зоряні війни", і через три тижні після знищення радянською ракетою комерційного авіалайнера, що здійснював рейс із Аляски до Сеула та несподівано вторгся в повітряний простір СРСР. Тоді загинуло 269 людей, включаючи американського конгресмена. Побоюючись відплати, Радянський Союз був напоготові та розгорнув супутникову систему раннього попередження під назвою "Око", щоб стежити за запусками американських ракет.

26 вересня, одразу після опівночі, система видала звіт: Сполучені Штати запустили ядерну ракету по Радянському Союзу. У бункері "Серпухів-15" під Москвою завили сирени, і на гігантському червоному екрані з підсвічуванням висвітлилося повідомлення "запуск". Підполковник Станіслав Петров, який перебував на бойовому чергуванні, все це бачив, але сумнівався: раптом це помилка в системі?

Згодом "Око" доповіла про запуск ще чотирьох американських ракет. Петров дивувався: п'ять ракет, лише п'ять! У цьому не було жодного сенсу. Справжня раптова атака має бути масованим, нищівним ударом по знищенню радянських ракет на землі. Петров подумав, що якби пуск був справжнім, політ смертоносної зброї засікли б наземні радари, щойно вона почала свій рух дугою над горизонтом. Але радари мовчали. Петров вагався. Якщо він накаже на запуск радянської ядерної "відповіді", загинуть мільйони людей і розпочнеться Третя світова війна. Він довірився інтуїції, зателефонував начальству та доповів, що в системі "Око" — збій, і мав рацію: нападу не було. Сонячне світло, що відбивається від верхівок хмар, викликало хибну тривогу на радянських супутниках. Потенційний Армагеддон був припинений зусиллями однієї людини, яка не повірила в показання датчиків.

"Що б зробила машина на місці Петрова? — запитує Пол Шарр. — Відповідь очевидна: машина робила б усе, що було запрограмовано, навіть не розуміючи наслідків своїх дій".

Розподілений мозок. Чому рій роботів важливіший за F-35.

Ті, хто в різних країнах намагається "конструювати" майбутню війну, йдуть до автономності штучного інтелекту нестримною ходою Робокопа. Бюджети, які виділяються на ці розробки, ростуть як на дріжджах. За оцінками експертів, глобальні витрати на військову робототехніку у 2025 році досягнуть $16,5 млрд. І хоча за своєю дорожнечею це недотягує до витрат, пов'язаних із традиційнішими проектами, вже зараз в експертному середовищі лунають голоси: краще кілька безпілотників, ніж один літак п'ятого покоління. Така критика обрушилася в Америці на найдорожчий в історії вид озброєння — F-35 Joint Strike Fighter (єдиний ударний винищувач). Програма його створення стартувала у 2001 році, і, за даними Пентагону, проект у цілому обійдеться в $1,3 трлн.

Фахівці будували прогнози, що F-35 буде основним типом бойового літака в США та західних країнах до 2065 року. Ті, хто критикував проект, який став ласим шматком для корпорації Lockheed Martin, нарікали на його дорожнечу й обмежений бойовий радіус дії літака — близько 1100 км (що ставить під загрозу його базу дислокації, особливо авіаносці). Американські експерти в галузі аеронавтики й експлуатації військових літаків підрахували, що повна вартість створення й обслуговування кожного F-35 за весь той час, який він буде в строю, складе $670 млн. Гора золота вагою з цей літак коштує менше.

Ці приголомшливі цифри, помножені на тенденцію Army of None (Нічия армія або Армія без людей), підштовхнули деяких аналітиків до висновку: краще замість одного F-35 створювати ескадрильї безпілотних військових літальних апаратів (БЛА). Втратити, припустимо, кілька дронів MQ-9 Reaper, які коштують $15–30 млн за одиницю в залежності від конфігурації, — все одно дешевше, ніж аварія одного "золотого літака". Не кажучи вже про те, що майбутнє — саме за ШІ з "перерізаною пуповиною". Усередині цього напряму намітилися дві тенденції.

Перша — поступовий, але неухильний ухил до повної автономності: все йде до того, що дрон незабаром сам прийматиме рішення про знищення мети. У безпілотників США (принаймні тих, про які відомо) така самостійність поки що не прописана. Фігура людини-оператора все ще важлива. Операції з БЛА Predator та Reaper вимагають від семи до десяти пілотів для обслуговування однієї "орбіти" безпілотника в режимі 24/7. Ще 20 осіб необхідні для управління датчиками на дроні, аналізувати дані яких — завдання вже інших фахівців із галузі розвідки. Однак, наприклад, ізраїльський дрон Harpy вже перейшов межу повної автономії. На відміну від американських "колег", він може обстежити велику територію в пошуках ворожих радарів і, ледь знайшовши, знищувати їх, не питаючи дозволу людини. Його було продано кільком країнам, Китай на його основі розробив власний варіант БЛА.

Друга тенденція — навчити роботів працювати "роями", дозволяючи їм виявляти "колективний розум".

"Скоординована поведінка — це різниця між баскетбольною командою та п'ятьма бовдурами, які самі біжать до кошика, — пояснює Шарр. — Різниця між зграєю самотніх вовків і вовчою зграєю". У 2016 році Сполучені Штати продемонстрували 103 повітряні дрони, що летять разом роєм, який чиновники Міністерства оборони описали як "колективний організм, який розділяє один розподілений мозок для прийняття рішень і адаптується один до одного, як зграї в природі". Кілька місяців по тому Китай представив рій зі 119 дронів.

"Божевілля" DARPA

У 1956 році Джеймс Кілліан, науковий радник президента Дуайта Ейзенхауера, сформулював щось на кшталт нового мілітаристського "символу віри" для Америки: "Якщо завтра має з'явитися неймовірна зброя, що впливає на баланс військової могутності, ми хочемо, щоб [у нас] у першу чергу були люди та засоби, щоб уявити її".

Знадобилися два роки та здатність "проспати" запуск Радянським Союзом першого штучного супутника Землі, щоб у США створили Управління перспективних дослідницьких проектів Міністерства оборони (Defense Advanced Research Projects Agency — DARPA). Тих, хто там працює, називають божевільними. Шерон Вайнбергер, яка чотири роки тому написала книгу про історію DARPA, назвала її The Imagineers of War — "Ті, хто уявляє війну". Уява цих хлопців і справді нестримна, як стихія. Тому деякі проекти DARPA здаються сценарними заготівлями для голлівудських фільмів, де земляни борються з прибульцями, абсолютно несхожими на гуманоїдів.

Кілька років тому видання Wired написало про те, що "божевільний науковий підрозділ Пентагону, можливо, виступив зі своїм найрадикальнішим проектом", у який на початковій стадії збиралися вкласти лише кілька мільйонів доларів. Він звався BioDesign, і його метою було створити синтетичні організми, здатні жити вічно. Щоб ці супервиди не потрапили під уплив ворога та не почали виконувати його команди, лояльність до "хазяїна" буде закодована в них прямо в ДНК, а генетично запрограмовані замки захистять організми від "несанкціонованого доступу". На випадок, якщо план DARPA піде навперейми, розробники просто натиснуть на "кнопку знищення", яка буде також генетично закодована.

Відразу навіть не зрозумієш, на що може бути схожа війна за участю цих безсмертних особин. Чи будуть вони схожі на Термінатора? Навряд чи. Ще одна технологія DARPA показує, що там не шукають легких шляхів і не роблять ставку на андроїдів. Ідеться про HI MEMS — гібридну мікроелектромеханічну систему для комах. Усіх таємниць, як це працюватиме, у відомстві не розкривають, але відомо, що технологічні чипи впроваджуватимуть у комах на стадії личинки та лялечки — "для найбільшого шансу на життєздатність". Це відкриє нові можливості для стеження не лише за противником, а й за власними громадянами.

Чи є етика для робота: штучний інтелект із гранатою

Непередбачуваність наслідків відправлення штучного інтелекту у вільне воєнне плавання змушує багатьох аналітиків виступати з протестом проти реалізації таких сценаріїв. Уже кілька тисяч експертів у цій галузі закликали до заборони роботів-убивць. Стівен Гокінг (незадовго до своєї смерті), Ілон Маск, співзасновник Apple Стів Возняк — ось лише кілька всесвітньо відомих особистостей, які виступили проти автономної зброї та попередили, що ця витівка може спровокувати "глобальну гонку озброєнь ШІ".

Проте проблема в тому, що вона вже почалася. А в людства накопичений сумний досвід не надто успішних спроб заборонити зброю, яка вважалася надто небезпечною чи нелюдяною. Свого часу світ намагався "приборкати" підводні човни та літаки. Не вийшло. Заборона на хімічну зброю не позбавила планету від того, що режими-ізгої типу Башара Асада в Сирії таки її використовують. Та й те, як Кремль розправляється зі своїми опонентами, говорить про те, що такий спосіб убивства залишається на порядку денному.

Якщо хода до широкої автономії військового ШІ вже розпочалася, чи можна розраховувати тут на цивілізаційні правила гри? Наприклад, на те, що тут діятимуть культові " Три закони робототехніки", сформульовані письменником-фантастом Айзеком Азімовим ще 1942 року? Вони прості:

1. Робот не може завдати шкоди людині або своєю бездіяльністю допустити, щоб людині було завдано шкоди.
2. Робот має підкорятися наказам людей — за винятком випадків, коли такі накази суперечать першому закону.
3. Робот повинен захищати своє існування доти, доки такий захист не суперечить першому чи другому закону.

Важливо

Еволюція ШІ: чи зможуть роботи стати рівними людині

Нічого складного. Але навіть у фільмах носії штучного інтелекту поводяться з цими заповідями по-різному. Санні, головний герой-робот стрічки "Я, робот", отримує можливість ігнорувати Три закони. Однак у кульмінаційній сцені він вирішує врятувати доктора Сьюзен Келвін, хоча це ставить під загрозу успіх його місії. Ним керує не логіка, а любов, тобто те, чого точно не варто очікувати від творінь, які вийдуть із лабораторій десь у США, Китаї, Ізраїлі та Росії. Швидше за все, представники цієї когорти штучного інтелекту будуть поводитися приблизно так, як це робить ШІ Skynet у медіафраншизі про Термінаторів. Визначивши, що люди загрожують його існуванню, Skynet вирішує усунути їх, починаючи глобальну ядерну війну.

Щоправда, у "Термінаторі 2: Судний день" Джон Коннор цитує слова своєї матері: "Майбутнє ще не визначено. Немає долі, крім того, що ми робимо для себе". І в наступних фільмах це повторюється як рефрен: "Немає долі, крім того, що ми робимо". Але залишається головне питання — не до героїв франшизи, а до реального людства: то що ми робимо?