Искусственный интеллект и ядерная стабильность: как обезопасить системы "мертвой руки"

Политики всего мира пытаются разобраться в новых возможностях и опасностях, которые таит в себе искусственный интеллект. Среди всех последствий ИИ для мира одним из самых значимых будет его интеграция в систему управления ядерным оружием. Неправильное использование ИИ в ядерных операциях может привести к катастрофическим последствиям. При правильном применении он может снизить ядерный риск за счет улучшения раннего предупреждения и обнаружения и повышения выживаемости потенциала второго удара, что усилит сдерживание. Чтобы в полной мере воспользоваться этими преимуществами, системы должны учитывать сильные и слабые стороны людей и машин. Успешные совместные человеко-машинные когнитивные системы будут объединять точность и скорость автоматизации с гибкостью человеческих суждений и делать это таким образом, чтобы избежать предвзятости автоматизации и передачи человеческих суждений машинам. Поскольку внедрение ИИ находится на ранней стадии, у Соединенных Штатов есть возможность сделать мир безопаснее, более четко изложив свою политику, добившись широкого международного консенсуса и выступив в качестве законодателя нормативных тенденций.

Фокус перевел статью Майкла Деппа и Пола Шарре о том, как внедрение ИИ может повлиять на ядерную стабильность.

Соединенные Штаты были чрезвычайно открыты и ориентированы на перспективу в разработке и публикации своей политики в отношении военного ИИ и автономных систем: они опубликовали свою политику в отношении автономности оружия в 2012 году, приняли этические принципы для военного ИИ в 2020 году и обновили свою политику в отношении автономности оружия в 2023 году. В "Обзоре ядерной политики" 2022 года министерство официально и недвусмысленно заявило, что при применении ядерного оружия всегда будет присутствовать человек. В ноябре 2023 года более 40 стран присоединились к Соединенным Штатам, одобрив политическую декларацию об ответственном военном использовании ИИ. В число государств, поддержавших декларацию, вошли не только союзники США, но и страны Африки, Юго-Восточной Азии и Латинской Америки.

Опираясь на этот успех, Соединенные Штаты должны добиваться заключения международных соглашений с другими ядерными державами, чтобы снизить риски интеграции ИИ в ядерные системы или размещения ядерного оружия на борту безэкипажных транспортных средств. Великобритания и Франция выпустили совместное заявление с Соединенными Штатами в 2022 году, в котором согласились с необходимостью "сохранять человеческий контроль" над ядерными запусками. В идеале это могло бы стать началом обязательств постоянных членов Совета Безопасности ООН, если бы удалось убедить Россию и Китай присоединиться к этому принципу. Даже если они не захотят согласиться, Соединенные Штаты должны продолжать совершенствовать свою собственную политику, чтобы устранить критические пробелы, и работать с другими ядерными государствами над укреплением их обязательств в качестве временной меры и способа достижения международного консенсуса по этому вопросу.

Опасности автоматизации

Поскольку вооруженные силы все активнее внедряют искусственный интеллект и автоматизацию, необходимо срочно прояснить, как эти технологии должны использоваться в ядерных операциях. В отсутствие официальных соглашений государства рискуют столкнуться с тенденцией ползучей автоматизации, которая может подорвать ядерную стабильность. Хотя политики по понятным причинам не хотят вводить ограничения на новые технологии, чтобы не отказаться от ценного будущего потенциала, американские чиновники не должны успокаивать себя тем, что другие государства будут ответственно подходить к использованию ИИ и автоматизации в ядерных операциях. Такие примеры, как российская система "мертвой руки" "Периметр" и автономный подводный беспилотник с ядерным оружием "Посейдон", показывают, что другие страны могут рассматривать эти риски иначе, чем Соединенные Штаты, и быть готовыми к действиям, который американские политики сочли бы неприемлемым.

Существующие системы, такие как российский "Периметр", подчеркивают риски, связанные с внедрением государствами автоматики в ядерные системы. Как сообщается, "Периметр" — это система, созданная Советским Союзом в 1980-х годах для обеспечения безопасности на случай уничтожения советского руководства в результате обезглавливающего удара. Сообщается, что "Периметр" оснащен сетью датчиков, определяющих, имело ли место ядерное нападение. Если эти датчики срабатывают во время активации "Периметра", система будет ждать сигнала от высшего военного командования в течение заранее определенного периода времени. Если сигнала из штаба не поступит, предположительно потому, что советское/российское руководство было уничтожено, то "Периметр" обойдет обычную цепочку командования и передаст полномочия по запуску ядерного оружия относительно младшему офицеру на посту. Высокопоставленные российские чиновники заявили, что система все еще функционирует, отметив в 2011 году, что она "готова к бою", а в 2018 году — что она была "усовершенствована".

Система была разработана для того, чтобы уменьшить нагрузку на советское руководство, связанную с поспешным принятием ядерного решения в условиях дефицита времени и неполной информации. Теоретически советские/российские лидеры могли бы потратить больше времени на размышления, зная, что существует безотказная система, гарантирующая ответный удар, если Соединенные Штаты преуспеют в обезглавливающем ударе. Однако ценой этого является система, которая сократит путь к ядерному уничтожению в случае сбоя.

Разрешение автономным системам участвовать в принятии решений о ядерном запуске чревато снижением стабильности и увеличением опасности сбоев. Инцидент со Станиславом Петровым — наглядный пример опасности автоматизации принятия ядерных решений. В 1983 году советская система раннего предупреждения сообщила, что Соединенные Штаты запустили несколько межконтинентальных баллистических ракет. Подполковник Станислав Петров, дежурящий в то время, заподозрил, что в системе произошел сбой, поскольку количество запущенных ракет было подозрительно мало, а сами ракеты не были обнаружены радарами раннего предупреждения. Петров сообщил об этом как о неисправности, а не об атаке, и правильно сделал. ИИ и автономным системам часто не хватает понимания контекста, которое есть у человека и которое использовал Петров, чтобы понять, что сообщение о запуске ракеты было ложной тревогой. Без человеческого суждения на критических этапах ядерных операций автоматизированные системы могут совершать ошибки или повышать уровень ложной тревоги, увеличивая ядерный риск.

Более того, одного лишь присутствия человека в системе недостаточно для обеспечения эффективного принятия решений. Люди-операторы часто становятся жертвами предвзятости автоматики — состояния, при котором люди слишком доверяют автоматике и отдают свои суждения на откуп машинам. Аварии с самоходными автомобилями демонстрируют опасность чрезмерного доверия людей к автоматике, и военный персонал не застрахован от этого явления. Чтобы обеспечить когнитивную вовлеченность людей в процесс принятия решений, военным необходимо учитывать не только саму автоматику, но и психологию человека, а также человеко-машинные интерфейсы.

В более широком смысле, при разработке человеко-машинных систем необходимо осознанно определять соответствующие роли людей и машин. Машины зачастую лучше справляются с точностью и скоростью, в то время как люди лучше понимают более широкий контекст и применяют суждения. Слишком часто операторов-людей оставляют заполнять пробелы в том, что не может сделать автоматика, выступая в качестве резервных или отказоустойчивых систем в тех крайних случаях, с которыми автономные системы не могут справиться. Но такая модель часто не учитывает реалии человеческой психологии. Даже если люди-операторы не становятся жертвами предвзятого отношения к автоматизации, предположить, что человек может часами пассивно наблюдать за выполнением задачи машиной, будь то самоуправляемый автомобиль или военная система вооружения, а затем внезапно и правильно определить проблему, когда автоматика не справляется, и резко перейти к действиям, чтобы взять управление на себя, нереально. Человеческая психология так не работает. И трагические аварии со сложными высокоавтоматизированными системами, такие как крушение самолета 447 авиакомпании Air France в 2009 году и крушения 737 MAX в 2018 и 2019 годах, демонстрируют важность учета динамического взаимодействия между автоматикой и людьми-операторами.

Американские военные также знакомы с трагическими сбоями автоматизированных систем, даже если в них участвуют люди. В 2003 году системы противовоздушной и противоракетной обороны Patriot армии США сбили два дружественных самолета во время начальной фазы войны в Ираке. В обоих инцидентах люди были в курсе событий. Однако сложное сочетание человеческих и технических ошибок привело к тому, что люди-операторы не до конца понимали сложные, высокоавтоматизированные системы, за которые они отвечали, и не могли эффективно управлять ими.

Военным необходимо разработать руководство по проектированию систем, обучению операторов, доктрине и оперативным процедурам, чтобы гарантировать, что люди в системе не просто бездумные винтики в машине, а действительно проявляют человеческое суждение. Разработка конкретного руководства для разработчиков и операторов оружия наиболее важна в ядерной сфере, где последствия сбоев могут быть очень серьезными.

Разъяснение руководящих принципов Министерства обороны

Недавняя политика и заявления о роли автономности и ИИ в ядерных операциях — это важный первый шаг в создании столь необходимого руководства, но необходимы дополнительные разъяснения. В "Обзоре ядерной политики" 2022 года говорится следующее: "Во всех случаях Соединенные Штаты будут держать человека "в курсе" всех действий, имеющих решающее значение для информирования и исполнения решений президента о начале и прекращении применения ядерного оружия". Великобритания приняла аналогичную политику в 2022 году, заявив в своей оборонной стратегии искусственного интеллекта: "Мы убедимся, чтобы независимо от использования ИИ в наших стратегических системах политический контроль человека над нашим ядерным оружием сохранялся в любое время".

Это первые официальные заявления об использовании ИИ в ядерном командовании и управлении, ставшие знаковыми. Высокопоставленные американские военные и раньше подчеркивали важность человеческого контроля над ядерным оружием, включая заявления генерал-лейтенанта Джека Шанахана, тогдашнего директора Объединенного центра искусственного интеллекта в 2019 году. Однако официальные политические заявления имеют еще большее значение, поскольку они сигнализируют как внутренней, так и внешней военной аудитории о важности того, чтобы все решения о применении ядерного оружия принимались людьми. Эти заявления, тем не менее, оставляют много открытых вопросов о реализации.

Следующим шагом для Министерства обороны будет перевод человеческого фактора на язык ядерных систем, доктрин и обучения. Ключевые вопросы: какие действия являются "критическими для информирования и исполнения решений президента"? Состоят ли они только из действий, непосредственно окружающих президента, или они также включают действия дальше по цепочке командования до и после президентского решения? Например, допустимо ли, чтобы человек передал президенту основанную на алгоритме рекомендацию о проведении ядерной атаки? Или же человек должен участвовать в интерпретации данных и выносить свое собственное человеческое суждение?

Американские военные уже используют ИИ для обработки информации, например спутниковых снимков и видеозаписей с беспилотников. Предположительно, ИИ также будет использоваться для анализа разведывательных данных, которые могут помочь в принятии решений о применении ядерного оружия. При каких обстоятельствах ИИ уместен и полезен для ядерной стабильности? Являются ли некоторые приложения и способы использования ИИ более ценными, чем другие?

Какие меры предосторожности должны быть приняты для защиты от ошибок, сбоев или подложной информации в системах ИИ? Например, в настоящее время Соединенные Штаты используют механизм "двойной феноменологии", чтобы гарантировать, что потенциальная ракетная атака подтверждается двумя независимыми инструментами, такими как спутники и наземные радары. Должны ли Соединенные Штаты принять подход с двумя алгоритмами при любом использовании ИИ в ядерных операциях, обеспечивая наличие двух независимых систем ИИ, обученных на разных наборах данных с разными алгоритмами в качестве защиты от спуфинг-атак или ненадежных систем ИИ?

Когда системы ИИ используются для обработки информации, как эта информация должна быть представлена операторам-людям? Например, если военные используют алгоритм, обученный обнаруживать признаки заправки ракеты топливом, эта информация может быть по-разному интерпретирована человеком, если система ИИ сообщит "заправка", а не "подготовка к запуску". "Заправка" — более точное и достоверное описание того, что на самом деле обнаруживает система ИИ, которое может побудить человека-аналитика к поиску дополнительной информации, в то время как "подготовка к запуску" — это вывод, который может быть или не быть уместным в зависимости от более широкого контекста.

Когда используются алгоритмические рекомендательные системы, какой объем базовых данных должен непосредственно просматривать человек? Достаточно ли операторам видеть только заключение алгоритма, или они должны иметь доступ к исходным данным, которые обосновывают рекомендацию алгоритма?

Наконец, какая степень вовлеченности в процесс ожидается от человека? Должен ли человек просто присутствовать в качестве запасного варианта на случай сбоя в работе ИИ? Или человек должен быть вовлечен в процесс анализа информации, выработки действий и рекомендаций? Являются ли некоторые из этих этапов более важными, чем другие, для участия человека?

Это важнейшие вопросы, которые необходимо решить Соединенным Штатам, стремящимся использовать преимущества ИИ в ядерных операциях и при этом соблюдающим политику "человеческого фактора". Чем быстрее Министерство обороны ответит на эти вопросы, тем больше оно сможет ускорить внедрение ИИ, чтобы он был надежным и отвечал необходимым стандартам надежности для ядерных операций. Прояснение этих вопросов не является чрезмерным ограничением подхода США к ИИ. Инструкции всегда можно изменить со временем, по мере развития технологии. Но отсутствие четких инструкций чревато тем, что мы упустим ценные возможности использования ИИ или, что еще хуже, внедрим ИИ таким образом, что это может подорвать ядерную стабильность и сдерживание.

Системы "мертвой руки"

Разъясняя свою политику "человеческого фактора", Соединенные Штаты должны взять на себя твердое обязательство отказаться от систем запуска ядерного оружия "мертвой руки" или систем с постоянным приказом на запуск, включающих в себя алгоритмические компоненты. Системы "мертвой руки", подобные российскому "Периметру", казалось бы, должны быть запрещены текущей политикой Министерства обороны. Однако Соединенным Штатам следует четко заявить, что они не будут создавать такие системы, учитывая их опасность.

Несмотря на все риски, некоторые американские аналитики считают, что Соединенным Штатам все же следует принять на вооружение систему "мертвой руки" для реагирования на появление новых технологий, таких как ИИ, гиперзвук и современные крылатые ракеты. Однако существуют и более безопасные методы реагирования на эти угрозы. Вместо того чтобы оставлять будущее человечества на откуп алгоритмов, Соединенные Штаты должны усилить свій потенциал второго удара в ответ на новые угрозы.

Некоторые члены Конгресса США даже выразили желание прописать это требование в законе. В апреле 2023 года двухпартийная группа представителей представила закон о блокировании запуска ядерного оружия автономным искусственным интеллектом, который запретит финансирование любой системы, запускающей ядерное оружие без "значимого человеческого контроля". Существует прецедент законодательного требования о том, что в стратегических системах должен присутствовать человек. В 1980-х годах, во время разработки Стратегической оборонной инициативы (также известной как "Звездные войны"), Конгресс принял закон, требующий "утвердительного решения человека на соответствующем уровне власти" для стратегических систем противоракетной обороны. Этот закон может послужить образцом для аналогичного законодательного требования в отношении использования ядерного оружия. Одно из преимуществ законодательного требования заключается в том, что оно гарантирует, что такая важная политика не может быть отменена будущей администрацией или руководством Пентагона без санкции Конгресса.

Ядерное оружие и беспилотные транспортные средства

Соединенные Штаты должны аналогичным образом прояснить свою политику в отношении ядерного оружия на безэкипажных транспортных средствах. США создают новый стратегический бомбардировщик B-21, обладающий ядерным потенциалом, который в будущем сможет выполнять полеты без экипажа, и разрабатывают большие подводные беспилотные аппараты, которые могли бы нести боевую нагрузку. Американские военные заявили, что не очень-то хотят размещать ядерное оружие на борту беспилотных платформ. В 2016 году тогдашний командующий Глобальным ударным командованием ВВС генерал Робин Рэнд отметил, что при перевозке ядерного оружия на B-21 всегда будет присутствовать экипаж: "Если говорить откровенно, то мне очень нравится, когда человек находится в строю, особенно когда мы выполняем миссию двойного назначения с ядерным оружием". Мнение генерала Рэнда могут разделять старшие офицеры, но оно не является официальной политикой. Соединенные Штаты должны принять официальную политику, согласно которой ядерное оружие не будет размещаться на борту беспилотных платформ. Разработка такой политики может помочь разработчикам оружия и службам определить соответствующую роль безэкипажных платформ в ядерных операциях, поскольку Министерство обороны разрабатывает более крупные безэкипажные и частично пилотируемые платформы.

Ядерное оружие уже давно размещается на беспилотных средствах доставки, таких как баллистические и крылатые ракеты, но размещение ядерного оружия на многоразовой беспилотной платформе, такой как бомбардировщик, принципиально отличается. Решение человека о запуске ядерной ракеты — это решение о нанесении ядерного удара. Человек может отправить на патрулирование беспилотную платформу с двусторонней связью, например беспилотный бомбардировщик или подводный автономный аппарат. В этом случае решение человека о запуске беспилотника с ядерным оружием еще не будет решением о нанесении ядерного удара. Вместо этого беспилотник может быть отправлен на патрулирование в качестве сигнала к эскалации или для подготовки к нанесению ядерного удара в случае последующего решения о его нанесении. При этом огромная доля доверия будет возложена на каналы связи и бортовую автоматику беспилотника, которые могут оказаться ненадежными.

Американские военные уже теряли контроль над беспилотниками. В 2017 году небольшой тактический армейский беспилотник пролетел более 965 км от южной Аризоны до Денвера после того, как армейские операторы потеряли связь. В 2011 году новейший американский стелс-беспилотник RQ-170 оказался в руках иранцев после того, как американские операторы потеряли с ним связь над Афганистаном. Потеря контроля над беспилотником с ядерным оружием может привести к попаданию ядерного оружия в чужие руки или, в худшем случае, к эскалации ядерного кризиса. Единственный способ сохранить ядерную стабильность — прямой, физический контроль человека над ядерным оружием до момента принятия решения о нанесении ядерного удара.

Хотя американские военные, скорее всего, не захотят размещать ядерное оружие на борту беспилотного самолета или подводного аппарата, Россия уже разрабатывает подобную систему. Подводный автономный беспилотный аппарат "Посейдон" или "Статус-6", как сообщается, предназначен для нанесения второго или третьего ядерного удара по США. Как Россия собирается использовать это оружие, пока неясно — и со временем может измениться, — но в принципе такую беспилотную платформу, как "Посейдон", можно отправлять на патрулирование, рискуя попасть в опасную аварию. Другие ядерные державы могут увидеть ценность в беспилотных самолетах с ядерным оружием или подводных аппаратах по мере развития этих технологий.

Соединенные Штаты должны опираться на свои нынешние намерения в формировании глобальных норм использования ИИ в военных целях и работать с другими странами, чтобы разъяснить опасность беспилотников с ядерным оружием. В качестве первого шага Министерство обороны США должно четко заявить в качестве официальной политики, что оно не будет размещать ядерное оружие на двусторонних, многоразовых безэкипажных платформах, таких как бомбардировщики или подводные аппараты. Временами Соединенные Штаты отказывались от опасного оружия в других областях, например от противоспутникового оружия, вызывающего образование мусора, и публично заявляли о его опасности. Подобное разъяснение опасностей беспилотников с ядерным оружием могло бы помочь сформировать поведение других ядерных держав и, возможно, предотвратить их принятие на вооружение.

Заключение

Крайне важно, чтобы ядерные державы подходили к интеграции ИИ и автономности в свои ядерные операции продуманно и взвешенно. Некоторые приложения, например, использование ИИ для снижения риска внезапного нападения, могут повысить стабильность. Другие применения, такие как системы "мертвой руки", могут быть опасными и дестабилизирующими. Российские системы "Периметр" и "Посейдон" демонстрируют, что другие страны готовы пойти на риск в области автоматизации и автономности, который американские лидеры сочтут безответственным. Соединенным Штатам необходимо развивать нынешнюю динамику, чтобы прояснить свою собственную политику и работать с другими ядерными государствами над достижением международного консенсуса по ответственным ограничениям для ИИ в ядерных операциях. Слухи об американо-китайском соглашении по ИИ в ядерном командовании и управлении на встрече президента Джозефа Байдена и генсека Си Цзиньпина дают намек на возможность объединения усилий ядерных держав для защиты от рисков интеграции ИИ в самое опасное оружие человечества. Соединенные Штаты должны воспользоваться моментом и не упустить эту возможность построить более безопасное и стабильное будущее.

Об авторах

Майкл Депп — научный сотрудник проекта по безопасности и стабильности ИИ в Центре новой американской безопасности (CNAS).

Пол Шарре — исполнительный вице-президент и директор по исследованиям CNAS, автор книги Four Battlegrounds: Power in the Age of Artificial Intelligence.