Искусственный интеллект и ядерные угрозы: алгоритмические игры "на слабо"

На протяжении всей российско-украинской войны звучали российские ядерные угрозы и предупреждения. Эта опасная риторика усиливалась и радикализировалась с помощью технологий искусственного интеллекта — киберопераций "под чужим флагом", фейковых новостей и дипфейков. На протяжении всей войны обе стороны ссылались на призрак ядерной катастрофы, включая ложные заявления России о том, что Украина создает "грязную бомбу", и утверждение президента Владимира Зеленского, что Россия заложила взрывчатку, чтобы вызвать ядерную катастрофу на одной из украинских электростанций. Мир вновь вынужден иметь дело с психологической стороной применения самого разрушительного оружия в новую эпоху ядерного балансирования.

Фокус перевел статью Джеймса Джонсона о том, как искусственный интеллект и ядерные угрозы меняются с развитием технологий.

Быстрое технологическое развитие ИИ ставит вопрос о делегировании полномочий по запуску ядерного оружия ИИ (или нечеловеческим системам управления ядерным оружием), который рассматривается одновременно как опасный и потенциально стабилизирующий. Опасность такого делегирования заключается в том, что оружие можно запустить случайно. Потенциально же оно стабилизирует ситуацию, поскольку снижается вероятность планирования ядерного удара, если известно, что ответные действия будут осуществляться с автономностью, машинной скоростью и точностью. По крайней мере, на данный момент среди ядерных держав существует консенсус, что разрушительные последствия случайного обмена ядерными ударами сводят на нет все потенциальные преимущества автоматизации ответного запуска ядерного оружия.

Тем не менее, важно ответить на вопрос: как война с использованием ИИ может повлиять на психологию людей во время ядерных кризисов? Теория Томаса Шеллинга об "угрозе, оставляющей место случайности" (т.е. риск того, что военную эскалацию невозможно полностью контролировать) помогает аналитикам понять, как и почему ядерные государства могут манипулировать риском для достижения конкурентного преимущества в переговорных ситуациях и как это соревнование игры на нервах, решимости и авторитета может привести государства к непреднамеренному вступлению в войну. Как динамика эпохи искусственного интеллекта может повлиять на теорию Шеллинга? Высказанные Шеллингом соображения о стабильности кризисов между соперниками, обладающими ядерным оружием, в эпоху технологий, позволяющих использовать ИИ в контексте более широкой информационной экосистемы, предлагают новый взгляд на "ядерную дилемму ИИ" — пересечение технологических изменений, стратегического мышления и ядерного риска.

В цифровую эпоху сочетание возросшей скорости, усеченного процесса принятия решений, технологий двойного назначения, снижения уровня человеческой компетентности, критической уязвимости сетей и дезинформации вносит в кризисы больше случайности и неопределенности. Это создает новые пути для непреднамеренной эскалации конфликта до ядерного уровня. Новые уязвимости и угрозы (мнимые или иные) для архитектуры ядерного сдерживания государств в цифровую эпоху станут новыми генераторами случайных рисков — механических отказов, человеческих ошибок, ложных тревог и несанкционированных пусков.

Эти уязвимости сделают нынешние и будущие кризисы (Россия — Украина, Индия — Пакистан, Тайваньский пролив, Корейский полуостров, Южно-Китайское море и т.д.) похожими на многопользовательскую игру в "слабо", где под ядерной тенью сходятся "нечто случайное" Шеллинга, неопределенность, удача и ошибка контроля. В этой опасной игре каждая из сторон может увеличить риск того, что кризис непреднамеренно перерастет в ядерную войну. Проще говоря, риски ядерных государств, использующих "случайность" Шеллинга в войне с применением ИИ, перекрывают все возможные выгоды от опасных игр.

Машина Судного дня: "Маленький черный ящик" Шеллинга

Как различные структуры ядерного командования, управления и связи могут повлиять на компромисс между случайностью и контролем? Исследования показывают, что на случайность влияет неспособность как позитивного (функции и процедуры, позволяющие высвободить ядерные силы по команде соответствующего органа), так и негативного контроля (функции, препятствующие их использованию в противном случае) ядерного оружия. Например, некоторые ученые обсуждают влияние на стабильность и сдерживание дальнейшей автоматизации систем управления, контроля и связи в ядерной сфере современных "машин Судного дня", такой как российский "Периметр" (известный на Западе как "Мертвая рука") — советская автоматизированная система ответного ядерного удара, в которой, как утверждают некоторые СМИ, теперь используются технологии искусственного интеллекта.

С рационалистической точки зрения, реакция автономного пускового устройства ("маленького черного ящика" Шеллинга) будет зависеть от действий противника и, как предполагается, будет четко доведена до его сведения, стратегическая двусмысленность будет уменьшена, а значит, повысится эффективность сдерживания. Другими словами, чем "более автоматическим он будет, тем меньше у противника останется стимулов проверять мои намерения, играя на нервах и продлевая период риска". В контексте взаимного гарантированного уничтожения убедительной и, следовательно, эффективной была бы только угроза применения оружия, активизирующегося при провокации, независимо от обстоятельств. Кроме того, автономная машина избавит человека, принимающего решения, от необходимости сохранять решимость в выполнении морально и рационально обоснованной угрозы, и, устранив сомнения, заложенные в моральных инстинктах человека со свободой воли, обеспечит достоверность угрозы сдерживания.

С психологической точки зрения, полностью лишая человека возможности действовать (т.е. после активации устройства человек ничего не может сделать, чтобы остановить его), выбор эскалации (или деэскалации) кризиса ложится на заранее запрограммированные и неизменные цели машины. Такая цель, в свою очередь, "автоматически вовлекает нас обоих в войну, если в тот или иной день возникает нужная (или не нужная) комбинация", пока требования субъекта не будут удовлетворены. Ужасающая неопределенность, случайность и непредвиденные обстоятельства, которые возникнут в результате передачи права выбора и контроля над ядерным взрывом нечеловеческому агенту — даже если параметры и протоколы запуска устройства будут четко запрограммированы для сдерживания агрессии — увеличат риск как позитивных (например, кибератаки, противодействия рою дронов или порчи данных), так и негативных сбоев (например, операций "под чужим флагом", усовершенствованных ИИ постоянных угроз или спуфинга) систем управления, контроля и связи ядерного оружия.

Более того, полная автоматизация процесса запуска ядерного оружия (т.е. действия без участия человека в процессе поиска, сопровождения и запуска цели) не только обойдет моральные требования теории справедливой войны (например, отсутствие правовых гарантий предотвращения конфликта и защиты невиновных), но и нарушит требование jus ad bellum о наличии надлежащих полномочий, а значит, в принципе, будет нелегитимной.

Таким образом, внеся в ситуацию неопределенности и случайности (т.е. заставляя противника гадать) относительно того, как тот или иной субъект может отреагировать на различные непредвиденные обстоятельства, и при условии, что существует ясность в отношении намерений противника, мы можем получить определенную сдерживающую ценность. Если, в отличие от тактики "безумца", исход частично или полностью определяется экзогенными механизмами и процессами, якобы не поддающимися контролю и пониманию лидеров, то возникает реальный и длительный риск. В противовес этому угроза, исходящая от внешних по отношению к участникам факторов, может стать меньшим испытанием воли и решимости противников, что приведет к тому, что одной из сторон будет менее затратно — с точки зрения репутации и статуса — отступить от края пропасти.

Психология человека и "угроза случайности" в алгоритмической войне

В книге "Нелогичность американской ядерной стратегии" Роберт Джервис пишет, что "работу машин и реакцию людей во время стресса невозможно предсказать с высокой степенью достоверности". Критики отмечают, что, хотя "угрозы, которые оставляют что-то на волю случая" сводят роль человеческого поведения при принятии решений к размышлениям об убедительности угрозы, проблеме обязательств и манипулировании риском, исследования Шеллинга в непропорционально большой степени опираются на экономические модели рационального выбора. Некоторые ученые критикуют основные предположения Шеллинга и в других аспектах.

Два когнитивных предубеждения показывают, что лидеры предрасположены к недооценке случайного риска при принятии кризисных решений. Во-первых, как уже говорилось, существует "иллюзия контроля", которая может заставить лидеров быть слишком уверенными в своей способности контролировать события, рискуя (особенно непреднамеренно или случайно) привести к эскалации кризиса или конфликта. Во-вторых, лидеры склонны считать противника более централизованным, дисциплинированным и скоординированным, а значит, более контролирующим ситуацию, чем они сами.

Кроме того, в "случайных угрозах" игнорируется эмоциональная и эволюционная ценность возмездия и насилия, что крайне важно для понимания процессов, лежащих в основе теории Шеллинга. Согласно Шеллингу, причиняя страдания, ничего нельзя получить или защитить напрямую; вместо этого "можно только заставить людей вести себя так, чтобы избежать этого". В техасском журнале "Обзор национальной безопасности" Макдермотт и др. писали, что "человеческая психология мести объясняет, почему и когда политики с готовностью принимают на себя обязательства по иным, очевидно "иррациональным", мерам возмездия" — а это ключевое понятие для ядерного потенциала второго удара. Поскольку ответный удар не может предотвратить атомную катастрофу в соответствии с экономико-рациональными моделями, он не имеет логического обоснования.

В основе понятия сдерживания — как в военной, так и в других сферах — лежит неявное предположение о том, что существуют достаточно сильные мотивы для ответного удара, когда, даже если ответный удар не принесет стратегических выгод, противник все равно должен его ожидать. Другой парадокс сдерживания — угроза нападения на противника в случае его нежелательного поведения; если удается убедить противника в угрозе, то ущерб, нанесенный ему, не имеет особого значения. Одним словом, сдерживание по своей сути является психологическим феноменом. Оно использует угрозы для манипулирования восприятием риска противником, чтобы убедить его в нецелесообразности силового ответа.

Человеческие эмоции — психологические процессы, включающие субъективные изменения, оценки и интерсубъективные суждения, укрепляющие убеждения, — и эволюция могут помочь объяснить, каким образом неопределенность, случайность и шанс вклиниваются в кризис, несмотря на то, что "рациональные" участники сохраняют определенный контроль над своим выбором. Недавние исследования эволюционных моделей, выходящие за рамки традиционных когнитивных теорий, позволяют по-новому взглянуть на то, как конкретные эмоции могут влиять на доверие и сдерживание. Помимо мести, дипломатию насилия сопровождают и другие эмоции, такие как стремление к статусу, гнев, страх и даже преимущественно мужская эволюционная предрасположенность к ощущению вкуса крови после достижения чувства победы. Таким образом, психологическая ценность, придаваемая возмездию, может также влиять на восприятие, убеждения и уроки опыта лидеров, которые определяют выбор и поведение в кризисных ситуациях. Шеллинг использует термин "взаимный страх внезапного нападения" — представление о том, что вероятность внезапного нападения возникает потому, что обе стороны боятся одного и того же, — чтобы осветить этот психологический феномен.

Например, недавнее исследование доверия населения к ИИ показало, что возраст, пол и специальные знания могут влиять на толерантность людей к риску при использовании ИИ, включая автономное оружие и прогнозирование преступлений. Эти аспекты человеческой психологии могут также помочь объяснить кажущееся парадоксальным сосуществование передовых оружейных технологий, обещающих скорость, дистанцию и точность (т.е. более безопасные формы принуждения), с сохраняющейся склонностью к чисто человеческим играм на нервах на грани ядерной войны. Эмоционально-когнитивные модели, однако, не обязательно прямо противоречат классическим рациональным моделям. Напротив, эти модели могут дополнять и развивать рациональные модели, обеспечивая критическое понимание человеческих предпочтений, мотивов и восприятия с эволюционной и когнитивной точек зрения.

Лидеры, действующие в различных политических системах и временных контекстах, конечно же, будут демонстрировать различные диапазоны эмоционального сознания и, соответственно, различную степень способности регулировать и контролировать свои эмоции. Более того, поскольку различные эмоциональные состояния могут вызывать разное восприятие риска, лидеры могут оказаться предрасположенными к переоценке своей способности контролировать события и недооценке роли удачи и случайности, а значит, и к неправильному восприятию намерений других и переоценке своей способности влиять на ход событий. Например, испуганные люди, как правило, более склонны к риску в своих решениях и поведении по сравнению с людьми, проявляющими гнев или мстительность и склонными неверно оценивать характер возникающих рисков.

Литература по ядерному сдерживанию предполагает, что сдерживающий эффект ядерного оружия основан на нерациональном страхе (или "экзистенциальном предубеждении") в противовес рациональному расчету риска, что инициирует итеративный процесс обучения, обеспечивающий работу экзистенциалистского сдерживания. Каковы бы ни были когнитивные истоки этих взглядов, о которых мы пока знаем очень мало, они, тем не менее, будут оказывать фундаментальное влияние на восприятие угроз лидерами и их когнитивные диспозиции.

Действующие лица испытывают влияние как мотивированных ("управляемых аффектом"), так и немотивированных ("когнитивных") предубеждений, оценивая, представляют ли другие стороны угрозу. Более того, в периоды стресса и кризиса влияние этих психологических факторов усиливается, что может исказить объективную оценку угроз и, соответственно, ограничить возможности сопереживания. На восприятие человека в значительной степени влияют его убеждения о том, как устроен мир, и возникающие на их основе шаблоны, ментальные конструкции и предрасположенности, скорее всего, будут представлять нас. Джервис пишет: "Лицо, принимающее решение, считающее другую сторону скорее враждебной, будет воспринимать неоднозначную информацию как подтверждающую этот образ, тогда как та же информация о стране, считающейся дружественной, будет воспринята более благожелательно".

На групповом уровне нападение члена другой группы часто используется в качестве козла отпущения, чтобы приписать "образ врага" (злобного, оппортунистического, сплоченного и т.д.) группе как единому актору, чтобы вызвать решимость и силу для возмездия — антропологи называют это "местью третьей стороны" или "викарным возмездием". В международных отношениях такая межгрупповая динамика, способная неверно характеризовать противника и "врага", чьи убеждения, образы и предпочтения неизменно меняются, чревата риторическим и вооруженным эскалационным ответным поведением, связанным с дилеммой безопасности.

Обладая способностью влиять на межгрупповую динамику (объяснять события, мобилизовать политические ресурсы, воздействовать на общественный дискурс и т.д.), политические лидеры, как правило, особенно восприимчивы к угрозам со стороны внешней группы и, следовательно, с большей вероятностью санкционируют возмездие за нападение со стороны внешней группы. Растущий массив литературы по социальной психологии показывает, что появление, одобрение и, в конечном счете, влияние политических лидеров зависит от того, как они воплощают, представляют и утверждают идеалы, ценности и нормы своей (т.е. внутренней) группы, а также от того, насколько они отличаются от идеалов, ценностей и норм внешней группы.

Цифровая эпоха, характеризующаяся дезинформацией, "пузырями фильтров" и "эхо-камерами" в социальных сетях и быстро распространяемая автоматизированными социальными ботами, усугубляет эффект разжигания поляризующих ложных идей в поддержку опоозиционных кандидатов в таких крайне популистских и поляризированных условиях, как выборы 2016 и 2020 годов в США и референдум 2016 года по Brexit. По мнению исследователей социальной идентичности Александра Хаслама и Майкла Платоу, существуют убедительные доказательства того, что влечение людей к определенным группам и их последующее поведение, подтверждающее идентичность, определяются "не личным влечением и интересом, а скорее связями на уровне группы". Такая групповая динамика может подвергать лиц, принимающих решения, повышенному давлению "риторической ловушки", в результате чего альтернативные варианты политики (жизнеспособные или иные) могут быть проигнорированы или отвергнуты.

Большинство исследований свидетельствует о криволинейной траектории эффективности принятия решений в период стресса. Несколько особенностей человеческой психологии влияют на нашу способность рассуждать в условиях стресса. Во-первых, большой объем информации, доступный лицам, принимающим решения, в кризисных ситуациях, как правило, сложен и неоднозначен. В эпоху цифровых технологий алгоритмы машинного обучения позволяют собирать, статистически коррелировать, разбирать и анализировать огромные массивы данных в режиме реального времени. Во-вторых, нехватка времени во время кризисов создает большую когнитивную нагрузку на человека. В-третьих, длительная работа в условиях недостаточного отдыха, а также огромная нагрузка, которую испытывают руководители, принимая решения, потенциально имеющие экзистенциальные последствия (в случае с ядерным оружием), еще больше препятствуют принятию правильных решений под давлением. В совокупности эти психологические проблемы могут препятствовать способности субъектов посылать и принимать тонкие, едва уловимые и сложные сигналы, позволяющие оценить убеждения, образы и восприятие риска противником, что крайне важно для эффективного сдерживания.

Несмотря на то что средства ИИ могут улучшить осведомленность о поле боя и, по сути, дать командирам больше времени на размышления, они несут в себе стратегические издержки, не в последнюю очередь ускоряя темп ведения боевых действий и сокращая сроки принятия решений. Инструменты ИИ также могут стать потенциальным средством снижения (или разгрузки) когнитивной нагрузки на людей и, следовательно, облегчения стресса, вызванного кризисом, а также восприимчивости людей к таким явлениям, как когнитивные предубеждения, эвристика и групповое мышление. Однако сокращение количества запросов на получение широкого спектра мнений для рассмотрения альтернатив вряд ли возможно за счет внедрения новых технологий. Таким образом, дальнейшее сужение пространства для размышлений и обсуждений усугубляет существующие психологические процессы, которые могут препятствовать эффективному принятию решений в кризисных (и некризисных) ситуациях, а именно: избегание сложных компромиссов, ограниченное сопереживание противникам и неправильное восприятие сигналов, которые подают другие.

В своих суждениях люди опираются на такие способности, как рассуждение, воображение, изучение, размышление, социальный и исторический контекст, опыт и, что важно для кризисов, эмпатия. По словам философа Джона Дьюи, цель суждения — "довести неполную [и неопределенную] ситуацию до ее завершения". Человеческие суждения и вытекающие из них решения имеют внутреннее моральное и эмоциональное измерение. Алгоритмы машинного обучения, напротив, генерируют решения после обработки массивов данных путем накопления вычислений, расчетов и рациональных правил. По мере развития ИИ, подменяющего человеческие суждения нечеткой машинной логикой, люди, скорее всего, будут цепляться за иллюзорную оболочку своей способности сохранять человеческий контроль и управление ИИ по мере его развития. Таким образом, подверженные ошибкам и недостаткам системы ИИ будут продолжать приводить к непредвиденным последствиям, в корне не связанным с человеком.

В боевых действиях с применением ИИ сочетание скорости, информационной перегрузки, сложных и тесно связанных систем и многополярности, вероятно, усилит существующую склонность людей к отказу от нюансов и баланса в кризисных ситуациях для поддержания эвристической управляемости сложных и динамичных ситуаций. Таким образом, ошибочные представления о противнике и его образы, сформированные на основе ранее существовавших представлений, могут быть скорее усугублены, чем исправлены во время кризиса. Более того, кризисное управление, осуществляемое с неутомимой скоростью машины, сжимающей временные рамки принятия решений, и нечеловеческие агенты, вовлеченные в процесс принятия решений, приведут к тому, что даже если появится однозначная информация о намерениях противника, давление времени, скорее всего, отсеет (или полностью ограничит) тонкие сигналы и тщательное обдумывание дипломатии. Таким образом, трудности, с которыми сталкиваются акторы при одновременном выражении решимости по какому-либо вопросу и готовности к сдержанности, т.е. при подаче сигнала о том, что они пока воздержатся от огня, будут усложняться в геометрической прогрессии из-за когнитивных и технических препятствий, связанных с внедрением нечеловеческих агентов для участия (или замещения) в фундаментально человеческих начинаниях.

Более того, когнитивные исследования показывают, что привлекательность точности, автономности, скорости, масштаба и смертоносности в сочетании с предрасположенностью людей к антропоморфизму, когнитивной разгрузке и предубеждению против автоматизации могут рассматривать ИИ как панацею от описанных выше когнитивных недостатков человеческого анализа и принятия решений. Почтительное отношение людей к машинам (которое предшествовало ИИ) может быть обусловлено предположением о том, что (а) решения принимаются на основе жесткой эмпирической науки, (б) алгоритмы ИИ функционируют на скоростях и сложностях, превышающих человеческие возможности, или (в) тем, что люди боятся, что машины их переиграют или перехитрят. Поэтому легко понять, почему люди склонны рассматривать суждения алгоритма (как для информирования, так и для принятия решений) как авторитетные, особенно если учесть, что человеческие решения и суждения и автономность машин пересекаются в различных точках континуума на каждом этапе цепочки убийства.

Управление алгоритмическим противоборством

Ввиду ограниченности эмпирических данных по ядерной эскалации, угрозам, блефу и прекращению войны представленные аргументы (как и у Шеллинга) носят в основном дедуктивный характер. Иными словами, выводы делаются на основе различных правдоподобных (и спорных) теоретических законов и статистических рассуждений, а не эмпирическим путем. Восполнить этот эмпирический пробел помогают надежные фальсифицируемые контрфактические модели, которые предлагают воображаемые сценарии, опровергающие общепринятые представления, допущения и человеческие предубеждения (предубеждение задним умом, эвристика, предубеждение доступности и т.д.). Контрфактическое мышление также позволяет избежать ловушки исторического и дипломатического телоса, который ретроспективно выстраивает зависимую от пути причинно-следственную цепочку, часто игнорируя или отвергая роль неопределенности, случайности, удачи, самоуверенности, "иллюзии контроля" и когнитивных предубеждений.

Более того, методы машинного обучения (моделирование, имитация и анализ) могут дополнить контрфактические модели и низкотехнологичные настольные игры для выявления условий, при которых могут сформироваться "идеальные штормы" — не для того, чтобы их предсказать, а скорее для того, чтобы бросить вызов общепринятому мнению, выявить предвзятость и инерцию, чтобы выявить и, в идеале, смягчить эти условия. Американский философ Уильям Джеймс писал: "Понятия, впервые примененные для объяснения явлений, часто становятся достоянием общественности, когда они делают их непонятными".

Об авторе

Джеймс Джонсон — преподаватель стратегических исследований в Абердинском университете. Почетный научный сотрудник Лестерского университета, внештатный сотрудник финансируемого Европейским исследовательским советом проекта "Навстречу третьему ядерному веку" и сотрудник Центра стратегических исследований по ядерной проблематике. Автор книги AI and the Bomb: Nuclear Strategy and Risk in the Digital Age (Oxford University Press, 2023). Его последняя книга — The AI Commander: Centaur Teaming, Command, and Ethical Dilemmas (Oxford University Press, 2024).