Восстание машин или рутинная проверка. На что указывают военные симуляции с применением ИИ

1 июня газета Guardian сообщила, что во время симуляции, проводимой ВВС США, беспилотник с искусственным интеллектом "убил" своего оператора. По словам полковника Такера Гамильтона, начальника отдела испытаний и операций ИИ ВВС, беспилотник получил приказ уничтожить радарные установки противника, а когда он заметил, что люди-операторы могут отменить его решение об открытии огня, решил устранить их, чтобы продолжить выполнение своей миссии без помех. Несмотря на то, что это была всего лишь симуляция, и никто не пострадал, историю с броским заголовком подхватили новостные издания по всему миру.

Опровержение изначальной статьи вышло через день, но ущерб уже был нанесен: критики автономного оружия использовали статью, чтобы указать на многочисленные опасности таких систем. Однако в бурном потоке критики был упущен один ключевой момент: то, что система с использованием ИИ может проявить новые и опасные нежелательные модели поведения, — это не ужастики из научной фантастики. Это реальные и важные элементы тестирования и оценки новых разрабатываемых систем оружия.

Фокус перевел новый текст Натан Г. Вуда, посвященный военным системам с искусственным интеллектом.

Практически по всем признакам изначальная статья была ложной — такую симуляцию в реальности не проводили. Но, ради интереса, что если бы это было правдой? Что если бы ВВС провели симуляцию с беспилотником с искусственным интеллектом и обнаружили, что тот пытается убить своего оператора? Означает ли это, что таким системам вообще нельзя доверять, или что машины неизбежно ополчатся на своих создателей? Значит ли это, что военные должны отказаться от разработки всех автономных систем или систем с ИИ?

Разумеется, нет. ИИ имеет и будет иметь решающее значение для ряда боевых систем. Если бы история Гамильтона произошла на самом деле, это просто означало бы, что все более автономные системы могут проявлять новые формы поведения, некоторые из которых нежелательны, и что военные и поставщики вооружений должны быть осторожны при разработке такого оружия. Это не означает, что оружие с поддержкой ИИ или автономное оружие не создает этических или юридических проблем, но подчеркивает необходимость испытаний и оценивания нового оружия специально для поиска таких проблем. И если проблемы обнаружатся, то ответ должен быть направлен на их решение, а не на то, чтобы поддаться страхам и полностью отказаться от проекта. Более того, тщательное и прозрачное тестирование и оценка необходимы для разработки новых систем оружия, которые должны быть максимально безопасными и надежными, но эта практика сильно пострадает, если открытость в отношении возникающих проблем приведет к призывам остановить все разработки. При разработке оружия будут случаться неудачи, но они являются важнейшей составляющей прогресса в разработке.

Если серьезно отнестись к реалиям разработки оружия, а также к важности промежуточных неудач и недосмотров, становится ясно, что военным и правительствам необходимо уделять пристальное внимание тому, когда и почему именно системы выходят из строя. Однако это внимание должно быть направлено на устранение проблем. Если некоторые из них устранить невозможно, тогда эти ведомства должны определить, можно ли снизить последующие риски, или же проекты стоит полностью отменить. В любом случае, чтобы прийти к таким выводам, очень важно, чтобы разработка продолжала двигаться вперед, а не срывалась после каждой неудачи и каждой волны критики, вызванной броским заголовком.

Роботы-убийцы

Автономные системы вооружения, которые критики часто называют "роботами-убийцами", являются предметом многочисленных общественных дебатов, а международные усилия по регулированию их разработки и использования продолжаются уже много лет. Однако важно помнить, что автономное оружие является основой современных вооруженных сил на протяжении десятилетий. И Министерство обороны США, и Международный комитет Красного Креста определяют автономные системы оружия как системы, которые могут выбирать и поражать цели без вмешательства человека. Это включает в себя не только футуристические платформы, но и такие привычные вещи, как барражирующие боеприпасы, противорадарные ракеты и противоракетные системы типа Phalanx, используемые многими военно-морскими силами по всему миру. Критики автономного оружия обычно возражают не против этих испытанных платформ, а против автономных систем, которые иногда могут вести себя непредсказуемо или будут неспособны адекватно различать законные цели и цели, которые нельзя атаковать.

Когда Гамильтон заявил, что беспилотник с искусственным интеллектом "убил оператора, потому что тот мешал ему выполнить свою задачу", это сыграло прямо на руку критикам: якобы такое оружие будет непредсказуемым, неконтролируемым и по своей сути опасным.

Пресс-секретарь ВВС Энн Стефанек ответила, что "Министерство ВВС не проводило никаких подобных симуляций беспилотного ИИ и по-прежнему привержено этичному и ответственному использованию технологии ИИ". Гамильтон также уточнил свои слова, сказав, что он имел в виду просто мысленный эксперимент, а не реальную симуляцию, добавив, что "мы никогда не проводили такой эксперимент, и нам не нужно было бы этого делать, чтобы понять, что это правдоподобный результат". Тем не менее, даже после того, как стало известно об ошибочности изначального сообщения, критики остались непреклонны, заявив, что этот случай, "тем не менее, показывает настоятельную необходимость международного законодательства об автономных системах вооружения для обеспечения соответствующего человеческого контроля над применением силы".

Стоит отметить, что эта критика несколько не в тему, поскольку в статье Гамильтона речь шла о беспилотнике с искусственным интеллектом, который находился под контролем человека, в том смысле, что он мог идентифицировать угрозы, но его атаки мог предотвратить человек-оператор. Однако ужасный поворот в этом мысленном эксперименте заключался в том, что дрон "получал очки за устранение угрозы", и поэтому, чтобы максимизировать свои очки, он "убивал" оператора, который мог помешать ему выполнить свою задачу. Когда ему было приказано не убивать оператора, он "уничтожил" диспетчерскую вышку.

Хотя данный случай был гипотетическим, а возражение критиков немного не дотягивает до истины, очевидно, что что-то не так, когда дрон обращается против своих операторов, чтобы "получить больше очков". В основе проблемы лежит так называемая проблема согласования — как заставить систему ИИ не просто делать то, что вы явно говорите, а делать это так, чтобы это соответствовало основным целям и ценностям армии? Беспилотник в мысленном эксперименте Гамильтона делал то, о чем его просили операторы — уничтожал вражеские системы ПВО, — но он делал это совершенно не синхронно с их общими целями и намерениями, да еще и действовал прямо против непосредственных приказов операторов. Но означает ли все это вместе взятое, что такая система непременно окажется неудачной? Более того, действительно ли обнаружение подобных проблем в разрабатываемой оружейной платформе дает нам основание прекратить разработку или свернуть проект? Чтобы ответить на этот вопрос, мы должны спросить себя, чего мы хотим от нашего оружия и как на практике продвигается проектирование и разработка.

Чего мы хотим от оружия?

Очевидно, что любая система оружия должна отвечать ряду требований: она должна быть эффективной для определенной боевой роли, безопасной для солдат, достаточно избирательной, чтобы не подвергать гражданское население непропорциональному риску, и, в идеале, экономически эффективной. К автономному оружию также предъявляются дополнительные требования, центральное место среди которых занимает директива Министерства обороны США 3000.09 об автономности в системах вооружения. Среди прочего, такие системы должны "позволять командирам и операторам осуществлять соответствующие уровни человеческого суждения о применении силы", быть подвержены временным, географическим и операционным ограничениям, чтобы минимизировать вероятность ошибок, быть достаточно надежными, защищенными от вражеского вмешательства, а также быть спроектированы таким образом, чтобы быть понятными операторам, обеспечивать обратную связь по операциям и определять четкие процедуры активации и деактивации. В целом, Министерство обороны сводит требования к автономному оружию к пяти широким принципам: ответственность, равноправие, отслеживаемость, надежность и управляемость.

В дополнение к этим конкретным и общим требованиям к автономному оружию, доктор Эндрю Хилл и полковник Грегг Томпсон из Военного колледжа армии США исследуют "пять огромных скачков", которые, по их мнению, служат ориентирами в развитии автономного оружия. Два из этих скачков, тест спонтанной доктрины и тест дисциплинированной инициативы, имеют отношение к гипотетическому случаю, описанному Гамильтоном.

Тест спонтанной доктрины включает в себя намеренное помещение роботизированной системы в ситуацию, для которой она неоптимально организована или оснащена, а затем позволяет ей исследовать различные способы противодействия.

Хотя наличие оператора, который может отменять решения о нацеливании, не обязательно должно рассматриваться как "неоптимальная" организационная структура, с точки зрения автономной системы это именно так — беспилотному ИИ дано указание уничтожить вражескую ПВО, он идентифицирует цель, но по какой-то причине ему могут помешать сделать предписанное. Если бы беспилотник нашел творческие способы обойти это последнее препятствие, это стало бы огромным скачком вперед, сформировав спонтанную доктрину, позволяющую ему полнее выполнять свои задачи. Когда эти "творческие способы" включают в себя нападение на дружественный персонал, разработчикам, безусловно, необходимо решить эту проблему, но факт остается фактом: беспилотник все же нашел способ обойти ограничения и достичь успеха для миссии.

Тест на дисциплинированную инициативу относится к оправданным актам неповиновения, когда солдат (или автономная система) изменяет свои приказы или задачи для достижения еще больших целей. Опять же, как и выше, беспилотник, который для достижения этих целей нацеливается на собственного оператора, явно неудачный пример, но он также достигает этого "скачка", требуемого от автономного оружия — ему дается задание, и он делает то, что необходимо для выполнения этого задания. Поиск новых методов выполнения задач (или выход за их пределы) — это хорошо, а задача конструкторов, инженеров и испытателей — убедиться, что ни один из этих новых методов не нарушает правовых или этических принципов, регулирующих ведение войны, и что в остальном система функционирует так, как задумано.

Важность тестирования

Это подводит нас к важнейшему аспекту разработки нового оружия на войне: тестированию и оценке. В текущей версии Директивы 3000.09 одной из областей, в которую были внесены значительные дополнения, является процесс рассмотрения автономного оружия и методы "тестирования и оценки" и "проверки и подтверждения". В частности, директива предусматривает "установление минимальных порогов риска и надежности для автономности систем вооружения", а также "конкретные, поддающиеся проверке требования для реализации этических принципов ИИ МО". Для достижения этой цели в директиве большое внимание уделяется разработке административных, человеческих и технических систем для тестирования и оценки, а также верификации и валидации (полу)автономных систем оружия.

Если бы беспилотник открыл огонь по своему оператору, чтобы "набрать больше очков" в ходе испытаний, он, конечно, не прошел бы процесс проверки, предусмотренный директивой. Более того, одна из основных причин проведения испытаний заключается в том, чтобы выяснить, возможны ли подобные вещи. Если да, то система не готова к развертыванию и требует дополнительной работы. Требовать, чтобы система или платформа хорошо вела себя и работала в каждом отдельном тесте, значит ожидать, что в процессе разработки не возникнет никаких проблем или непредвиденных трудностей, а это, наоборот, повышает вероятность возникновения проблем в дальнейшем.

Прозрачность, ошибка выжившего и ответственные инновации

В феврале 2007 года шесть самолетов F-22 Raptor летели на восток через Тихий океан, как вдруг их компьютерные системы вышли из строя, а вместе с ними и почти все органы управления. В интервью CNN генерал-майор Дон Шеппард (в отставке) описал ситуацию следующим образом:

"На международной линии перемены даты внезапно отказали все системы, и когда я говорю "все системы", я имею в виду все: навигацию, связь, топливные системы".

Похоже, что какая-то часть компьютерного кода в самолете не смогла справиться с внезапным скачком назад во времени, который произошел, когда самолет пересек линию перемены даты, и это вызвало быстрое отключение всей системы. К счастью, самолету удалось вернуться домой, и его быстро починили, но все могло быть гораздо хуже.

Но что если бы каждый раз, когда происходила неудача или обнаруживалась ошибка, общественность ратовала бы за отказ от проекта? Хуже того — что если бы в условиях такого давления Lockheed Martin знал о потенциальной ошибке? Все вместе это создало бы значительное давление с целью не совершать ошибок или, по крайней мере, не показывать никому, что вы их совершили. В этом случае Lockheed Martin мог бы просто попытаться удержать свой самолет от пересечения международной линии перемены даты. Проблема решена. Ну, то есть до того момента, пока такие самолеты не будут развернуты в этом районе в боевой обстановке.

Наказывая за ошибки и оказывая давление на тех, кто терпит неудачи, мы вряд ли вдруг получим лучших инженеров, более умных ученых или более старательных операторов. Однако у нас появятся команды, которые показывают меньше ошибок публике. И это проблема. Как метко заметил компьютерный ученый Гарольд Тимблби, "люди, как бы хорошо они ни были обучены, в конечном итоге всегда совершают промахи", и иногда эти промахи могут иметь катастрофические последствия. Но если быть прозрачными в отношении ошибок, мы можем разработать системы, которые сделают их менее вероятными или будут иметь достаточные меры предосторожности, чтобы возможная ошибка не привела к катастрофическому сбою.

Что касается разработки автономного оружия, то один только рассказ Гамильтона (без каких-либо доказательств) вызвал волну истерии по поводу таких систем, и даже после того, как в изначальный доклад были внесены поправки, критики остались непреклонны в своих возражениях. Но автономное оружие уже является частью современных вооруженных сил, было таковым на протяжении десятилетий и будет оставаться таковым в обозримом будущем. Общественный резонанс все же может повлиять на усилия инженеров, оказывая на них давление, чтобы они "не делали ошибок" или, попросту говоря, не показывали никому, что они их делают. Такое давление может быть вредным — совершать ошибки и учиться на них, как отметил математик Мэтт Паркер, "это путь развития инженерного дела". Разработчики создают что-то, пробуют, ищут недостатки и, когда находят их, изучают, что пошло не так, чтобы сделать лучше. Если требовать, чтобы ошибок не было, в первую очередь, возрастает вероятность того, что неизбежные ошибки будут скрывать вместо того, чтобы рассматривать их как важные уроки.

Заключение

Случая, о котором рассказал Гамильтон, никогда не было. Ни в симуляции, ни в реальной жизни не существовало беспилотника с искусственным интеллектом, который пытался бы убить своего оператора или уничтожить его диспетчерскую вышку. Но даже если бы это произошло, реакцией на такое событие не должны быть немедленные, мотивированные страхом требования прекратить разработку автономных систем для армии. Инженерные неудачи — это возможность узнать, что и почему пошло не так, и ключ к улучшению не только проектирования конкретных систем, но и понимания более широких научных реалий. Следует также помнить, что тестирование никогда не бывает полным, особенно для военных систем, поскольку противники будут постоянно искать способы навредить им — иногда такими способами, которые могут сделать оружие непредсказуемым. Это прискорбная реальность, и нужно помнить, что в любом инженерном деле случаются ошибки и аварии. Испытания и оценка помогают свести такие неудачи к приемлемому минимуму, но они никогда не исчезнут полностью.

Принятие будущих проблем и, более того, принятие их как возможности для обучения, является главным условием прогресса в проектировании. Культура нагнетания страха перед неудачами не снизит вероятность неудач и не сделает так, чтобы команды инженеров с первой попытки добились нужного результата. Напротив, она лишь лишит компании стимула проводить ответственные и тщательные испытания и оценки, и приведет к тому, что ошибки будут скрываться, а не изучаться. Такая ситуация наверняка создаст собственные опасности и подорвет доверие, необходимое для того, чтобы солдаты были готовы использовать автономные системы, призванные им помочь. Это не значит, что критика должна затихнуть или что разработчики оружия должны быть избавлены от жесткой критики, когда это оправдано. С некоторыми ошибками нельзя и не следует мириться, особенно когда они сохраняются в развертываемых системах. Однако мы должны убедиться, что наша критика направлена на реальные проблемы, а не на необходимые шаги в процессе проектирования (или даже просто на гипотезы). Разработчики несут ответственность как перед комбатантами, так и перед гражданскими лицами во всем мире за то, чтобы системы, которые они проектируют, были надежными, избирательными и поддавались осмысленному человеческому контролю. Все это требует, чтобы разработчики оружия искали проблемы как можно тщательнее, а затем находили решения. В ином случае мы получим оружие, которое не заслуживает доверия и которое не должно быть развернуто.

Об авторе

Натан Г. Вуд — постдок Гентского университета и сотрудник Группы этики и новых наук Калифорнийского политехнического университета в Сан-Луис-Обиспо. Его исследования посвящены этике и законам войны, особенно в том, что касается новых технологий, автономных систем оружия и аспектов будущих конфликтов.