Разведка роем. Пентагон разрешит дронам и роботам воевать без контроля человека

Военный обозреватель Фокуса Игаль Левин перевел статью об изменениях, которые технологии искусственного интеллекта (ИИ) принесут в военное дело уже в очень скором будущем.

В августе прошлого года несколько дюжин военных дронов и сухопутных роботов поднялись в небо и двинулись по дорогам в 40 милях к югу от Сиэтла. Их заданием было найти "террористов", которые прятались среди зданий.

В операции задействовали так много роботов, что ни один оператор не сумел бы постоянно и пристально за ними следить. так что дронам было дано указание найти и уничтожить вражеских комбатантов… когда они сами сочтут это необходимым.

Стаи дронов и человек в системе

Миссия, описанная выше, была всего лишь учением, организованным Агентством перспективных исследовательских проектов Министерства обороны США — исследовательским подразделением Пентагона. А роботы не были вооружены ничем более смертоносным, чем радиопередатчики, предназначенные для имитации взаимодействия как с дружественными, так и с вражескими роботами.

Однако эта миссия была только частью из серии учений, проведенных прошлым летом, чтобы проверить: как искусственный интеллект помогает расширить диапазон использования автономных систем в военных операциях, в том числе в сценариях, которые человека слишком сложны и слишком быстро меняются. Или когда просто нет времени на то, чтобы раздумывать над критическими решениями. 

Эти демонстрации также отражали изменения в представлениях Пентагона об автономном оружии, поскольку становится все более понятно, что машины могут превзойти людей при анализе сложных ситуаций или работе на высоких скоростях.

Генерал Джон Мюррей из Командования будущего армии США, выступая месяц назад в Военной академии США, отметил, что ситуации, в которых задействован рой роботов — это повод для военных планировщиков, политиков и общества в целом задуматься о том, должен ли человек принимать каждое решение об использовании этой смертоносной силы в новых автономных системах. Мюррей спросил: "Возможно ли принять 100 индивидуальных уникальных решений? Точно ли вообще необходимо, чтобы в этой системе был человек?"

Самостоятельность искусственного интеллекта: спор еще не завершен

Другие комментарии военного командования свидетельствуют о заинтересованности в расширении возможностей автономных систем вооружения. На конференции по искусственному интеллекту Майкл Канаан, директор по операциям искусственного интеллекта в ВВС в Массачусетском технологическом институте и ведущий представитель по вопросам ИИ в вооруженных силах США, сказал, что представление об этих всех вопросах расширяется. По словам Канаана, ИИ должен все более самостоятельно выявлять и различать потенциальные цели, пока люди принимают решения на высоком уровне. 

"Я думаю, что именно в этом направлении мы и движемся", — заключает Канаан.

На том же мероприятии генерал-лейтенант Клинтон Хиноте, заместитель начальника штаба Пентагона по стратегии, интеграции и требованиям, заявил, что вопрос о том, можно ли отделить человека от смертоносных автономных систем, является "одним из самых интересных споров, который еще не завершен".

В этом месяце в докладе Комиссии национальной безопасности по искусственному интеллекту (консультативной группы, созданной Конгрессом США), среди прочего рекомендовалось, чтобы США сопротивлялись призывам к международному запрету на разработку автономного оружия.

Тимоти Чанг, менеджер программы Darpa, отвечающий за проекты с участием роя роботов, говорит, что учения, проведенные прошлым летом, были разработаны именно для того, чтобы выяснить, должен ли оператор беспилотного летательного аппарата принимать решения для автономных систем. Например, при атаках на нескольких фронтах контроль со стороны человека может помешать выполнению миссии, потому что люди не способны реагировать достаточно быстро. "На самом деле системы могут работать лучше, если никто не вмешивается", — утверждает Чанг.

Разведка роем

Дронам и колесным роботам (размером с большой рюкзак) была поставлена ​​общая цель, после чего были задействованы алгоритмы искусственного интеллекта, чтобы разработать план ее достижения. Некоторые из них окружала здания, а другие вели наблюдения. Часть атакующих была "подорвалась" на минах-ловушках, но остальные роботы сумели идентифицировали маяки, представляющие вражеских комбатантов, и самостоятельно решили атаковать.

США и другие страны уже десятилетиями используют автономию в системах вооружений. Так, некоторые ракеты могут самостоятельно идентифицировать и атаковать врагов в заданной области. Но быстрое развитие алгоритмов искусственного интеллекта существенно изменит то, как военные используют такие системы. Стандартный ИИ-код способен управлять роботами и определять ориентиры и цели, причем с достаточно высокой надежностью. Это позволит развернуть больше таких систем в широком диапазоне ситуаций.

Но, как показывают демонстрации дронов, широкое использование ИИ иногда затрудняет для человека возможность быть в курсе происходящего. Проблема в том, что технология искусственного интеллекта может давать сбои в или вести себя непредсказуемо. Алгоритм "зрения", обученный распознавать конкретную униформу, может ошибочно нацеливаться на кого-то, кто носит аналогичную одежду. Впрочем, Чанг говорит, что алгоритмы ИИ довольно скоро улучшатся настолько, что смогут идентифицировать врагов с высокой степенью достоверности — и им можно будет доверять.

Люди управляют дронами… или уже нет?

И все же в последние годы использование ИИ в системах вооружений остается предметом для дискуссии. Так, Google в 2018 году столкнулся с протестом сотрудников и общественным резонансом после того, как поставил в Военно-воздушные силы технологию искусственного интеллекта в рамках проекта, известного как Maven.

Этот проект является частью долгой истории автономных систем вооружений, причем некоторые ракеты уже способны выполнять ограниченные задачи независимо от контроля человека. Но это также показывает, как недавние достижения в области ИИ делают автономию более привлекательной и неизбежной в определенных ситуациях. Более того, это подчеркивает доверие, которое будет оказано технологиям, которые на данном этапе все еще могут вести себя непредсказуемо.

Пол Шарр, эксперт Центра новой американской безопасности и автор книги "Армия никого: автономное оружие и будущее войны", говорит, что пришло время провести более сложные обсуждения по теме технологий автономного оружия. 

"Дискуссия о "людях, которые управляют" должна быть более сложной, чем просто двоичный вопрос: "Еще управляют или уже нет? — говорит Шарр. — Если человек принимает решение поразить рой вражеских дронов, нужно ли ему индивидуально выбирать каждую цель?"

В ноябре 2012 года Министерство обороны США опубликовало политику в отношении автономного оружия, в которой говорилось, что автономные системы вооружений должны находиться под контролем человека, но это не означает, что каждое решение должны принимать солдаты.

"Это даже хуже, чем вооружить талибов"

Но есть и те, кто считает, что военные могут перейти Рубикон, если начнут использовать ИИ для автономных боевых систем. 

"Смертоносное автономное оружие, достаточно дешевое, чтобы его мог себе позволить каждый террорист, не отвечает интересам национальной безопасности Америки", — говорит Макс Тегмарк, профессор Массачусетского технологического института и соучредитель Future of Life Institute, некоммерческой организации, выступающей против автономного оружия.

Тегмарк говорит, что оружие, использующее ИИ следует "заклеймить и запретить, как биологическое оружие". 

"Я думаю, что однажды мы пожалеем об этом (имеется в виду — о передаче искусственному интеллекту контроля над автономными боевыми системами. — Ред.) даже больше, чем о том, что вооружили талибов", — говорит Тегмарк.

Об авторе

Уилл Найт — сотрудник журнала WIRED, посвященного проблемам искусственного интеллекта. Ранее работал старшим редактором MIT Technology Review, где писал о фундаментальных достижениях в области искусственного интеллекта и бума в области искусственного интеллекта в Китае; был редактором и автором в New Scientist; изучал антропологию и журналистику.