Люди и машины. Можно ли доверять искусственному интеллекту?

Недавний опрос Pew показал, что 82% американцев относятся к использованию искусственного интеллекта (ИИ) скорее настороженно, чем с радостью. Такие настроения неудивительны – поп-культура изобилует историями об агрессивном или опасном ИИ. Фильмы от "2001: Космическая одиссея" до "Терминатора" предупреждают о последствиях излишнего доверия к ИИ. В то же время, как никогда ранее, все больше людей регулярно пользуются устройствами с поддержкой ИИ – от рекомендаций в поисковых системах до голосовых помощников в смартфонах и автомобилях.

Фокус перевел статью Джона Кристиансона, Ди Кука и Кортни Стайлз Хердт о восприятии искусственного интеллекта в обществе.

Несмотря на всеобщее недоверие, ИИ становится все более вездесущим, особенно в сфере обороны. Он играет роль во всем, от предиктивного обслуживания техники до автономного оружия. Вооруженные силы по всему миру вкладывают огромные средства в ИИ, чтобы получить конкурентное преимущество, а Соединенные Штаты и их союзники участвуют в гонке за технологиями. Многие руководители оборонных ведомств хотят, чтобы эти технологии были как можно более надежными. С учетом как никогда прежде широкого использования ИИ, западным военным крайне важно создавать системы, которым могут доверять их пользователи.

Лучшее понимание динамики человеческого доверия имеет решающее значение для эффективного использования ИИ в сценариях военных операций, которые в оборонной сфере обычно называются "связкой человек-машина". Чтобы добиться доверия и полного сотрудничества с "товарищами" ИИ, военным необходимо научиться учитывать человеческий фактор при разработке и внедрении систем. Если этого не сделать, то при использовании ИИ в армии могут возникнуть катастрофические и даже летальные ошибки, с которыми уже столкнулся частный сектор. Чтобы избежать этого, военные должны обеспечить изучение человеческого фактора при обучении персонала и в организации операционных схем совместной работы человека и машины, а также поэтапное внедрение ИИ.

Развитие доверия к искусственному интеллекту

Для эффективного построения команды из человека и машины необходимо сначала понять, как люди развивают доверие, в частности, к технологиям и искусственному интеллекту. Под искусственным интеллектом здесь подразумеваются модели, способные обучаться на основе данных (так называемое машинное обучение). До сих пор почти все усилия по разработке надежного искусственного интеллекта были направлены на решение технологических проблем, таких как повышение прозрачности и предсказуемости искусственного интеллекта. Человеческой стороне взаимодействия человека и машины уделялось мало внимания. Однако, игнорируя человеческий фактор, мы рискуем свести на нет положительные результаты чисто технологических усовершенствований.

Пользователи называют множество причин, по которым они не доверяют искусственному интеллекту свои задачи – и это неудивительно, учитывая общее недоверчивое отношение к технологии в культуре, о котором говорилось выше в исследовании Pew. Однако исследования показывают, что с новыми программными технологиями люди часто поступают наоборот, доверяя веб-сайтам свою личную информацию и используя умные устройства, которые активно собирают эту информацию. Многие даже совершают безрассудные, не рекомендованные производителем действия в автомобилях с автопилотом, что может представлять опасность для жизни.

Исследования показывают, что людям трудно найти баланс в уровне доверия к технологиям, которые они используют. При использовании технологий с поддержкой искусственного интеллекта они нередко слишком сильно доверяют своим товарищам-машинам. Это может привести к неожиданным авариям или последствиям. Люди, например, склонны к предвзятому отношению к автоматизации, предпочитая информацию, полученную от автоматизированных систем. Риск излишнего доверия к ИИ, печально известного как технология-"черный ящик", возможности которого часто понимают неправильно, еще выше.

Люди часто ведут себя все более рискованно при использовании новых технологий, которые они считают безопасными. Это явление известно как поведенческая адаптация и хорошо задокументировано в исследованиях безопасности автомобилей. Исследование, проведенное экономистом Чикагского университета Сэмом Пельтцманом, не выявило снижения смертности в результате автомобильных аварий после внедрения мер безопасности.

По предположению ученого, это произошло потому, что водители, чувствуя себя в большей безопасности в результате введения новых правил и технологий безопасности, рисковали за рулем больше, чем до введения таких мер. Например, было установлено, что водители машин с антиблокировочной системой торможения (ABS), ездят быстрее и ближе к другим автомобилям, чем те, кто ее не имеет. Даже использование адаптивного круиз-контроля, который поддерживает дистанцию до впереди идущего автомобиля, приводит к увеличению рискованного поведения – например, пользования телефоном во время вождения. Хотя позже было установлено, что корреляция между усилением мер безопасности и рискованным поведением не обязательно была столь однозначной, как изначально заключил Пельтцман, теория и сама концепция поведенческой адаптации вновь привлекли к себе внимание в последние годы для объяснения рискованного поведения в таких разных ситуациях, как американский футбол и пандемия COVID-19. Любая связка человека и машины должна создаваться с учетом этих исследований и знаний.

Учет человеческого фактора при проектировании ИИ

Эффективная связка "человек-машина" должна разрабатываться с учетом человеческого поведения, которое может негативно повлиять на результаты работы такой команды. Масштабные исследования аварий с участием автомобилей с поддержкой ИИ заставили некоторых усомниться в том, можно ли доверять водителям-людям при использовании технологии автомобилей с автопилотом. Множество автокатастроф с использованием технологии помощи водителю произошло, в частности, из-за системы автопилота компании Tesla, что привело к отзыву автомобилей этой серии.

Хотя эти происшествия не являются исключительно результатом чрезмерного доверия к автомобилям, управляемым искусственным интеллектом, видеозаписи аварий показывают, что именно чрезмерное доверие играет решающую роль. На некоторых видео видно, что водители спят за рулем, а другие выполняют трюки вроде посадки собаки на водительское сиденье.

Компания Tesla утверждает, что ее программа автопилота предназначена для водителей, которые при этом следят за дорогой. Однако исследования показывают, что после включения автопилота люди, как правило, уделяют вождению значительно меньше внимания. Есть документально подтвержденные примеры смертельных аварий, во время которых никто не находился на водительском сиденье или водитель смотрел на свой мобильный телефон. Водители принимали рискованные решения, которые не приняли бы в обычном автомобиле, потому что верили, что система искусственного интеллекта достаточно хороша, чтобы оставаться без контроля, несмотря на все доводы компании и огромное количество примеров обратного.

В докладе расследования этих аварий от Национальной администрации безопасности дорожного движения рекомендуется, чтобы "конструктивные решения включали способы взаимодействия водителя с системой или прогнозируемые диапазоны намеренного и непреднамеренного поведения водителя во время работы такой системы".

Военные должны принять меры предосторожности при интеграции ИИ, чтобы избежать подобным злоупотреблением доверием. Одной из таких мер предосторожности может быть мониторинг работы не только ИИ, но и его пользователей. В автомобильной промышленности все более популярным становится видеомониторинг, позволяющий убедиться в том, что водители внимательны, пока задействована функция автоматизированного вождения. Видеомониторинг подходит не для всех военных применений, но концепция мониторинга работы человека должна так или иначе учитываться при разработке.

В недавней статье в журнале Proceedings этот двойной мониторинг рассматривается в контексте обучения военной авиации. Постоянный мониторинг "здоровья" системы ИИ похож на мониторинг системы самолета перед полетом и в воздухе. Аналогичным образом постоянно оценивается повседневная работа экипажа. Подобно тому, как летный состав обязан проходить непрерывную подготовку по всем аспектам эксплуатации самолета в течение года, так и операторы ИИ должны проходить постоянную подготовку и мониторинг. Это позволит не только убедиться в том, что военные системы ИИ работают так, как задумано, и что люди, работающие в паре с этими системами, не допускают ошибок, но и укрепить доверие в связке "человек-машина".

Искусственный интеллект и обучение динамике доверия

Персонал должен быть проинформирован о возможностях и ограничениях как машины, так и человека в любой ситуации, связанной со взаимодействием человека и машины. Гражданские и военные эксперты сходятся во мнении, что основой эффективной работы связки человека и машины является соответствующая подготовка военнослужащих. Эта подготовка должна включать в себя обучение как возможностям, так и ограничениям системы искусственного интеллекта, с включением обратной связи от пользователя в программное обеспечение ИИ.

Военная авиация освоила культуру безопасности, основанную на тщательной подготовке и совершенствовании навыков путем повторения, и эта культура безопасности может стать основой для необходимого обучения ИИ. Авиаторы учатся не только интерпретировать информацию, отображаемую в кабине пилота, но и доверять или не доверять ей. Это реальная демонстрация исследований, показывающих, что люди более адекватно воспринимают риски, когда их обучают тому, насколько велика вероятность их возникновения.

Обучение, непосредственно связанное с тем, как люди сами устанавливают и поддерживают доверие посредством поведенческой адаптации, также поможет пользователям лучше осознать свое собственное потенциально вредное поведение. Исследования в области безопасности дорожного движения и других областях неоднократно доказывали, что такое обучение осознанности помогает смягчить негативные последствия. Люди способны к самокоррекции, когда понимают, что их поведение нежелательно. В контексте совместной работы человека и машины это даст пользователям возможность реагировать на неисправности или сбои в доверенной им системе, но при этом сохранять преимущество повышения осведомленности о ситуации. Таким образом, внедрение ИИ на ранних этапах обучения позволит будущим военным операторам доверять системам искусственного интеллекта, а благодаря многократному повторению доверительные отношения укрепятся. Более того, благодаря лучшему пониманию не только возможностей машины, но и ее ограничений, снизится вероятность того, что пользователь ошибочно завысит уровень доверия к системе.

Поэтапный подход

Кроме того, при внедрении искусственного интеллекта следует использовать поэтапный подход, чтобы лучше учесть человеческий фактор в совместной работе человека и машины. Часто новое коммерческое программное обеспечение или технологии спешат вывести на рынок, чтобы опередить конкурентов, и в итоге терпят неудачу в процессе эксплуатации. Это часто обходится компании дороже, чем если бы они отложили внедрение, чтобы полностью проверить продукт.

Поспешив при создании военных приложений ИИ, военные рискуют слишком далеко и слишком быстро продвинуть технологию ИИ ради мнимого преимущества. Примером этого в гражданском секторе являются недостатки программного обеспечения Boeing 737 Max, которые привели к двум смертельным авариям.

В октябре 2018 года разбился самолет Lion Air Flight 610, в результате чего погибли все 189 человек, находившихся на борту, после того как пилоты не справились с управлением при быстром и неконтролируемом снижении. Несколько месяцев спустя разбился рейс 302 авиакомпании Ethiopian Airlines, унеся жизни всех находившихся на борту, после того как пилоты аналогичным образом пытались контролировать самолет. Хотя программное обеспечение для управления полетом, ставшее причиной этих аварий, не является настоящим искусственным интеллектом, эти фатальные ошибки все равно дают поучительный пример. Неоправданное доверие к программному обеспечению на многих уровнях привело к гибели сотен людей.

Расследование аварий обоих самолетов показало, что ошибочный ввод данных от датчика угла атаки в бортовой компьютер привел к катастрофическому отказу целого каскада систем. Эти датчики измеряют угол наклона крыла относительно воздушного потока и дают представление о подъемной силе – способности самолета держаться в воздухе. В данном случае ошибочный ввод данных привел к тому, что система дополнения маневренных характеристик (автоматизированная система управления полетом) перевела самолет в пикирование, так как посчитала, что ему необходимо быстро набрать высоту. Эти две аварии привели к посадке всего парка самолетов 737 Max по всему миру на 20 месяцев, что обошлось компании Boeing более чем в 20 миллиардов долларов.

Все это было вызвано конструкторским решением и последующим изменением программного обеспечения, которое считалось безопасным. Компания Boeing, стремясь опередить своих конкурентов, обновила свою популярную базовую модель 737. Изменение расположения двигателя на крыле 737 Max помогло самолету повысить топливную эффективность, но значительно повлияло на летные характеристики. Фактически компания Boeing должна была выпустить на рынок совершенно новый планер, что повлекло бы за собой переобучение пилотов в соответствии с требованиями Федерального управления гражданской авиации. Это потребовало бы значительных затрат времени и денег.

Чтобы избежать этого, программное обеспечение управления полетом было запрограммировано так, чтобы самолет летал как более старая модель 737. Такое новаторское использование позволило компании Boeing представить 737 Max на рынке как обновление существующего самолета, а не как новый планер. В ходе испытаний были отмечены некоторые проблемы, но Boeing доверял своему программному обеспечению, учитывая надежность предыдущих систем управления полетом, и добился сертификации в Федеральном авиационном управлении. Однако в программном обеспечении был скрыт ошибочный код, который вызвал каскад проблем, наблюдавшиеся на рейсах Ethiopian и Lion Air. Если бы Boeing не доверял своему программному обеспечению, а регулятор – сертификации программного обеспечения Boeing, этих инцидентов можно было бы избежать.

Военные должны извлечь из этого урок. Любой искусственный интеллект должен внедряться постепенно, чтобы не допустить излишнего доверия к программному обеспечению. При внедрении ИИ военным необходимо учитывать такие поучительные истории, как пример 737 Max. Вместо того, чтобы спешить с внедрением системы ИИ для достижения мнимого преимущества, ее следует тщательно внедрять в учебные и другие мероприятия до полной сертификации, чтобы обеспечить подготовку пользователей и выявление любых потенциальных проблем с программным обеспечением или системой.

Именно такой подход демонстрирует 350-е крыло ВВС США Spectrum Warfare, перед которым поставлена задача интегрировать когнитивную электромагнитную систему в существующие самолеты. ВВС описали конечную цель когнитивных электромагнитных боевых действий как создание распределенной, совместной системы, которая может вносить коррективы в реальном или близком к реальному времени для противодействия угрозам со стороны противника. 350-е подразделение, которому поручено разработать и внедрить эту систему, использует взвешенный подход к внедрению, чтобы гарантировать, что военные своевременно получат необходимые возможности, и одновременно разрабатывает алгоритмы и процессы для обеспечения будущего успеха искусственного интеллекта в электромагнитных боевых действиях. Цель состоит в том, чтобы сначала использовать машинное обучение для ускорения процесса перепрограммирования программного обеспечения самолета, который иногда может занимать до нескольких лет. Использование машинного обучения и автоматизации значительно сократит этот срок, одновременно знакомя инженеров и операторов с процессами, необходимыми для внедрения ИИ в будущую электромагнитную систему.

Заключение

Для эффективной интеграции искусственного интеллекта в повседневную деятельность необходимо приложить больше усилий не только для оптимизации работы программного обеспечения, но и для контроля и обучения людей. Независимо от того, насколько хороша система ИИ, если люди-операторы неправильно оценят свое доверие к системе, они не смогут эффективно использовать технологические достижения искусственного интеллекта и допустят критические ошибки при проектировании или эксплуатации. Одной из самых настоятельных и повторяющихся рекомендаций по результатам совместного расследования Федеральной авиационной администрацией аварий 737 Max было то, что эксперты по человеческому поведению должны играть центральную роль в исследованиях, разработках, испытаниях и сертификации.

Исследования показали, что во всех авариях автоматизированных транспортных средств операторы не контролировали систему эффективным образом. Это означает, что операторов также необходимо контролировать. Военные должны учитывать растущее количество доказательств того, что доверие человека к технологиям и программному обеспечению нередко неадекватно. Благодаря включению человеческого фактора в проектирование систем ИИ, организации соответствующего обучения и использованию тщательно продуманного поэтапного подхода, военные могут создать культуру совместной работы человека и машины без неудач наблюдаемых в гражданском секторе.

Об авторах

Джон Кристиансон – полковник ВВС США, действующий военный научный сотрудник Центра стратегических и международных исследований. Офицер по системам вооружения F-15E, служил в качестве офицера по безопасности во время командировки по обмену в ВМС США. Вскоре вступит в должность заместителя командира 350-го авиакрыла Spectrum Warfare.

Ди Кук – приглашенная научная сотрудница Программы международной безопасности Центра стратегических и международных исследований, изучающая вопросы пересечения ИИ и оборонной сферы. Она участвовала в исследованиях, имеющих отношение к политике, и в работе на стыке технологий и безопасности в академических, правительственных и промышленных кругах. Участвовала в командировке в Министерство обороны Великобритании из Кембриджского университета для разработки подхода к операционализации ИИ в оборонной сфере Великобритании и обеспечения соответствия этическим принципам ИИ.

Кортни Стайлз Хердт – действующий командир ВМС США и действующий военный научный сотрудник Центра стратегических и международных исследований. Он является пилотом MH-60R и только что закончил командировку на HSM-74 в составе авианосной ударной группы "Эйзенхауэр". Ранее он служил в многочисленных эскадрильях и штабах в качестве офицера по авиационной безопасности и эксплуатации, а также на различных военно-политических должностях в Европе и Западном полушарии, обсуждая вопросы продаж военного оборудования на основе взаимодействия человека и машины.