Люди та машини. Чи можна довіряти штучному інтелекту?

Нещодавнє опитування Pew показало, що 82% американців ставляться до використання штучного інтелекту (ШІ) скоріше насторожено, ніж із радістю. Такі настрої не дивні — поп-культура багата на історії про агресивний або небезпечний ШІ. Фільми від "2001: Космічна одіссея" до "Термінатора" попереджають про наслідки надмірної довіри до ШІ. У той же час, як ніколи раніше, все більше людей регулярно користуються пристроями за допомогою ШІ — від рекомендацій у пошукових системах до голосових помічників у смартфонах та автомобілях.

Фокус переклав статтю Джона Крістіансона, Ді Кука та Кортні Стайлз Хердт про сприйняття штучного інтелекту в суспільстві.

Незважаючи на загальну недовіру, ШІ все більше скрізь впроваджується, особливо у сфері оборони. Він відіграє роль у всьому, від передиктивного обслуговування техніки до автономної зброї. Збройні сили по всьому світу вкладають величезні кошти в ШІ, щоб отримати конкурентну перевагу, а Сполучені Штати та їхні союзники беруть участь у гонці за технологіями. Багато керівників оборонних відомств хочуть, щоб ці технології були якомога надійнішими. З урахуванням як ніколи раніше широкого використання ШІ, західним військовим дуже важливо створювати системи, яким можуть довіряти їхні користувачі.

Найкраще розуміння динаміки людської довіри має вирішальне значення для ефективного використання ШІ у сценаріях військових операцій, які в оборонній сфері зазвичай називають "зв'язкою людина-машина". Щоб досягти довіри та повної співпраці з "товаришами" ШІ, військовим необхідно навчитися враховувати людський фактор у процесі розробки та впровадження систем. Якщо цього не зробити, то під час використання ШІ в армії можуть виникнути катастрофічні й навіть смертельні помилки, з якими вже зіткнувся приватний сектор. Щоб уникнути цього, військові повинні забезпечити вивчення людського фактора під час навчання персоналу та в організації операційних схем спільної роботи людини та машини, а також поетапне впровадження ШІ.

Розвиток довіри до штучного інтелекту

Для ефективної побудови команди з людини та машини необхідно спочатку зрозуміти, як люди розвивають довіру, зокрема, до технологій та штучного інтелекту. Під штучним інтелектом тут маються на увазі моделі, здатні навчатися на основі даних (так зване машинне навчання). Досі майже всі зусилля з розробки надійного штучного інтелекту були спрямовані на вирішення технологічних проблем, таких як підвищення прозорості та передбачуваності штучного інтелекту. Людській стороні взаємодії людини та машини приділялося мало уваги. Однак, ігноруючи людський фактор, ми ризикуємо звести нанівець позитивні результати суто технологічних удосконалень.

Користувачі називають безліч причин, через які вони не довіряють штучному інтелекту свої завдання — і це не дивно, враховуючи загальне недовірливе ставлення до технології в культурі, про яку йшлося вище у дослідженні Pew. Проте дослідження показують, що з новими програмними технологіями люди часто роблять навпаки, довіряючи вебсайтам свою особисту інформацію та використовуючи розумні пристрої, які активно збирають цю інформацію. Більшість навіть робить безрозсудні, не рекомендовані виробником дії в автомобілях з автопілотом, що може становити небезпеку для життя.

Дослідження показують, що людям важко знайти баланс у рівні довіри до технологій, які вони використовують. У процесі використання технологій за допомогою штучного інтелекту вони нерідко дуже довіряють своїм товаришам-машинам. Це може призвести до несподіваних аварій чи наслідків. Люди, наприклад, схильні до упередженого ставлення до автоматизації, віддаючи перевагу інформації, отриманої від автоматизованих систем. Ризик зайвої довіри до ШІ, сумно відомого як технологія-"чорна скринька", можливості якої часто розуміють неправильно, ще вищі.

Люди часто поводяться все більш ризиковано під час використання нових технологій, які вважають безпечними. Це явище відоме як поведінкова адаптація та добре задокументоване у дослідженнях безпеки автомобілів. Дослідження, проведене економістом університету Чикаго Семом Пельтцманом, не виявило зниження смертності внаслідок автомобільних аварій після впровадження заходів безпеки.

За припущенням вченого, це сталося тому, що водії, почуваючись у більшій безпеці внаслідок введення нових правил і технологій безпеки, ризикували за кермом більше, ніж до введення таких заходів. Наприклад, було встановлено, що водії машин з антиблокувальною системою гальмування (ABS), їздять швидше та ближче до інших автомобілів, ніж ті, хто її не має. Навіть використання адаптивного круїз-контролю, який підтримує дистанцію до автомобіля, що йде попереду, призводить до збільшення ризикованої поведінки — наприклад, користування телефоном під час водіння. Хоча пізніше було встановлено, що кореляція між посиленням заходів безпеки та ризикованою поведінкою не обов'язково була настільки однозначною, як спочатку підсумував Пельтцман, теорія та сама концепція поведінкової адаптації знову привернули до себе увагу останніми роками для пояснення ризикованої поведінки у таких різних ситуаціях, як американський футбол та пандемія COVID-19. Будь-яка зв'язка людини та машини має створюватися з урахуванням цих досліджень та знань.

Врахування людського фактора під час проєктування ШІ

Ефективна зв'язка "людина-машина" має розроблятися з урахуванням людської поведінки, яка може негативно вплинути на результати роботи такої команди. Масштабні дослідження аварій за участю автомобілів із підтримкою ШІ змусили деяких засумніватися, чи можна довіряти водіям-людям при використанні технології автомобілів з автопілотом. Багато автокатастроф із використанням технології допомоги водієві сталося, зокрема, через систему автопілота компанії Tesla, що призвело до відкликання автомобілів цієї серії.

Хоча ці події не є виключно результатом надмірної довіри до автомобілів, керованих штучним інтелектом, відеозаписи аварій показують, що надмірна довіра відіграє вирішальну роль. На деяких відео видно, що водії сплять за кермом, а інші виконують трюки на кшталт посадки собаки на сидіння водія.

Компанія Tesla стверджує, що її програма автопілота призначена для водіїв, які стежать за дорогою. Однак дослідження показують, що після вмикання автопілота люди, як правило, приділяють водінню значно менше уваги. Є документально підтверджені приклади смертельних аварій, під час яких ніхто не перебував на сидінні водія або водій дивився на свій мобільний телефон. Водії ухвалювали ризиковані рішення, які не ухвалили б у звичайному автомобілі, тому що вірили, що система штучного інтелекту досить хороша, щоб залишатися без контролю, незважаючи на всі докази компанії та величезну кількість прикладів зворотного.

У доповіді розслідування цих аварій від Національної адміністрації безпеки дорожнього руху рекомендується, щоб "конструктивні рішення враховували способи взаємодії водія із системою або прогнозовані діапазони навмисної та ненавмисної поведінки водія під час роботи такої системи".

Військові повинні вжити запобіжних заходів при інтеграції ШІ, щоб уникнути подібним зловживанням довірою. Одним із таких запобіжних заходів може бути моніторинг роботи не тільки ШІ, але і його користувачів. В автомобільній промисловості все популярнішим стає відеомоніторинг, що дозволяє переконатися в тому, що водії уважні, поки задіяна функція автоматизованого водіння. Відеомоніторинг підходить не для всіх військових застосувань, але концепція моніторингу роботи людини повинна так чи інакше враховуватись під час розробки.

У нещодавній статті у журналі Proceedings цей подвійний моніторинг розглядається у контексті навчання військової авіації. Постійний моніторинг "здоров'я" системи ШІ схожий на моніторинг системи літака перед польотом і в повітрі. Аналогічно постійно оцінюється повсякденна робота екіпажу. Подібно до того, як льотний склад повинен проходити безперервну підготовку з усіх аспектів експлуатації літака протягом року, так і оператори ШІ повинні проходити постійну підготовку та моніторинг. Це дозволить не тільки переконатися в тому, що військові системи ШІ працюють так, як задумано, і що люди, які працюють у парі з цими системами, не припускаються помилок, а й зміцнити довіру у зв'язці "людина-машина".

Штучний інтелект і навчання динаміці довіри

Персонал повинен бути поінформований про можливості й обмеження як машини, так і людини в будь-якій ситуації, пов'язаної з взаємодією людини та машини. Цивільні та військові експерти сходяться на думці, що основою ефективної роботи зв'язки людини та машини є відповідна підготовка військовослужбовців. Ця підготовка повинна враховувати навчання як можливостей, так і обмежень системи штучного інтелекту, з додаванням зворотного зв'язку від користувача в програмне забезпечення ШІ.

Військова авіація освоїла культуру безпеки, засновану на ретельній підготовці та вдосконаленні навичок шляхом повторення, і ця культура безпеки може стати основою для необхідного навчання ШІ. Авіатори навчаються не лише інтерпретувати інформацію, що відображається в кабіні пілота, а й довіряти чи не довіряти їй. Це реальна демонстрація досліджень, що показують, що люди адекватніше сприймають ризики, коли їх навчають тому, наскільки велика ймовірність їх виникнення.

Навчання, безпосередньо пов'язане з тим, як люди самі встановлюють і підтримують довіру за допомогою поведінкової адаптації, також допоможе користувачам краще усвідомити свою потенційно шкідливу поведінку. Дослідження в галузі безпеки дорожнього руху й інших сферах неодноразово доводили, що таке навчання усвідомленості допомагає пом'якшити негативні наслідки. Люди здатні до самокорекції, коли розуміють, що їхня поведінка небажана. У контексті спільної роботи людини та машини це дасть користувачам можливість реагувати на несправності або збої в довіреній їм системі, але зберігати перевагу підвищення поінформованості про ситуацію. Так, впровадження ШІ на ранніх етапах навчання дозволить майбутнім військовим операторам довіряти системам штучного інтелекту, а завдяки багаторазовому повторенню довірчі відносини зміцняться. Ба більше, завдяки кращому розумінню не тільки можливостей машини, а і її обмежень, знизиться ймовірність того, що користувач помилково завищить рівень довіри до системи.

Поетапний підхід

Крім того, при впровадженні штучного інтелекту слід використовувати поетапний підхід, щоб краще врахувати людський фактор у спільній роботі людини та машини. Часто нове комерційне програмне забезпечення або технології поспішають вивести на ринок, щоб випередити конкурентів, і зрештою зазнають невдачі в процесі експлуатації. Це часто коштує компанії дорожче, ніж якщо вони відклали впровадження, щоб повністю перевірити продукт.

Поспішивши при створенні військових додатків ШІ, військові ризикують надто далеко і надто швидко просунути технологію ШІ заради уявної переваги. Прикладом цього у цивільному секторі є недоліки програмного забезпечення Boeing 737 Max, які призвели до двох смертельних аварій.

У жовтні 2018 року розбився літак Lion Air Flight 610, внаслідок чого загинули всі 189 людей, які перебували на борту, після того, як пілоти не впоралися з керуванням при швидкому і неконтрольованому зниженні. Через кілька місяців розбився рейс 302 авіакомпанії Ethiopian Airlines, забравши життя всіх, хто знаходився на борту, після того, як пілоти аналогічним чином намагалися контролювати літак. Хоча програмне забезпечення для управління польотом, що спричинило ці аварії, не є справжнім штучним інтелектом, ці фатальні помилки все одно дають повчальний приклад. Невиправдана довіра до програмного забезпечення на багатьох рівнях призвела до загибелі сотень людей.

Розслідування аварій обох літаків показало, що помилкове введення даних від датчика кута атаки в бортовий комп'ютер призвело до катастрофічної відмови цілого каскаду систем. Ці датчики вимірюють кут нахилу крила щодо повітряного потоку і дають уявлення про підйомну силу — здатність літака триматися в повітрі. У цьому випадку помилкове введення даних призвело до того, що система доповнення маневрених характеристик (автоматизована система управління польотом) перевела літак у пікірування, оскільки вважала, що йому необхідно швидко набрати висоту. Ці дві аварії призвели до посадки всього парку літаків 737 Max по всьому світу на 20 місяців, що коштувало компанії Boeing більш ніж 20 мільярдів доларів.

Все це було викликано конструкторським рішенням і подальшою зміною програмного забезпечення, яке вважалося безпечним. Компанія Boeing, прагнучи випередити своїх конкурентів, оновила свою популярну базову модель 737. Зміна розташування двигуна на крилі 737 Max допомогла літаку підвищити ефективність палива, але значно вплинула на льотні характеристики. Фактично компанія Boeing повинна була випустити на ринок абсолютно новий планер, що спричинило б перенавчання пілотів відповідно до вимог Федерального управління цивільної авіації. Це потребувало б значних витрат часу та грошей.

Щоб уникнути цього, програмне забезпечення управління польотом було запрограмоване так, щоб літак літав як стара модель 737. Таке новаторське використання дозволило компанії Boeing представити 737 Max на ринку як оновлення наявного літака, а не як новий планер. У процесі випробувань були зазначені деякі проблеми, але Boeing довіряв своєму програмному забезпеченню, враховуючи надійність попередніх систем управління польотом, і досяг сертифікації у Федеральному авіаційному управлінні. Однак у програмному забезпеченні приховано помилковий код, який викликав каскад проблем, що спостерігалися на рейсах Ethiopian і Lion Air. Якби Boeing не довіряв своєму програмному забезпеченню, а регулятор — сертифікації програмного забезпечення Boeing, цих інцидентів можна було б уникнути.

Військові повинні засвоїти з цього урок. Будь-який штучний інтелект повинен поступово впроваджуватися, щоб не допустити зайвої довіри до програмного забезпечення. У процесі впровадження ШІ військовим необхідно враховувати такі повчальні історії, як приклад 737 Max. Замість того, щоб поспішати з впровадженням системи ШІ для досягнення уявної переваги, її слід ретельно впроваджувати у навчальні та інші заходи до повної сертифікації, щоб забезпечити підготовку користувачів та виявлення будь-яких потенційних проблем із програмним забезпеченням або системою.

Саме такий підхід демонструє 350-е крило ВПС США Spectrum Warfare, перед яким поставлене завдання інтегрувати когнітивну електромагнітну систему в наявні літаки. ВПС описали кінцеву мету когнітивних електромагнітних бойових дій як створення розподіленої, спільної системи, яка може вносити корективи в реальному або близькому до реального часу для протидії загрозам з боку супротивника. 350-й підрозділ, якому доручено розробити та впровадити цю систему, використовує зважений підхід до впровадження, щоб гарантувати, що військові вчасно отримають необхідні можливості, та одночасно розробляє алгоритми та процеси для забезпечення майбутнього успіху штучного інтелекту в електромагнітних бойових діях. Ціль полягає в тому, щоб спочатку використовувати машинне навчання для прискорення процесу перепрограмування програмного забезпечення літака, який іноді може займати до декількох років. Використання машинного навчання та автоматизації значно скоротить цей термін, одночасно знайомлячи інженерів та операторів із процесами, необхідними для впровадження ШІ у майбутню електромагнітну систему.

Висновок

Для ефективної інтеграції штучного інтелекту у повсякденну діяльність необхідно докласти більше зусиль не тільки для оптимізації роботи програмного забезпечення, а й для контролю і навчання людей. Незалежно від того, наскільки хороша система ШІ, якщо люди-оператори неправильно оцінять свою довіру до системи, вони не зможуть ефективно використовувати технологічні досягнення штучного інтелекту та припустяться критичних помилок у процесі проєктування чи експлуатації. Однією з найбільш наполегливих і повторюваних рекомендацій за результатами спільного розслідування Федеральною авіаційною адміністрацією аварій 737 Max було те, що експерти з людської поведінки повинні відігравати центральну роль у дослідженнях, розробках, випробуваннях і сертифікації.

Дослідження показали, що в усіх аваріях автоматизованих транспортних засобів оператори не контролювали систему ефективно. Це означає, що оператори також повинні контролювати. Військові повинні враховувати підвищену кількість доказів того, що довіра людини до технологій та програмного забезпечення нерідко неадекватна. Завдяки додаванню людського фактора у проєктування систем ШІ, організації відповідного навчання та використанню ретельно продуманого поетапного підходу, військові можуть створити культуру спільної роботи людини та машини без невдач, що спостерігаються у цивільному секторі.

Про авторів

Джон Крістіансон — полковник ВПС США, чинний військовий науковий співробітник Центру стратегічних і міжнародних досліджень. Офіцер із систем озброєння F-15E, служив як офіцер із безпеки під час відрядження з обміну у ВМС США. Незабаром вступить на посаду заступника командира 350-го авіакрила Spectrum Warfare.

Ді Кук — запрошена наукова співробітниця Програми міжнародної безпеки Центру стратегічних та міжнародних досліджень, яка вивчає питання перетину ШІ та оборонної сфери. Вона брала участь у дослідженнях, що стосуються політики, і в роботі на стику технологій та безпеки в академічних, урядових та промислових колах. Брала участь у відрядженні до Міністерства оборони Великої Британії з Кембриджського університету для розробки підходу до операціоналізації ШІ в оборонній сфері Великої Британії та забезпечення відповідності етичним принципам ШІ.

Кортні Стайлз Хердт — чинний командир ВМС США та чинний військовий науковий співробітник Центру стратегічних та міжнародних досліджень. Він є пілотом MH-60R і щойно закінчив відрядження на HSM-74 у складі авіаносної ударної групи "Ейзенхауер". Раніше він служив у численних ескадрильях і штабах як офіцер з авіаційної безпеки й експлуатації, а також на різних військово-політичних посадах у Європі та Західній півкулі, обговорюючи питання продажу військового обладнання на основі взаємодії людини та машини.