Нещодавно світ потрясли дві новини. Перша: в США автомобіль Tesla, що їхав у режимі автопілота, врізався в дерево, внаслідок чого загинули двоє людей. І друга: військовий робот KARGU-2 самостійно ухвалив рішення вбити члена військового угрупування Халіфа Хафтара в Лівії.
Але перш ніж тремтіти від жаху, побачивши смарт-девайси, давайте розберемося, як все було насправді. А заодно разом з експертами з кібер- та інформаційної безпеки постараємося знайти відповідь на питання, яке хвилює багатьох, чи варто нам у принципі побоюватися штучного інтелекту?
Tesla "без гальм"
У середині квітня 2021 року недалеко від Хʼюстона (Техас) сталася ДТП — автомобіль Tesla, набравши більшу швидкість, не вписався в поворот, врізався в дерево і загорівся. Унаслідок загинули два пасажири. Поліцейські заявили, що машина перебувала в режимі автопілота, при цьому одна людина сиділа на передньому пасажирському сидінні, а друга — на задньому. Автомобілем ніхто з потерпілих не керував.
Саме це і стало головною помилкою, яка призвела до настільки трагічних наслідків. Якою б розумною не була електроніка, людина все одно повинна контролювати техніку, але не техніка людину. Так вважає Михайло Чайкін, керівник напрямку СУІБ АТ "Укрексімбанк" [СУІБ — система управління інформаційною безпекою]. У цьому випадку винне не програмне забезпечення, а розробники, які не врахували всіх ризиків, і продавці, які не попередили покупців про особливості кермування конкретної моделі. Однак, акцентує Михайло, не варто сприймати теслівську систему як автопілот, який робить машину автономною на 100%. Саме тому, до речі, в Німеччині суд заборонив бренду Tesla використовувати термін "автопілот", коли йдеться про його електрокари.
Теоретично можливо скопіювати вміст мозку на комп'ютер і таким способом створити форму вічного життя. Сьогодні, однак, це не в наших силах
"Це зовсім не автопілот у прямому сенсі слова, а просунутий круїз-контроль. І в інструкціях до моделей Tesla зазначено, що людина повинна тримати руки на кермі, тобто контролювати водіння самостійно", — коментує Чайкін.
Виходить, що ШІ в цьому випадку ніякої відповідальності не несе. Так, він здатний навчатися самостійно, але тільки в рамках заданого алгоритму. ШІ не вміє створювати щось нове, він тільки може добре повторювати певні операції, яким його спочатку навчили.
Як зʼясувалося пізніше, Tesla, яка потрапила в аварію, не мала опції повного автономного управління (FSD), її, як правило, купують за окрему плату, але в документах купівлі-продажу саме цього злощасного авто така купівля не зазначається. Ілон Маск особисто підтвердив цей факт.
"Документи показують, що автопілот на цьому автомобілі не був увімкнений, а функція FSD не купувалася для цієї машини", — написав підприємець у своєму "Твіттері".
Ілону можна вірити, бо в інструкції до електрокару дійсно вказано, що під час роботи FSD водій все одно повинен знаходитися на своєму місці й тримати руки на кермі. В іншому випадку система зупинить авто, якщо протягом 10 секунд до керма ніхто не торкався. Також система не допустить перевищення швидкості, а хʼюстонські поліцейські, як ми говорили вище, зафіксували перевищення швидкості. І як на зло на ділянці дороги, де сталася ДТП, не було розмітки, необхідної для роботи FSD.
Виходить, що покупці навіть не знали про всі ці тонкощі. Швидше за все, вони були впевнені, що машина здатна контролювати кермування за замовчуванням.
"Не варто боятися страшилок про ШІ, який вміє думати, про Скайнета, який роздратувався, і термінаторів. Тільки років через 30 ми підійдемо до порога створення такої техніки, яка вміла б мислити. Сьогодні подібної електроніки не існує. Уся техніка працює на основі алгоритмів двійкової логіки, розроблених людьми", — резюмує Чайкін.
Квадрокоптер-вбивця KARGU-2
Наприкінці травня 2021 року квадрокоптер KARGU-2, що знаходиться на озброєнні армії Лівії і вироблений в Туреччині, перебуваючи в автономному режимі, вистежив члена військового угруповання Халіфа Хафтара й убив його.
Незабаром після інциденту консультант із питань національної безпеки Зак Келленборн склав звіт, де позначив, що робот знаходився у "високоефективному" автономному режимі, тобто такому, який не вимагає втручання оператора. Військовий експерт висловив думку, що система розпізнавання обʼєктів, якою оснащений KARGU-2, можливо, неправильно інтерпретувала дані. Частково він має рацію, тому що відомі випадки, коли ШІ некоректно розпізнавав людей негроїдної раси і не міг відрізнити дипфейки, які йому демонстрували в режимі реального часу, від відеозображень реально наявних людей в тому ж часовому режимі.
Тільки через 30 років ми підійдемо до порога створення техніки, яка вміє мислити, як ми
Зрештою правозахисники закликали світову громадськість звернути увагу на проблеми, що виникають під час розробки, виробництва і використання повністю автономної зброї.
Але і в цьому випадку, запевняє Андрій Баранович, експерт із кібербезпеки, звинувачувати машину не варто. Андрій поділився з Фокусом реальною історією, яка сталася кілька років тому на одній з військових баз. За словами джерела, яке захотіло залишитися анонімним, його база була захищена кулеметами на автоматичних турелях, які повинні були спрацьовувати на будь-який рух. Одного разу вночі стався збій, і система самостійно відкрила вогонь, стріляючи в усі боки. На щастя, обійшлося без жертв.
"Мораль цієї історії така: вбиває не зброя, а люди. Незалежно від того, як алгоритми вибирають мету, той, хто розробив систему і поставив для неї бойове завдання, несе повну особисту відповідальність за все, що станеться згодом", — підсумовує Баранович.
Зараз вже можна вести війну, просто натискаючи на кнопки, і це здається простіше, ніж особистий поєдинок один на один, але суть не змінюється: коли робот вбʼє людину помилково, комусь доведеться жити з думкою "моя система вбила людину" до кінця днів.
З думкою Андрія Барановича згоден і Михайло Чайкін. Він упевнений, що сьогодні не існує техніки, яка самостійно вміє думати, проте є алгоритми, згідно з якими вона "ухвалює" або "не ухвалює" ті чи інші рішення. У цьому випадку з ударним дроном алгоритм був прописаний людьми таким способом, що безпілотник міг самостійно вести атаку.
"Спочатку було задумано зробити так, щоб апарат зміг автономно виконувати бойові завдання. Нічого нового або надприродного в цьому немає: точно так само працюють і самонавідні ракети, бомби та торпеди, які після запуску вміють самостійно змінювати курс, переслідуючи ціль. Зʼявилася така техніка давно, ще за часів Другої світової війни", — пояснює Михайло.
Злом теж навряд чи є причиною такої поведінки дрона. Так, будь-яку техніку можна зламати, але в цьому випадку він отримав заздалегідь встановлені завдання. І якщо міркувати про те, хто винен, то тут варто звинувачувати і розробників, і замовників, які ставили умови розробникам ПЗ для KARGU-2.
Що насправді може ШІ
Якщо коротко, то без людини зовсім нічого. Сучасні ШІ-системи не настільки розвинені, щоб замінити людей в розвʼязуванні завдань, де потрібне вміння міркувати, критично мислити, застосовувати знання та особистий досвід. Хоча вони і здатні розпізнавати образи й обʼєкти, на когнітивному рівні вони просто імітують розумовий процес, чого вистачає для виконання простих завдань, але не для застосування творчого підходу.
Роботи не можуть нести відповідальність за вбивство людей — тільки самі люди
Майкл І. Джордан, дослідник штучного інтелекту та машинного навчання, професор кафедри електротехніки й інформатики Каліфорнійського університету в Берклі, в своїй нещодавній статті для Harvard Data Science Review спробував пояснити, чому не варто побоюватися того, що ШІ здобуде над нами верх.
"Люди вважають, що компʼютери мають якусь подобу розуму, що відповідає за прогрес і конкурує з людиною. Насправді нічого подібного не існує", — пише вчений.
Так, ШІ-системи досягли успіху в сфері розпізнавання чогось, вони спростили і прискорили методи виявлення шахрайських схем у фінансових трансакціях, моделювання та контролю ланцюжків поставок у виробництві й охороні здоровʼя. Додатки на їхній основі допомагають ефективніше працювати правоохоронцям, лікарям, педагогам і креаторам. І все це завдяки алгоритмам машинного навчання.
"Усі ці системи не передбачають високорівневих міркувань і роздумів, не формують семантичних уявлень, висновків, думок і не переслідують довгострокові цілі, як це роблять люди", — акцентує Майкл.
Він вважає, що варто переосмислити власне підхід до ШІ та його сприйняття, адже ця технологія створює масу можливостей для подальшого розвитку інтелекту власне людей.
"У найближчому майбутньому компʼютери не зможуть зрівнятися з людьми у здатності абстрактно міркувати про реальні події. Але якщо взаємодія людини з компʼютером буде забезпечена на більш глибокому рівні, це може призвести до створення ШІ, який дійсно навчився б думати. Тільки в процесі інтеграції людини в ШІ-систему можна домогтися розумної поведінки системи", — вважає експерт.
І знову ж таки за такого перебігу подій чільна роль все одно належить людині. А про "бунт ШІ" говорити дуже-дуже рано. Однак технологічні катастрофи внаслідок неправильної експлуатації ШІ або написання алгоритмів без урахування всіх ризиків вірогідні. Тому потрібно більш відповідально підходити до реалізації тих чи інших технічних рішень.