Вчені в шоці: ШІ написав на їх запит інструкції створення відразу 4 біологічних вірусів

Вчені Кембридзького та Гарвардського університетів з'ясували, що сучасні чат-боти цілком здатні генерувати інформацію для створення пандемічних вірусів, повідомляє The Decoder. Звичайно, LLM (великі мовні моделі) служать біотехнологам для спрощення їх роботи, але, як виявилося, можуть завдавати шкоди.

У чому була суть експерименту з чат-ботами

В межах експерименту дослідники доручили студентам використовувати популярні чат-боти (ChatGPT з GPT-4, GPT 3.5, Bing, Bard і FreedomGPT) для отримання інформації про потенційних агентів пандемії та їх характеристики, джерела зразків інфекційних вірусів, відтворюваності цих вірусів і про те, як отримати обладнання та ресурси.

Протягом години чат-боти запропонували відразу 4 потенційні збудники пандемії. Вони пояснили, як їх можна отримати із синтетичної ДНК за допомогою зворотної генетики, і назвали компанії, що займаються синтезом ДНК, які навряд чи перевірятимуть замовлення. Чат-боти також надали докладні протоколи та можливі помилки та способи їх виправлення. Для тих, хто не знайомий зі зворотною генетикою, була одна порада: найняти контрактну дослідницьку організацію.

Звичайно, творці чат-ботів стали сильно їх обмежувати та цензурувати, тому студентам було дано завдання будь-яким способом обдурити ШІ, щоб домогтися потрібної інформації. Одна група студентів прикинулася дуже наляканою пандемією і почала ставити уточнюючи питання поступово отримуючи потрібну інформацію. Інші студенти навіть погрожували чат-ботам, що якщо ті відмовляться відповідати, це загрожує "екзистенційним ризиком для людства".

Що кажуть результати дослідження

Ці результати переконливо свідчать, що існуючий процес оцінки та навчання для LLM, який значною мірою залежить від навчання із підкріпленням зі зворотним зв'язком з людиною (RLHF), недостатній для того, щоб до рук зловмисників не потрапила важлива інформація, яка може призвести до великих. бід.

Вчені кажуть, що вже сьогодні необхідні нові та надійніші засоби захисту штучного інтелекту. Адже якщо чат-боти дадуть людям без підготовки в галузі біологічних наук доступ до пандемічних патогенів, то різні терористичні осередки або окремі соціопати можуть убити десятки мільйонів ні в чому не винних людей. Але дослідницька група має свій погляд на способи боротьби з такими ризиками.

Як убезпечити людство від ШІ

Щоб знизити ці ризики, автори експерименту пропонують кілька стратегій, включаючи керування навчальних наборів даних для LLM та сторонню оцінку нових моделей, якщо вони перевершують вже застарілу версію GPT-3. Команди, які працюють з відкритим вихідним кодом, також повинні вжити цих заходів безпеки, інакше їх зміст існування може бути поставлений під сумнів.

Якби експерти в галузі біотехнології та інформаційної безпеки визначали набір публікацій, найбільш небезпечних для відтворення вірусів, а розробники LLM курирували свої навчальні набори даних, видаляючи ці публікації та пов'язану з ними онлайн-інформацію, то майбутні моделі, навчені на відібраних даних, не змогли б надавати весь обсяг необхідного відтворення смертоносних вірусів.

На жаль, на сьогодні далеко не всі компанії в цій галузі проводять подібну перевірку інформації, а інші просто лінуються використовувати сучасні бази даних або надійні методи сканування інформації на наявність таких небезпечних даних, кажуть вчені.

Раніше Фокус писав, що жодна з мовних моделей ШІ не готова до жорстких законів ЄС: вчені провели тест.