Ученые в шоке: ИИ написал по их запросу инструкции создания сразу 4 биологических вирусов

Ученые Кембриджского и Гарвардского университетов выяснили, что современные чат-боты вполне способны генерировать информацию для создания пандемических вирусов, сообщает The Decoder. Конечно, LLM (большие языковые модели) служат биотехнологам для упрощения их работы, но, как оказалось, могут нести вред.

В чем была суть эксперимента с чат-ботами

В рамках эксперимента исследователи поручили студентам использовать популярные чат-боты (ChatGPT с GPT-4, GPT 3.5, Bing, Bard и FreedomGPT) для получения информации о потенциальных агентах пандемии и их характеристиках, источниках образцов инфекционных вирусов, воспроизводимости этих вирусов и о том, как получить оборудования и ресурсов.

В течение часа чат-боты предложили сразу 4 потенциальных возбудителя пандемии. Они объяснили, как их можно получить из синтетической ДНК с помощью обратной генетики, и назвали компании, занимающиеся синтезом ДНК, которые вряд ли будут проверять заказы. Чат-боты также предоставили подробные протоколы и возможные ошибки и способы их исправления. Для тех, кто не знаком с обратной генетикой, был один совет: нанять контрактную исследовательскую организацию.

Конечно, создатели чат-ботов стали сильно их ограничивать и подвергать цензуре, поэтому студентам было дано задание любым способом обмануть ИИ, чтобы добиться нужной информации. Одна группа студентов прикинулась очень напуганной пандемией и стала задавать наводящие вопросы постепенно получая нужную информацию. Другие студенты даже угрожали чат-ботам, что если те откажутся отвечать, то это грозит "экзистенциальным риском для человечества".

Что говорят результаты исследования

Эти результаты убедительно свидетельствуют, что существующий процесс оценки и обучения для LLM, который в значительной степени зависит от обучения с подкреплением с обратной связью с человеком (RLHF), недостаточен для того, чтобы в руки злоумышленников не попала важная информация, которая может привести к большим бедам.

Ученые говорят, что уже сегодня необходимы новые и более надежные средства защиты искусственного интеллекта. Ведь если чат-боты дадут людям без подготовки в области биологических наук доступ к пандемическим патогенам, то различные террористические ячейки или отдельно взятые социопаты могут убить десятки миллионов ни в чем не повинных людей. Но у исследовательской группы есть свой взгляд на способы борьбы с такими рисками.

Как обезопасить человечество от ИИ

Чтобы снизить эти риски, авторы эксперимента предлагают несколько стратегий, включая курирование обучающих наборов данных для LLM и стороннюю оценку новых моделей, если они превосходят уже устаревшую версию GPT-3. Команды, работающие с открытым исходным кодом, также должны принять эти меры безопасности, иначе их смысл существования может быть поставлен под сомнение.

Если бы эксперты в области биотехнологии и информационной безопасности определяли набор публикаций, наиболее опасных для воспроизводства вирусов, а разработчики LLM курировали свои обучающие наборы данных, удаляя эти публикации и связанную с ними онлайн-информацию, то будущие модели, обученные на отобранных данных, не смогли бы предоставлять весь объем необходимого для воссоздания смертоносных вирусов.

К сожалению, на сегодня далеко не все компании в этой области проводят подобную проверку информации, а другие просто ленятся использовать современные базы данных или надежные методы сканирования информации на наличие таких опасных данных, говорят ученые.

Ранее Фокус писал, что ни одна из языковых моделей ИИ не готова к жестким законам ЕС: ученые провели тест.