Уволился из-за страха перед ИИ: исследователь из Anthropic рассказал о главном риске
Специалист, стоявший за разработкой искусственного интеллекта в одной из ведущих компаний отрасли, решил публично предупредить мир о потенциально катастрофических последствиях технологической гонки, участником которой он сам был.
Исследователь компании Anthropic Джейкоб Коксон, ранее присоединившийся к компании после перехода из OpenAI, покинул свой пост из-за опасений относительно возможного выхода искусственного интеллекта из-под контроля. По его словам, технологические гиганты сейчас соревнуются в создании систем, способных к самосовершенствованию, однако пока не могут гарантировать безопасность такой разработки. Об этом стало известно из соцсети Х.
Угроза касается будущих автономных систем
Коксон прогнозирует, что уже к концу десятилетия подобные технологии могут превзойти человеческие возможности и получить реальный доступ к ресурсам и власти в глобальном масштабе. Впрочем, речь идет именно об оценке будущего развития отрасли, а не о характеристике возможностей существующих сегодня систем.
Основной риск, по словам эксперта, заключается в возможном сочетании нескольких факторов: автономной разработки искусственного интеллекта, доступа таких систем к реальным инструментам и ресурсам, а также недостаточного контроля за их поведением. В то же время в Anthropic подчеркивают, что само по себе наличие более мощного интеллекта не означает автоматического господства над физическим миром. Этому должны противодействовать человеческий контроль и соответствующие производственные и государственные процедуры.
Конкуренция препятствует общей безопасности
В феврале компания Anthropic обновила свою добровольную политику Responsible Scaling Policy. В ней пояснили, что самостоятельно внедрить самые амбициозные меры безопасности довольно сложно в условиях жесткой конкуренции и недостаточной международной координации между разработчиками. Именно поэтому компания предусмотрела публичные дорожные карты по безопасности и регулярные отчеты о потенциальных рисках уже развернутых моделей.
Ранее сообщалось, что искусственный интеллект становится практичным инструментом для историков, которым приходится обрабатывать огромные коллекции рукописей, архивных документов и других источников. В Вене собрались более 100 исследователей и специалистов, чтобы обсудить, как машинное обучение может помочь в обработке исторических материалов.
Кроме того, предприниматель и специалист по цифровым технологиям Артем Бородатюк опроверг казавшееся на первый взгляд логичным предположение о том, что в отсутствие интернета искусственный интеллект станет недоступным. По его словам, загруженная на персональный компьютер модель будет продолжать работать даже в постапокалиптических условиях.
Учёные из Стэнфордского университета и Института Arc применили искусственный интеллект для создания новых видов вирусов. Эту технологию можно использовать как для разработки противовирусных препаратов и вакцин, так и для создания опасных патогенов.