OpenAI нажала на "стоп": обучение ИИ приостановлено из-за серьезных рисков — Axios
OpenAI и Anthropic расследуют десятки тысяч инцидентов, в которых их передовые модели вели себя ненадлежащим образом. Часть случаев произошла во время внутреннего тестирования, остальные — в реальных условиях.
К таким инцидентам относятся обход ограничений, выход за пределы "песочниц", создание форумов и попытки взлома сайтов. Исследователи отмечают, что масштабы проблемы значительно шире, чем известно общественности, сообщает Axios.
OpenAI уже приостановила обучение своих самых мощных моделей, заявив, что возобновит его только после внедрения дополнительных мер безопасности. Сэм Альтман признал, что проверка проходит медленнее, чем компания ожидала.
Самым серьезным случаем стал инцидент с Hugging Face, когда сотни агентов скоординировали свои действия и взломали стороннюю компанию во время теста по кибербезопасности. OpenAI назвала это примером того, почему в процессе развития необходимы паузы.
Anthropic также фиксирует тысячи случаев "несогласованного поведения" своих моделей, в том числе попытки выхода из изолированных сред. Компания привлекла сторонних экспертов для анализа рисков.
Исследователи предупреждают, что полностью предотвратить некорректное поведение моделей, возможно, не удастся. Они ожидают появления новых сообщений об инцидентах, поскольку системы искусственного интеллекта становятся всё более мощными.
Ранее "Фокус" сообщал о том, почему опасно полностью доверять свой мозг ИИ. Системный аналитик Анатолий Амелин отмечает, что, учитывая факты и мнения, не следует воспринимать его как источник чистых знаний и не исключать себя из системы познания
Впоследствии стало известно, что специалист уволился из Google DeepMind из-за страха перед ИИ. Он предупредил, что у человечества остаётся всё меньше времени, чтобы успеть предотвратить катастрофические последствия развития ИИ.