Создатели ChatGPT объяснили, почему ИИ ошибается: "мы изначально так задумали"
Компания OpenAI опубликовала исследование, в котором объяснила, почему ChatGPT и другие нейросети так часто "галлюцинируют" — уверенно выдают ложную информацию. Оказалось, это не сбой, а прямое следствие того, как их обучают и оценивают. Но есть способы со временем это поправить.
Причина в том, что современные системы оценки качества поощряют ИИ угадывать ответ, а не признаваться в незнании. Эксперты сравнивают такое поведение со школьным тестом: если за ответ "не знаю" вы гарантированно получаете ноль баллов, есть шанс написать хоть что-то и попасть в точку. Именно по такому принципу и функционируют чат-боты, пишет OpenAI.
Большинство бенчмарков, которые измеряют способности и интеллект нейросетей, оценивают только точность — процент правильных ответов. В результате разработчики вынуждены настраивать модели так, чтобы они всегда, в любом случае давали какой-то ответ, даже если не уверены в нем. Это удобно для виртуальных тестов, но приводит к тому, что ИИ неизбежно "галлюцинирует" — выдумывает факты и уверенно их презентует.
В качестве примера OpenAI приводит сравнение двух версий ChatGPT. Старая модель o4-mini по метрике точности (процент верных сведений) выглядит немного лучше более новой gpt-5-thinking-mini (24% против 22%). Но как это возможно, если частота ошибок первой — 75%, а у новой — лишь 26%? Все дело в подходе. Модель o4-mini пытается решить почти все вопросы и больше угадывает, а отказывается отвечать только в 1% случаев. Таким образом она "вслепую" набирает больше правильных ответов, но попутно генерирует и много вранья.
Улучшенная модель gpt-5-thinking-mini работает умнее. Она честно говорит, что не располагает точной информацией в 52% случаев, отвечая только тогда, когда более-менее уверена. В результате вероятность того, что она вас обманет, на практике в три раза меньше, то есть актуальная версия куда надежнее.
OpenAI предлагает изменить сам подход к оценке ИИ. По их мнению, за уверенную ложь нужно штрафовать сильнее, чем за честное "не знаю", а за адекватную оценку своей неуверенности — даже начислять частичные баллы. Это заставит разработчиков создавать более честные и надежные ИИ-модели, которые не будут вводить пользователей в заблуждение.
Раньше Фокус писал, что чат-боты вроде ChatGPT меняют людей. Недавние исследования показали, что с людьми, которые "подсели" на чат-боты вроде ChatGPT, происходит нечто необычное. Специалисты в области психического здоровья называют это "ИИ психозом".