ChatGPT погорел на научных гипотезах: ИИ просто угадывает, и делает это очень плохо
Ученые проверили ChatGPT, попросив его оценить, являются ли сотни научных гипотез истинными или ложными, и результаты оказались не очень обнадеживающими. Исследование показывает, что ИИ имеет скромные способности к рассуждению.
Исследователи из университета штата Вашингтон, США, неоднократно проверяли ChatGPT, попросив его оценить правильность или ложность научных гипотез, взятых из научных статей. Цель исследования состояла в том, чтобы проверить, может ли ИИ правильно определить, подтверждается ли каждое утверждение исследованиями или нет. Другими словами, является ли оно истинным или ложным. В общей сложности ученые предоставили для оценки более 700 гипотез. Результаты показали, что к ответам ИИ нужно относится с большой долей скептицизма и нужно проверять всю информацию, созданную чат-ботами искусственного интеллекта, пишет Фокус.
У Фокус. Технологии появился свой Telegram-канал. Подписывайтесь, чтобы не пропускать самые свежие и захватывающие новости из мира науки!
Во время эксперимента в 2024 году ChatGPT давал правильные ответы в 76,5% случаев. В 2025 году этот показатель вырос до 80%. Однако после того, как ученые учли случайные угадывания, результаты выглядели менее впечатляющими. Искусственный интеллект показал правильные ответы лишь в 60% случаев. Хотя это исследование было сосредоточено конкретно на ChatGPT, ученые говорят, что аналогичные эксперименты с другими ИИ дали сопоставимые результаты.
Искусственный интеллект испытывает наибольшие трудности с выявлением ложных утверждений, правильно определяя их только в 16,4% случаев. ИИ также демонстрирует заметную непоследовательность. Даже если задавать один и тот же вопрос 10 раз, можно получить разные ответы, говорят ученые.
Авторы исследования считают, что искусственный интеллект, способный по-настоящему "думать"" может появиться в более далеком будущем, чем многие ожидают.
Современные инструменты ИИ не понимают мир так, как понимаем его мы — у них нет "мозга". Они просто запоминают и могут дать некоторое представление, но они не понимают, о чем говорят", — говорят авторы исследования.
Результаты исследования указывают на фундаментальное ограничение искусственного интеллекта. Хотя ИИ может создавать убедительные ответы, ему часто трудно анализировать сложные вопросы. Это может привести к ответам, которые звучат убедительно, но на самом деле неверны, говорят ученые.
Исследователи рекомендуют проверять информацию, созданную ИИ, и относиться к ней со скептицизмом.
Как уже писал Фокус, эксперты считают, что искусственный интеллект может создать радиоактивное оружие.
Также Фокус писал о том, что мощная магнитная буря обрушится на Землю 19 – 22 марта, ведь Солнце выбросило в космос много плазмы.
При написании материала использованы источники: Science Daily, Washington State University, Rutgers Business Review