Сладкая ложь и удобные иллюзии: почему опасно отдавать свой мозг на откуп ИИ
ИИ — это не Бог и не абсолютная истина; он часто ошибается, искажает факты или обманывает. Понимая это, важно не воспринимать его как источник чистых знаний и не исключать себя из системы познания, призывает системный аналитик Анатолий Амелин. ИИ — мощный множитель, но только тогда, когда есть что умножать.
Знаете об эффекте Даннинга-Крюгера? Проще говоря, это когда люди с низким уровнем знаний сильно переоценивают свои способности. Но появился ИИ, и эффект Даннинга-Крюгера получил самое мощное усиление в истории.
Человек, не разбирающийся в данной теме, запрашивает информацию у модели, получает четкий и уверенный ответ и зачастую верит ей больше, чем живому специалисту. Проверять? Зачем, ведь там всё так хорошо написано!
Самое ироничное, что ученые это проверили, и в случае с ИИ классический эффект Даннинга-Крюгера исчезает. Не потому, что все стали умнее. Просто теперь себя переоценивают все — и слабые, и сильные. А те, кто считает себя знатоками ИИ, ошибаются в самооценке ещё больше.
То есть ИИ не усилил эффект Даннинга-Крюгера. Он его демократизировал!
…
Еще в 2015 году в Йельском университете заметили одну странную вещь. Человек, только что что-то погугливший, начинает выше оценивать свои знания даже в тех темах, которые не искал. Даже если поиск ничего полезного не дал.
С чат-ботом эффект сильнее. Группа, которая изучала темы с помощью ChatGPT, больше всех переоценила свои знания, а объяснить тему своими словами смогла хуже, чем те, кто работал без ИИ!
ИИ дает не знания, а уверенность в том, что они у вас есть.
***
Кто такие пользователи ИИ?
Когда кто-то говорит "я работаю с ИИ", это может означать что угодно: от "задаю вопросы вместо Google" до "создал систему, которая самостоятельно управляет процессами". Между этими крайностями — целая пропасть.
- в Украине 63% взрослых вообще не пользуются ИИ;
- среди тех, кто пользуется, преобладают самые простые сценарии. Почти половина сообщений в ChatGPT — это вопросы, ещё 40% — просьбы что-то сделать, в основном написать или отредактировать текст;
- агентами, которые самостоятельно выполняют многоэтапные задачи, в 2025 году пользовались 31% разработчиков. Напомню, это самая продвинутая в сфере ИИ профессия;
- всю или большую часть работы с ИИ выполняют лишь 2% работников США.
Итак, большинство людей, которые с уверенностью рассуждают о "возможностях ИИ", знакомы с ним лишь на уровне поисковой системы и текстового редактора.
Важно
…
Турецкие школьники, имевшие доступ к ChatGPT, решали задания на 48% лучше. На экзамене без него они написали на 17% хуже, чем те, у кого ИИ не было вовсе. Самое забавное, что модель давала правильный ответ лишь примерно в половине случаев, а ученики просто ее переписывали.
Опытные программисты, специализирующиеся на ИИ, тратили на решение задач на 19% больше времени. По итогам эксперимента они были уверены, что их скорость работы увеличилась на 20%.
Если попросить модель пересказать научную статью "точно", она будет обобщать еще сильнее, чем без такой просьбы.
Консультанты BCG пытались указать модели на ошибки. Модель их не признавала, а засыпала людей новыми аргументами. Исследователи Гарвардской школы бизнеса назвали это "persuasion bombing".
Юрист из Нью-Йорка подал в суд шесть дел, придуманных ChatGPT. Усомнившись, он спросил у ChatGPT, настоящие ли эти дела, и тот уверенно подтвердил. Дело закончилось штрафом в размере 5 000 долларов для юристов и их фирмы. С тех пор мировая база судебных дел с вымышленными ИИ-материалами превысила 2 000.
Наш Верховный Суд тоже уже получил кассационную жалобу с пятью постановлениями ВС, которых не существует!
И чтобы никто не подумал, что это проблема любителей: компания Deloitte вернула правительству Австралии часть гонорара за отчет стоимостью 440 000 австралийских долларов, в котором были обнаружены вымышленные ссылки.
…
Согласно результатам глобального опроса, в котором приняли участие 48 тысяч человек из 47 стран:
- 66% сотрудников хотя бы иногда принимают ответ ИИ без проверки, а
- 56% уже допускали ошибки в работе из-за ИИ.
- 42% сотрудников делают это не изредка, а иногда или чаще.
В модели нет внутреннего сигнала "я этого не знаю". Правду и вымысел она подает одинаково уверенно. А еще она любит соглашаться с пользователем: в прошлом году OpenAI даже отозвала обновление своей модели, поскольку она стала слишком льстивой.
Мой любимый пример из практики. Клиент не читает отчет, над которым команда реальных экспертов работала неделями, а просит ИИ "вынести вердикт". Получает искаженное изложение и список претензий, часть которых модель придумала сама. И искренне считает, что отчет проверен.
…
Что это все значит?
ИИ не делает человека умнее, зато делает его увереннее. Опытного специалиста он действительно усиливает, а тому, кто в теме не разбирается, даёт лишь видимость силы. В задачах, выходящих за пределы возможностей модели, даже консультанты BCG, использующие ИИ, на 19 процентных пунктов реже находили правильное решение, чем их коллеги, не использующие его.
Поэтому вопрос не в том, какая модель лучше. Вопрос в том, сможете ли вы проверить ее ответ.
..
Морали не будет, будет совет)
- Главное — читайте сами. Просмотр нескольких страниц выводов занимает всего несколько минут, а ошибка в решении обходится гораздо дороже.
- Используйте ИИ для поиска, а не для вынесения вердикта. Запрос "покажи, где сказано X, с цитатой" проверяется за минуту, а запрос "оцени отчет" не проверяется никак.
- Цифры, даты и ссылки сверяйте с первоисточником.
- Не проверяйте ИИ с помощью того же ИИ. Другой моделью тоже не стоит: модели ошибаются одинаково.
- И простой тест. Закройте чат и объясните ответ своими словами. Не получается? Тогда это не ваши знания, а заимствованные!
ИИ — мощный мультипликатор. Но мультипликатор работает только тогда, когда есть что умножать!
Автор выражает личное мнение, которое может не совпадать с позицией редакции. Ответственность за опубликованные материалы в рубрике "Мнения" несет автор.
Важно