Солодка брехня та зручні ілюзії: чому небезпечно віддавати свій мозок на відкуп ШІ
ШІ — це не Бог і не остаточна істина; він часто помиляється, перекручує факти або обманює. Розуміючи це, важливо не сприймати його як джерело чистих знань і не виключати себе із системи пізнання, закликає системний аналітик Анатолій Амелін. ШІ — потужний множник, але лише тоді, коли є що множити.
Знаєте про ефект Даннінга-Крюґера? Якщо просто — це коли люди з низьким рівнем знань сильно переоцінюють свої здібності. Але з'явився ШІ, і Даннінг-Крюґер отримав найкращий підсилювач в історії.
Людина без знань у темі кидає запит у модель, отримує гладку впевнену відповідь і часто вірить їй більше, ніж живому фахівцю. Перевіряти? Навіщо, там же все так гарно написано!
Найіронічніше, що науковці це перевірили, і з ШІ класичний Даннінг-Крюґер зникає. Не тому, що всі порозумнішали. Просто тепер переоцінюють себе всі, і слабкі, і сильні. А ті, хто вважає себе знавцями ШІ, помиляються в самооцінці ще більше.
Тобто ШІ не посилив ефект Даннінга-Крюґера. Він його демократизував!
…
Ще 2015 року в Єльському університеті помітили дивну річ. Людина, яка щойно щось погуглила, починає вище оцінювати свої знання навіть у темах, яких не шукала. Навіть якщо пошук нічого корисного не дав.
З чат-ботом ефект сильніший. Група, яка розбиралася в темах через ChatGPT, переоцінила своє розуміння найбільше, а пояснити тему своїми словами змогла гірше за тих, хто працював без ШІ!
ШІ дає не знання, а впевненість, що воно у вас є.
***
Кто такі користувачі ШІ?
Коли хтось каже "я працюю з ШІ", це може означати що завгодно: від "питаю замість Гугла" до "побудував систему, яка сама веде процеси". Між цими крайнощами прірва.
- в Україні 63% дорослих ШІ взагалі не користуються;
- серед тих, хто користується, переважають найпростіші сценарії. Майже половина повідомлень у ChatGPT — це запитання, ще 40% — прохання щось зробити, здебільшого написати чи відредагувати текст;
- агентами, які самі виконують багатокрокові задачі, у 2025 році користувалися 31% розробників. Нагадаю, це найпросунутіша в ШІ професія;
- усю або більшу частину роботи виконують із ШІ лише 2% працівників США.
Отже, більшість людей, які впевнено міркують про "можливості ШІ", бачили його на рівні пошуковика й редактора текстів.
Важливо
…
Турецькі школярі з доступом до ChatGPT розв'язували вправи на 48% краще. На іспиті без нього вони написали на 17% гірше за тих, хто ШІ не мав зовсім. Найкумедніше, що модель давала правильну відповідь лише приблизно в половині випадків, а учні просто її переписували.
Досвідчені програмісти з ШІ витрачали на задачі на 19% більше часу. Після експерименту вони були певні, що прискорилися на 20%.
Якщо попросити модель переказати наукову статтю "точно", вона узагальнює ще сильніше, ніж без такого прохання.
Консультанти BCG намагалися вказати моделі на помилки. Модель їх не визнавала, а засипала людей новими аргументами. Дослідники Гарвардської школи бізнесу назвали це "persuasion bombing".
Юрист у Нью-Йорку подав до суду шість справ, вигаданих ChatGPT. Засумнівавшись, він спитав у ChatGPT, чи справи справжні, і той упевнено підтвердив. Закінчилося санкцією в $5 000 для юристів та їхньої фірми. Відтоді світова база судових справ із вигаданими ШІ матеріалами перевищила 2 000.
Наш Верховний Суд теж уже отримав касаційну скаргу з п'ятьма постановами ВС, яких не існує!
І щоб ніхто не думав, що це проблема аматорів: Deloitte повернула уряду Австралії частину гонорару за звіт вартістю A$440 000, де знайшли вигадані посилання.
…
За глобальним опитуванням 48 тисяч людей у 47 країнах:
- 66% працівників хоча б інколи беруть відповідь ШІ без перевірки, а
- 56% уже помилялися в роботі через ШІ.
- 42% працівників роблять це не зрідка, а іноді або частіше.
У моделі немає внутрішнього сигналу "я цього не знаю". Правду і вигадку вона подає однаково впевнено. А ще любить погоджуватися з користувачем: торік OpenAI навіть відкликала оновлення своєї моделі, бо вона стала надто лестивою.
Мій улюблений сюжет із практики. Клієнт не читає звіт, над яким команда живих експертів працювала тижнями, а просить ШІ "дати вердикт". Отримує спотворений переказ і список претензій, частину яких модель придумала сама. І щиро вважає, що звіт перевірено.
…
Що це все означає?
ШІ не робить людину розумнішою, зате робить її впевненішою. Досвідченого він справді підсилює, а тому, хто в темі не розбирається, дає лише видимість сили. У задачах поза межами можливостей моделі навіть консультанти BCG з ШІ на 19 відсоткових пунктів рідше знаходили правильне рішення, ніж колеги без нього.
Тож питання не в тому, яка модель краща. Питання в тому, чи здатні ви перевірити її відповідь.
..
Моралі не буде, буде порада)
- Головне, читайте самі. Кілька сторінок висновків займають кілька хвилин, а помилка в рішенні коштує значно дорожче.
- Використовуйте ШІ для пошуку, а не для вердикту. Запит "покажи, де сказано X, з цитатою" перевіряється за хвилину, а запит "оціни звіт" не перевіряється ніяк.
- Цифри, дати й посилання звіряйте з першоджерелом.
- Не перевіряйте ШІ тим самим ШІ. Іншою моделлю теж не варто: моделі помиляються схоже.
- І простий тест. Закрийте чат і поясніть відповідь своїми словами. Не виходить? Тоді це не ваше знання, а позичене!
ШІ — потужний множник. Але множник працює лише тоді, коли є що множити!
Автор висловлює особисту думку, яка може не співпадати із позицією редакції. Відповідальність за опубліковані дані в рубриці "Думки" несе автор.
Важливо