Дуже по-людськи: вчені виявили несподівану деталь у поведінці ChatGPT
Учені з Оксфордського університету та Інституту штучного інтелекту Аллена (Ai2) з'ясували, що великі мовні моделі (LLM), які лежать в основі чат-ботів, таких як ChatGPT, розпізнають незнайомі слова у спосіб, дуже схожий на людський.
Деталі нового дослідження розкрив портал Tech Xplore.
Раніше вважалося, що LLM вчаться генерувати мову насамперед на основі правил зі своїх навчальних даних. Однак учені помітили, що замість цього моделі значною мірою покладаються на збережені приклади і проводять аналогії під час роботи з незнайомими словами, як це роблять люди.
Команда дослідників згенерувала 200 вигаданих англійських прикметників, з якими LLM ніколи раніше не стикався — такі слова, як "cormasive" і "friquish". Потім вони попросили GPT-J (велику мовну модель із відкритим вихідним кодом) перетворити кожне з них на іменник, обираючи між -ness і -ity (наприклад, обираючи між "cormasivity" і "cormasiveness"). Відповіді LLM порівнювали з вибором, зробленим людьми.
"Мислення" ШІ: що виявили вчені
Результати показали, що міркування LLM нагадують людські. Замість того щоб використовувати правила, ШІ шукав подібності з реальними словами, засвоєними під час навчання. Приблизно так само, як люди роблять, коли думають про нові слова. Наприклад, "friquish" перетворюється на "friquishness" на основі його схожості зі словами на кшталт "selfish", тоді як на результат для "cormasive" впливають такі пари слів, як "sensitiv", "sensitivity".
ВажливоЯк зазначають у виданні, ШІ поводився так, ніби він сформував слід пам'яті з кожного окремого прикладу кожного слова, з яким він зіткнувся під час навчання. Мабуть, він справлявся з усім новим, запитуючи себе: "Що це мені нагадує?".
При цьому вчені виявили деякі відмінності в тому, як люди і ШІ формують аналогії за прикладами. Люди формують уявний словник усіх словоформ, які вони вважають значущими словами у своїй мові, незалежно від того, як часто вони зустрічаються. Щоб розпізнати слова, які нещодавно з'явилися, вони роблять аналогічні узагальнення на основі відомих слів у своїх словниках.
Своєю чергою LLM, навпаки, узагальнюють безпосередньо всі конкретні приклади слів у навчальному наборі, не об'єднуючи приклади одного й того самого слова в один словниковий рядок.
"Хоча LLM можуть генерувати мову досить вражаючим чином, виявляється, що вони не мислять так абстрактно, як люди. Це, ймовірно, сприяє тому, що для їхнього навчання потрібно набагато більше мовних даних, ніж потрібно людям для вивчення мови", — підсумувала професорка мовного моделювання Оксфордського університету та старша авторка дослідження Джанет П'єррехумберт.
Нагадаємо, компанія OpenAI заявила, що оновлення GPT-4o в ChatGPT викликало побоювання з приводу безпеки, тому воно більше не доступне для використання.
Також повідомлялося, що ввічливість користувачів ChatGPT обходиться компанії OpenAI в десятки мільйонів доларів, бо чат-бот із ШІ споживає зайву електроенергію.