ШІ порозумнішає в 100 разів: найбільший у світі чіп створить нейромережі "більше людського мозку"

Компанія Cerebras Systems розробила нову кластерну систему, яка може створювати штучні нейронні мережі, що перевершують за деякими параметрами людський мозок.

Про це повідомляє сайт TechRadar.

Людський мозок містить приблизно 100 трильйонів синапсів — з'єднань між нейронами, які слугують для передавання нервових імпульсів між клітинами. Наразі наймасштабніші моделі штучного інтелекту (такі як Switch Transformer від Google) мають приблизно 1 трлн параметрів, які можна умовно порівняти із синапсами. Система Cerebras із найбільшими у світі чіпами Wafer-Scale Engine 2 (WSE-2) здатна підтримувати моделі ШІ з більш ніж 120 трлн параметрів.

Найбільші моделі штучного інтелекту сучасності працюють на системі з десятків процесорів (GPUs), спочатку розроблених для відеоігор. Cerebras Systems вирішила піти іншим шляхом і випустила WSE-2 спеціально для ШІ. Один такий чип зі стороною в 21 см містить 2,6 трлн транзисторів і 850 тис. ядер, оптимізованих для штучного інтелекту. Для порівняння: найбільший графічний процесор має діаметр менше 3 см, 54 млрд транзисторів і в 123 рази менше ядер. Інженери Cerebras Systems використовували власну інноваційну технологію і зібрали воєдино безліч машин CS-2, що працюють на базі WSE-2. Як підкреслив директор компанії Ендрю Фелдман, вони в 100 разів перевершили найбільшу з раніше наявних нейромереж.

"Останні кілька років показали нам, що для моделей обробки природної мови (NLP) розуміння масштабується безпосередньо з параметрами — чим більше параметрів, тим кращі результати. Винаходи Cerebras, які забезпечать 100-кратне збільшення кількості параметрів, зможуть перетворити повністю всю галузь. Вперше ми зможемо дослідити моделі розміром із мозок", — прокоментував Рік Стівенс, заступник директора Аргонської національної лабораторії.

Гігантський чіп WSE-2 зіграв вирішальну роль у створенні кластерної системи, проте її робота була б неможливою без інших нових технологій, а саме:

• Weight Streaming забезпечує швидке потокове передавання даних у процесі реалізації ПЗ і збільшує продуктивність за рахунок поділу пам'яті й обчислень. Завдяки їй система може зберігати параметри поза кристала без затримок, які властиві кластерам.
• Інформацію зберігає зовнішній кейс MemoryX, який розширює вбудовану пам'ять SRAM із 40 ГБ до 2,4 ПБ.
• SwarmX дозволяє кластерам CS-2 досягати майже лінійного масштабування продуктивності та дозволяє одночасно підключати до 192-х систем зі 163 млн ядер, сумісних зі ШІ.
• Алгоритм нового типу під назвою Selectable Sparsity допомагає CS-2 швидше обробляти запити, скорочуючи обсяг обчислювальної роботи, необхідної для досягнення рішень.

"Ця комбінація технологій дозволить користувачам розблокувати нейронні мережі розміром із мозок і з легкістю розподіляти роботу по величезних кластерах ядер, оптимізованих для ШІ. Так, Cerebras встановлює новий стандарт розміру моделі, обчислювальної потужності кластера і простоти програмування", — зазначають представники компанії.

Поки лише деякі організації здатні використовувати AI-системи з масштабом із людський мозок, проте Cerebras заклала основу для великого технологічного прориву в цій сфері. Нова кластерна система потенційно здатна відкрити перед людьми можливості, що виходять за рамки уяви.

Раніше писали, що вчені створили новий квантовий алгоритм, який змусить ШІ "порозумнішати". Як показали експерименти, він дозволяє набагато швидше навчати нейромережі.