Створено найбільший процесор у світі WSE-3 на 900 тисяч ядер: де його застосують

Компанія Cerebras (США) створила дуже великий чип WSE-3. Використовувати його будуть для роботи алгоритмів машинного навчання і штучного інтелекту, пише The Register.

Чип було виготовлено за 5-нм техпроцесом на фабриці тайванського виробника TSMC. На площі в 4622 см2 вмістилося 4 трлн транзисторів і 900 тис. ядер. Підтримувана SRAM-пам'ять становила 44 Гб, продуктивність — 125 Пфлопс (1 Петафлопс дорівнює 1 квадрильйону операцій на секунду, — ред.).

У компанії повідомили, що на базі WSE-3 створено машину Cerebras CS-3. Рівень її енергоспоживання знаходиться на позначці 23 кВт. Якщо порівнювати Cerebras CS-3 із платформою Nvidia H100, то перша перевершує другу за продуктивністю в 62 рази в операціях FP16. І навіть Nvidia DGX вона перевершує в 4 рази в операціях FP16.

Що стосується пропускної здатності Cerebras CS-3, то вона становить 21 Пбайт/с (1 Петабайт дорівнює 1 квадрильйону байт, — ред.). Наприклад, пропускна здатність Nvidia H100 дорівнює всього лише 3,9 Тбайт/с. Тут варто зазначити, що продуктивність обчислювальної платформи CS-3 залежить від коефіцієнта "розрідженості" операцій. Іншими словами, чим щільнішими будуть операції FP16, тим повільніше працюватиме вся система.

CS-3 на базі процесорів WSE-3 стане частиною кластера Condor Galaxy AI, що використовується для забезпечення роботи нейромереж. Пізніше на основі таких кластерів буде зібрано кілька суперкомп'ютерів, два з яких уже прийнято в експлуатацію. Кожна така машина складається з 64 платформ класу CS-2 із сумарною продуктивністю 4 Ексафлопс (1 Ексафлопс дорівнює мільярду мільярдів операцій на секунду, — ред.).

Суперкомп'ютер на базі декількох систем CG-3 із сукупною продуктивністю 8 Ексафлопс буде створено найближчим часом.

Обчислювальна система CS-3 може включати максимум 2048 прискорювачів, загальна продуктивність яких становитиме 256 Ексафлопс. Такий суперкомп'ютер зможе навчити нейромережу Llama 70B компанії Meta всього за 24 години.

Раніше ми писали про те, що США перенесуть виробництво чипів з Тайваню в інше місце. Американські компанії Micron і Intel вирішили інвестувати в Малайзію.