Создан самый большой процессор в мире WSE-3 на 900 тысяч ядер: где его применят
На основе WSE-3 будут созданы суперкомпьютеры, способные обучить нейросеть Llama 70B компании Meta всего за 24 часа.
Компания Cerebras (США) создала очень большой чип WSE-3. Использовать его будут для работы алгоритмов машинного обучения и искусственного интеллекта, пишет The Register.
Чип был изготовлен по 5-нм техпроцессу на фабрике тайваньского производителя TSMC. На площади в 4622 см2 уместилось 4 трлн транзисторов и 900 тыс. ядер. Поддерживаемая SRAM-память составила 44 Гб, производительность — 125 Пфлопс (1 Петафлопс равен 1 квадриллиону операций в секунду, — ред.).
В компании сообщили, что на базе WSE-3 создана машина Cerebras CS-3. Уровень ее энергопотребления находится на отметке 23 кВт. Если сравнивать Cerebras CS-3 с платформой Nvidia H100, то первая превосходит вторую по производительности в 62 раза в операциях FP16. И даже Nvidia DGX она превосходит в 4 раза в операциях FP16.
Что касается пропускной способности Cerebras CS-3, то она составляет 21 Пбайт/с (1 Петабайт равен 1 квадриллиону байт, — ред.). К примеру, пропускная способность Nvidia H100 равна всего лишь 3,9 Тбайт/с. Тут стоит отметить, что производительность вычислительной платформы CS-3 зависит от коэффициента "разреженности" операций. Иными словами, чем плотнее будут операции FP16, тем медленнее будет работать вся система.
CS-3 на базе процессоров WSE-3 станет частью кластера Condor Galaxy AI, используемого для обеспечения работы нейросетей. Позже на основе таких кластеров будут собраны несколько суперкомпьютеров, два из которых уже приняты в эксплуатацию. Каждая такая машина состоит из 64 платформ класса CS-2 с суммарной производительностью 4 Эксафлопс (1 Эксафлопс равен миллиарду миллиардов операций в секунду, — ред.).
Суперкомпьютер на базе нескольких систем CG-3 с совокупной производительностью 8 Эксафлопс будет создан в ближайшее время.
Вычислительная система CS-3 может включать максимум 2048 ускорителей, общая производительность которых будет составлять 256 Экcафлопс. Такой суперкомпьютер сможет обучить нейросеть Llama 70B компании Meta всего за 24 часа.
Ранее мы писали о том, что США перенесут производство чипов с Тайваня в другое место. Американские компании Micron и Intel решили инвестировать в Малайзию.