Суперкомп'ютер створив ШІ з 1 трлн параметрів: знадобилося всього лише 3000 процесорів

Дослідники з Національної лабораторії Ок-Рідж (США) навчили велику мовну модель (ВММ) на зразок ChatGPT за допомогою суперкомп'ютера Frontier. Для цього їм знадобилося всього 3072 з 37 888 графічних процесорів, передає Toms hardware.

Суперкомп'ютер Frontier оснащений 9 472 процесорами Epyc 7A53 і 37 888 графічними процесорами Radeon Instinct. Однак учені використовували тільки 3072 графічні процесори для навчання БЯМ, яка має в своєму розпорядженні 1 трлн параметрів, і 1024 — для навчання іншої нейромережі зі 175 млрд параметрів.

Для навчання такого великого ШІ-бота необхідний величезний обсяг пам'яті — мінімум 14 Тб. Тому дослідники задіяли кілька графічних процесорів MI250X із 64 Гб відеопам'яті кожен, але це призвело до нової проблеми: паралелізму. Використання більшої кількості графічних процесорів у ВММ вимагає кращої взаємодії для ефективного використання більшої кількості ресурсів. В іншому разі вся потужність графічного процесора буде витрачена даремно.

"Вчені вирішили цю проблему, використавши такі платформи, як Megatron-DeepSpeed і FSDP. У підсумку результати виявилися вельми вражаючими: під час збільшення розміру робочого навантаження більше графічних процесорів використовували максимально ефективно", — сказано в матеріалі.

Однак сильна ефективність масштабування була трохи нижчою: 89% для нейромережі з 175 млрд параметрів і 87% для ВММ з 1 трлн параметрів. Сильне масштабування передбачає збільшення кількості процесорів без зміни розміру робочого навантаження, і, відповідно до закону Амдала, більша кількість ядер стає менш корисною. Навіть 87% — гідний результат, враховуючи, скільки графічних процесорів вони використовували.

Команда також зазначила деякі проблеми з досягненням такої ефективності на суперкомп'ютері Frontier, заявивши, що, здебільшого, алгоритми машинного навчання в цьому масштабі функціонують тільки в межах апаратно-програмної екосистеми CUDA Nvidia, що робить рішення AMD та Intel непридатними.

"Проте найшвидшим суперкомп'ютером у світі, як і раніше, залишається Frontier, оснащений процесорами AMD. На другому місці стоїть Aurora з чипами від Intel. Графічні процесори Nvidia використовуються в третьому за швидкістю суперкомп'ютері — Eagle. Якщо AMD та Intel хочуть зберегти передові позиції, їм доведеться наздогнати програмні рішення Nvidia", — резюмували автори статті.

Раніше ми писали про те, що найшвидший суперкомп'ютер у світі з'явиться у 2024 році. Екзафлопсна машина JUPITER має всі шанси стати лідером глобального рейтингу суперкомп'ютерів TOP500.