Meta представила "найпотужніший" суперкомп'ютер, який змусить ШІ вчитися швидше (відео)

Корпорація Meta (колишня Facebook) представила суперкомп'ютер AI Research SuperCluster (RSC), який може стати найшвидшим у світі. Подробиці опубліковані в офіційному пресрелізі.

Організація стверджує, що RSC вже спроєктований і побудований, а після остаточного завершення налаштування у 2022 році проб'є екзафлопний бар'єр (мільярд мільярдів операцій за секунду) і затьмарить за продуктивністю всі суперкомп'ютери зі штучним інтелектом. Дослідники вже почали використовувати машину для навчання великих моделей обробки природної мови (NLP) та комп'ютерного зору для створення одноденних навчальних моделей із трильйонами параметрів.

Суперкомп'ютери зі ШІ створюються шляхом об'єднання кількох графічних процесорів в обчислювальні вузли, які потім з'єднуються мережевою структурою для забезпечення швидкого зв'язку між компонентами. У своїй актуальній формі суперкомп'ютер складається з 6080 графічних процесорів Nvidia A100, пов'язаних через мережу Quantum InfiniBand, яка може передавати дані зі швидкістю 200 гігабіт за секунду. Система також має в своєму розпорядженні сховище даних обсягом 175 петабайтів, 46 петабайтів кеш-пам'яті та ще 10 петабайтів сховища Network File System (NFS). Варто зазначити, що один петабайт дорівнює мільйону гігабайт.

Під час тестів нова версія змогла навчити "розумні" моделі обробки природної мови втричі швидше, ніж попередній суперкомп'ютер зі штучним інтелектом Meta, і виявилася у 20 разів швидшою в завданнях комп'ютерного зору. У середині року в платформу RSC посилять 10 000 графічних процесорів, швидша мережа, здатна передавати 16 терабайт даних за секунду, та сховище в 1 екзабайт (1000 петабайтів). Модель із десятками мільярдів параметрів можна навчити за три тижні замість дев'яти тижнів, як раніше.

Як запевняє Meta, їхній суперкомп'ютер у фінальній формі отримає продуктивність у 5 екзафлопс. Наразі найпотужнішим комп'ютером є японський Fugaku з 2 екзафлопсами, і RSC може стати в два з половиною раза швидшим за нього. Видання New Atlas звернуло увагу, що машина від Meta не завершена та не тестувалася на тих же процесах бенчмаркінгу, що й Fugaku.

Meta також стверджує, що в RSC буде реалізовано деякі заходи для забезпечення безпеки та конфіденційності. По-перше, комп'ютер не підключений до інтернету, адже дані надходять тільки з власних центрів обробки даних компанії, шифруються під час переміщення по системі, а розшифровуються тільки безпосередньо для навчання моделей.

"Для розробки передового ШІ наступного покоління будуть потрібні нові потужні комп'ютери, здатні виконувати квінтильйони операцій за секунду, — йдеться в презентації. — RSC допоможе дослідникам штучного інтелекту Meta створювати нові та досконаліші моделі штучного інтелекту".

Завдяки суперкомп'ютеру Meta ШІ-моделі зможуть навчатися на трильйонах прикладів і сотнями різних мов, одночасно аналізувати текст, відео та зображення, розробляти нові інструменти доповненої реальності та багато іншого. Зокрема, розробники сподіваються на створення нових систем, які забезпечать голосовий переклад мови в реальному часі та дозволять групі людей спілкуватися між собою різними мовами.

"Зрештою робота, виконана з RSC, прокладе шлях до створення технологій для наступної великої обчислювальної платформи — метавсесвіту, де важливу роль відіграватимуть програми та продукти на основі ШІ", — додала Meta.

Перша версія комп'ютера, зібрана у 2017 році, складалася з 22 000 графічних процесорів NVIDIA V100 із тензорними ядрами в одному кластері, що виконує 35 000 навчальних завдань на день. На початку 2020 року Meta вирішила спроектувати нову інфраструктуру з нуля, щоб реалізувати переваги нових технологій і навчати ШІ на наборах даних розміром до ексабайта, що еквівалентно високоякісному відеоролику тривалістю 36 тисяч років.

Раніше писали про запуск першого в історії суперкомп'ютера Jean Zay, який працює від світла, а не електрики. Співпроцесор LightOn у 40 разів збільшив продуктивність та підняв машину на 105-те місце у світовому рейтингу.