ИИ вышел на новый уровень: разработчикам удалось преодолеть важное препятствие
Компания NVIDIA представила технологию, способную радикально улучшить работу моделей искусственного интеллекта (ИИ) в больших контекстах. Эта инновация, получившая название Helix Parallelism, позволяет обрабатывать миллионы слов одновременно, обеспечивая мгновенные ответы.
Поскольку инструменты ИИ расширяются по масштабу и сложности, прорыв NVIDIA позволяет им обслуживать больше пользователей быстрее, пишет Interesting Engineering
В издании отмечают, что основная проблема больших моделей искусственного интеллекта заключается не только в их размере. Трудности также возникают, когда ИИ пытается генерировать новый контент, используя огромные запасы предыдущих входных данных, которые называются "контекстом".
Каждое слово, которое генерирует ИИ, требует сканирования предыдущих токенов, хранящихся в так называемом KV-кэше. Считывание этого кэша снова и снова нагружает пропускную способность памяти графического процессора.
Ранее разработчики использовали тензорный параллелизм (TP) для распределения этой нагрузки между графическими процессорами. Однако это помогает лишь до определенного момента, после которого графические процессоры начинают дублировать тензорный кэш, еще больше перегружая память.
Helix Parallelism решает эту проблему, распределяя массивный KV-кэш между графическими процессорами с помощью нового метода, который называется KV Paralelism (KVP). Вместо того чтобы каждый графический процессор считывал всю историю токенов, каждый обрабатывает только ее часть. Это позволяет избежать дублирования и обеспечивает эффективный доступ к памяти.
Моделирование с использованием DeepSeek-R1 671B показало, что Helix может обслуживать до 32 раз больше пользователей с той же задержкой по сравнению со старыми методами. Кроме того, технология сокращает время ожидания ответа.
Даже когда контексты ИИ достигают миллионов слов, технология поддерживает баланс использования памяти и стабильную пропускную способность. Это означает, что различные боты с искусственным интеллектом теперь могут выдерживать огромные нагрузки, оставаясь быстрыми.
Напомним, исследователи из Helmholtz Munich создали передовую систему ИИ под названием Centaur, способную с удивительной точностью имитировать принятие решений человеком.
Фокус также писал о том, что ряд пользователей чат-бота ChatGPT от OpenAI заметили в списке доступных инструментов новую функцию Study Together.