Не хватает мощностей. Развитие глубокого обучения приблизилось к своему пределу

Ученые выяснили, что глубокое обучение приближается к своим вычислительным пределам. Об этом сообщает VentureBeat.

Исследование провели эксперты из Массачусетского технологического института, Международного колледжа Андервуда и Университета Бразилиа. Они обнаружили, что прогресс в области глубокого обучения "сильно зависит" от увеличения числа вычислительной техники. Ученые говорят, что для дальнейшего развития глубокого обучения понадобятся более эффективные алгоритмы, либо методом изменения существующих, или же с помощью еще не созданных.

Глубокое обучение – это набор алгоритмов машинного обучения, которые моделируют абстракции высокого уровня в данных с использованием архитектур, состоящих из нескольких нелинейных преобразований.

Для того, чтобы понять связь между эффективностью глубокого обучения и вычислительной техникой, было проанализировано 1058 научных публикаций. Особое внимание уделялось таким областям, как классификация изображений, обнаружение объектов, ответы на вопросы, распознавание именованных объектов и машинный перевод.

Ученые пришли к выводу, что три года улучшения алгоритмов эквивалентны увеличению вычислительных мощностей в 10 раз.

"В совокупности наши результаты показывают, что во многих областях машинного обучения прогресс моделирования обучения зависел от значительного увеличения объема используемой вычислительной мощности", – пишут авторы исследования.

Ученые также смогли выяснить вычислительную мощность, необходимую для достижения различных теоретических ориентиров, а также связанные с этим экономические и экологические издержки. Согласно самым оптимистичным расчетам, для снижения частоты ошибок в классификации изображений в ImageNet потребуется еще 105 экземпляров вычислительной техники.

Две недели усовершенствования модели обнаружения фейковых новостей Университета Вашингтона обойдется в 25 тыс. долларов. А OpenAI потратил 12 млн долларов на обучение своей языковой модели GPT-3. Также Google потратил около 6 912 долларов на методику предварительного обучения НЛП (нейролингвистическое программирование).

В отдельном отчете говорится, что количество энергии, необходимое для обучения и поиска определенной модели, включает выбросы примерно 283 тонн углекислого газа. Это примерно в пять раз превышает выбросы за средний срок службы автомобиля.

При этом, ученые пришли к выводу, что даже при значительном увеличении вычислительных мощностей точность современных моделей возрастает незначительно, а со временем даже снижается. Например, производительность модели классификации изображений в ImageNet снижалась в 2 раза каждые 16 месяцев с 2012 года.