Исследовательская лаборатория Google DeepMind опубликовала результаты нового исследования по обучению искусственного интеллекта. В этом отчете представлен новый метод обучения JEST (Joint Example Selection), который в 13 раз быстрее и в 10 раз энергоэффективнее обычных методов обучения ИИ.
Типичные методы обучения фокусируются на отдельных точках данных для обучения, JEST обучается на основе целых пакетов данных. Метод JEST сначала создает меньшую модель ИИ, которая будет оценивать качество данных из высококачественных источников, ранжируя пакеты по качеству. Затем он сравнивает эту оценку с крупным набором более низкого качества. Малая модель JEST определяет пакеты, подходящие для обучения, а затем на основе результатов меньшей модели обучается большая модель.
Этот метод превосходит все современные модели обучения по эффективности и требует в 10 раз меньше энергозатрат. Это очень актуально на фоне серьезного роста энергопотребления у современных вычислительных центров. Но есть нюанс. JEST полагается на высокое качество отобранных входных данных и определенную сортировку, произведенную человеком. Поэтому метод очень чувствителен к точности исходной информации. Это может потребовать привлечения специалистов и экспертов высокого уровня на начальном этапе, что усложняет задачу для простых разработчиков и любителей.
Пока не известно, возьмут ли на вооружение новый метод разработчики крупных ИИ. Но на фоне роста финансовых затрат, которые связаны с обучением передовых моделей ИИ, поиск вариантов для оптимизации и экономии ресурсов является вполне логичным. По итогам 2023 года общее энергопотребление вычислительных центров ИИ превысило 4,3 ГВт, что сопоставимо энергопотреблением Кипра. И согласно прогнозам в ближайшие пару лет оно превысит 13 ГВт.
Источник:
Tom's Hardware