Результати MLPerf Inference v3.0 показують основні галузеві тенденції щодо підвищення продуктивності

Результати MLPerf 3.0 є, і є деякі цікаві галузеві тенденції.

Машинне навчання та штучний інтелект – це галузь, яка швидко змінюється, і щодня впроваджуються інновації. Ось чому можливість порівнювати можливості пристроїв є важливою, і чому також важливо, щоб існував орган або кілька органів, які допомагають спрямовувати розвиток сектора. З MLPerf Inference v3.0 група MLCommons прагне подвоїти філософію забезпечення справедливого та суворе тестування можливостей машинного навчання пристроїв, забезпечуючи можливість перевірки та відтворення результати. Результати вже є, і з ще більшого списку постачальників за попередні роки.

«Висновок» у машинному навчанні означає фактичне отримання результатів від навченого алгоритму, де модель потім може ідентифікувати те, що її навчили розпізнавати. Ми бачимо, як висновок використовується в усіх сферах життя, включно з безпілотними автомобілями, пошуковими пропозиціями в Google і навіть чат-ботами зі штучним інтелектом, як ChatGPT, Bing Chat або Google Bard. MLPerf v3.0 може тестувати такі завдання:

завдання

Реальні програми

Рекомендація

Вміст або рекомендації щодо покупок, як-от пошук, соціальні мережі чи реклама

Розпізнавання мови

Перетворення мови в текст на смартфонах, допомога водієві без використання рук

Обробка природної мови (NLP)

Пошук, переклад, чат-боти

Класифікація зображень

Маркування зображення, загальне бачення

Виявлення об'єктів

Виявлення пішоходів, виявлення виробничих дефектів, зменшення ефекту червоних очей

3D сегментація

Аналіз медичного зображення (наприклад, ідентифікація пухлини)

У базі даних результатів для MLPerf v3.0 є понад 5300 результатів продуктивності та більше 2400 результатів вимірювання потужності. Зокрема, тренди які були ідентифіковані, включають багато нових апаратних систем, що використовуються з підвищеною продуктивністю в компонентах центру обробки даних приблизно на 30% у деяких контрольні показники. Крім того, значно більше заявників дали результати, пов’язані з енергоефективністю, і спостерігалося триразове збільшення інтересу до висновків мережі.

Nvidia, яка протягом кількох років була основою надсилання заявок на MLPerf, представила перші результати для свого DGX H100 і першу заявку для графічного процесора L4 Tensor Core. DGX H100 запропонував до 54% ​​більшу продуктивність на прискорювач порівняно з першим H100, а L4 дав у три рази більшу продуктивність, ніж T4 останнього покоління.

Інші компанії, які надали результати, включають Qualcomm, яка, за словами компанії, «всі тести демонструють підвищення продуктивності та енергоефективності для NLP і Computer». Vision networks." Компанія також детально розповіла, як з моменту першої публікації MLPerf 1.0 продуктивність Qualcomm Cloud AI 100 була покращена на 86% і потужність на 52%. ефективність. Інші відомі постачальники, які подали результати, включають Intel, HPE, Gigabyte, Asus і Dell.