De resultaten van MLPerf 3.0 zijn binnen en er zijn enkele interessante trends in de sector.
Machine learning en kunstmatige intelligentie zijn een snel veranderende industrie waarin elke dag voortdurende innovatie plaatsvindt. Daarom is het belangrijk om de mogelijkheden van apparaten te kunnen vergelijken en is het ook belangrijk dat er een of meerdere instanties zijn die de groei van de sector helpen begeleiden. Met MLPerf Inference v3.0 wil de MLCommons-groep de filosofie van het bieden van een eerlijke en rigoureuze tests van de machinale leermogelijkheden van apparaten, terwijl ze verifieerbaar en reproduceerbaar zijn resultaten. De resultaten zijn nu binnen, en van een nog grotere lijst met leveranciers van voorgaande jaren.
"Inferentie" bij machinaal leren verwijst naar het feitelijk opleveren van resultaten uit een getraind algoritme, waarbij het model vervolgens kan identificeren waarvoor het is getraind om te herkennen. We zien dat gevolgtrekkingen in allerlei lagen van de bevolking worden gebruikt, waaronder zelfrijdende auto's, zoeksuggesties op Google en zelfs AI-chatbots zoals
Taak |
Toepassingen uit de echte wereld |
Aanbeveling |
Content- of winkelaanbevelingen zoals zoeken, sociale media of advertenties |
Spraakherkenning |
Spraak-naar-tekst op smartphones, handsfree rijhulp |
Natuurlijke taalverwerking (NLP) |
Zoeken, vertalen, chatbots |
Beeldclassificatie |
Afbeeldingslabeling, algemeen zicht |
Objectdetectie |
Voetgangersdetectie, detectie van fabricagefouten, rode-ogenreductie |
3D-segmentatie |
Medische beeldanalyse (bijvoorbeeld tumoridentificatie) |
Er zijn meer dan 5.300 prestatieresultaten en meer dan 2.400 vermogensmeetresultaten in de resultatendatabase voor MLPerf v3.0. In het bijzonder trends die werden geïdentificeerd omvatten veel nieuwe hardwaresystemen die worden gebruikt met verbeterde prestaties in datacentercomponenten van in sommige gevallen ongeveer 30% benchmarks. Bovendien gaven veel meer indieners resultaten met betrekking tot energie-efficiëntie, en was er een drie keer zo grote belangstelling voor het afleiden van het netwerk.
Nvidia, dat al een aantal jaren een steunpilaar is van MLPerf-inzendingen, heeft de eerste resultaten ingediend voor zijn DGX H100 en de eerste inzending voor zijn L4 Tensor Core GPU. De DGX H100 bood tot 54% meer prestaties per gaspedaal vergeleken met de eerste H100-inzendingen, en de L4 leverde tot driemaal de prestaties van de laatste generatie T4.
Andere bedrijven die resultaten hebben ingediend, zijn onder meer Qualcomm, waarvan het bedrijf zegt dat "alle benchmarks een toename in prestaties en energie-efficiëntie laten zien voor NLP en computer Vision-netwerken." Het bedrijf legde ook uit hoe Qualcomm Cloud AI 100 sinds de eerste MLPerf 1.0-inzending tot 86% is verbeterd qua prestaties en 52% qua vermogen efficiëntie. Andere opmerkelijke leveranciers die resultaten hebben ingediend, zijn onder meer Intel, HPE, Gigabyte, Asus en Dell.