MLPerf 3.0 resultater er i, og der er nogle interessante branchetrends.
Maskinlæring og kunstig intelligens er en branche i hurtig forandring med konstant innovation hver dag. Det er derfor, at det er vigtigt at kunne sammenligne enheders muligheder, og derfor er det også vigtigt, at der er en krop eller flere organer, der hjælper med at styre væksten i sektoren. Med MLPerf Inference v3.0 sigter MLCommons-gruppen på at fordoble filosofien om at levere en fair og streng test af enheders maskinindlæringsevner, samtidig med at de er verificerbare og reproducerbare resultater. Resultaterne er nu i, og fra en endnu større liste af leverandører fra tidligere år.
"Inferens" i maskinlæring refererer til den faktiske frembringelse af resultater fra en trænet algoritme, hvor modellen så kan identificere, hvad den er blevet trænet til at genkende. Vi ser konklusioner bruges i alle slags samfundslag, inklusive selvkørende biler, søgeforslag på Google og endda AI-chatbots som f.eks. ChatGPT, Bing Chat eller Google Bard. MLPerf v3.0 kan teste følgende opgaver:
Opgave |
Ansøgninger fra den virkelige verden |
Henstilling |
Indhold eller shoppinganbefalinger såsom søgning, sociale medier eller annoncer |
Tale genkendelse |
Tale-til-tekst på smartphones, håndfri førerassistance |
Natural Language Processing (NLP) |
Søgning, oversættelse, chatbots |
Billedklassificering |
Billedmærkning, generel vision |
Objektdetektion |
Fodgængerdetektering, registrering af fabrikationsfejl, reduktion af røde øjne |
3D segmentering |
Medicinsk billedanalyse (f.eks. tumoridentifikation) |
Der er over 5.300 resultater og mere end 2.400 effektmålingsresultater i resultatdatabasen for MLPerf v3.0. Især trends der blev identificeret omfatter en masse nye hardwaresystemer, der bliver brugt med øget ydeevne i datacenterkomponenter på omkring 30 % i nogle benchmarks. Ligeledes gav mange flere indsendere resultater vedrørende strømeffektivitet, og der var en tredobbelt stigning i interessen for at konkludere netværket.
Nvidia, som har været en grundpille i MLPerf-indsendelser i en årrække, indsendte de første resultater for sin DGX H100 og sin første indsendelse for sin L4 Tensor Core GPU. DGX H100 tilbød op til 54 % mere ydeevne pr. accelerator sammenlignet med dens første H100-indleveringer, og L4 gav op til tre gange så god ydeevne som sidste generations T4.
Andre virksomheder, der indsendte resultater, inkluderer Qualcomm, som virksomheden siger, at "alle benchmarks viser en stigning i ydeevne og strømeffektivitet for NLP og computer Vision-netværk." Virksomheden beskrev også, hvordan Qualcomm Cloud AI 100 siden sin første MLPerf 1.0-indsendelse er blevet forbedret med op til 86 % i ydeevne og 52 % i kraft effektivitet. Andre bemærkelsesværdige leverandører, der indsendte resultater, omfatter Intel, HPE, Gigabyte, Asus og Dell.