MLPerf 3.0-resultater er inne, og det er noen interessante bransjetrender.
Maskinlæring og kunstig intelligens er en bransje i rask endring med konstant innovasjon hver dag. Det er derfor det er viktig å kunne sammenligne egenskapene til enheter, og derfor er det også viktig at det er en kropp eller flere instanser som hjelper til med å lede veksten i sektoren. Med MLPerf Inference v3.0 har MLCommons-gruppen som mål å doble filosofien om å tilby en rettferdig og streng testing av maskinlæringsevnene til enheter samtidig som de gir verifiserbare og reproduserbare resultater. Resultatene er nå inne, og fra en enda større liste over leverandører fra tidligere år.
"Inferens" i maskinlæring refererer til det faktiske resultatet fra en trent algoritme, hvor modellen så kan identifisere hva den er trent til å gjenkjenne. Vi ser slutninger brukt i alle slags samfunnslag, inkludert selvkjørende biler, søkeforslag på Google og til og med AI chatbots som ChatGPT, Bing Chat eller Google Bard. MLPerf v3.0 kan teste følgende oppgaver:
Oppgave |
Virkelige applikasjoner |
Anbefaling |
Innhold eller shoppinganbefalinger som søk, sosiale medier eller annonser |
Talegjenkjenning |
Tale-til-tekst på smarttelefoner, håndfri førerassistanse |
Natural Language Processing (NLP) |
Søk, oversettelse, chatbots |
Bildeklassifisering |
Bildemerking, generell visjon |
Objektdeteksjon |
Fotgjengergjenkjenning, gjenkjenning av produksjonsfeil, reduksjon av røde øyne |
3D segmentering |
Medisinsk bildeanalyse (f.eks. tumoridentifikasjon) |
Det er over 5300 ytelsesresultater og mer enn 2400 effektmålingsresultater i resultatdatabasen for MLPerf v3.0. Spesielt trender som ble identifisert inkluderer mange nye maskinvaresystemer som brukes med økt ytelse i datasenterkomponenter på rundt 30 % i enkelte benchmarks. I tillegg ga mange flere innsendere resultater knyttet til strømeffektivitet, og det var en tre ganger økning i interessen for å slutte nettverket.
Nvidia, som har vært en bærebjelke i MLPerf-innleveringer i en årrekke, sendte inn de første resultatene for sin DGX H100 og sin første innsending for sin L4 Tensor Core GPU. DGX H100 ga opptil 54 % mer ytelse per akselerator sammenlignet med de første H100-innleveringene, og L4 ga opptil tre ganger ytelsen til siste generasjons T4.
Andre selskaper som sendte inn resultater inkluderer Qualcomm, som selskapet sier at "alle benchmarks viser en økning i ytelse og strømeffektivitet for NLP og datamaskin Visjonsnettverk." Selskapet beskrev også hvordan Qualcomm Cloud AI 100 siden den første MLPerf 1.0-innleveringen har blitt forbedret med opptil 86 % i ytelse og 52 % i kraft effektivitet. Andre bemerkelsesverdige leverandører som sendte inn resultater inkluderer Intel, HPE, Gigabyte, Asus og Dell.