Benchmarking av Qualcomm Snapdragon 8 Gen 1: Ytelsesforventninger fra 2022s flaggskip

Bare forrige uke kom det nye Qualcomm Snapdragon 8 Gen 1 på selskapets teknologitoppmøte på Hawaii. Qualcomms siste brikkesett pakker en hel rekke store forbedringer over hele linja, noe som gjør dette til en av de mest spennende Qualcomm-enhetene på lenge. Mens selskapet var nølende med å gi dyptgående tekniske detaljer i noen aspekter (inkludert neglisjering for å nevne et Adreno- eller Kryo-versjonsnavn), var vi fortsatt i stand til å kjøre en rekke populære benchmarks på Snapdragon 8 Gen 1 referanseenhet. Disse referansene er med på å sette grunnlaget for ytelsesforventninger for kommende flaggskip i 2022, og gir oss en ting til å se frem til neste år.

På Snapdragon 8 Gen 1-referanseenheten kjørte vi én helhetlig benchmark (AnTuTu), en CPU-sentrisk benchmark (Geekbench), en GPU-sentrisk benchmark (GFXBench) og MLPerf benchmarks. Hver benchmark ble kjørt tre ganger, og vi tok gjennomsnittet av de tre resultatene. Qualcomm hadde aktivert et "UI Perf Mode"-alternativ som standard som vi deaktiverte, da det effektivt prøver å tvinge benchmarking-appene for å kjøre på Prime-kjerner for å oppnå en litt høyere poengsum i visse benchmarks. Det er også verdt å merke seg at når vi får tak i en kommersiell enhet med Qualcomm Snapdragon 8 Gen 1, vil vi kjøre disse referansene på nytt.

Hvis du er interessert i å lese opp alle spesifikasjonene og funksjonene til Qualcomm Snapdragon 8 Gen 1-mobilen plattform som selskapet har gjort tilgjengelig så langt, så anbefaler jeg å lese vår forklaring på Qualcomm Snapdragon 8 Gen 1. For rask referanse har jeg satt sammen et diagram som sammenligner nøkkelspesifikasjonene til Qualcomm Snapdragon 8 Gen 1 referanseenhet sammenlignet med de to andre referanseenhetene som brukes i denne sammenligningen. Du finner det diagrammet nedenfor foran referanseresultatene.

Qualcomm ga oss et sett med forventede referansescore basert på deres egen testing. Vi brukte dette kun for referanse, og en tabell er tilgjengelig nederst i denne artikkelen som inneholder referanseskårene som Qualcomm forventet at referanseenheten skulle oppnå.

Om denne artikkelen: Qualcomm sponset min kollega, Rich Woods, for å delta på Snapdragon Tech Summit i Kona, Hawaii. Selskapet betalte flyet og hotellet hans. Qualcomm hadde imidlertid ingen innspill angående innholdet i denne artikkelen.

Qualcomm Snapdragon 8 Gen 1 benchmark-resultater

Testenhetsspesifikasjoner

Oversikt over benchmarkene. Klikk for å utvide.

Oversikt over benchmarks

• AnTuTu: Dette er en helhetlig benchmark. AnTuTu tester CPU-, GPU- og minneytelsen, mens den inkluderer både abstrakte tester og, som nylig, relaterte brukeropplevelsessimuleringer (for eksempel deltesten som involverer å bla gjennom en Listevisning). Den endelige poengsummen vektes i henhold til designerens betraktninger.
• GeekBench: En CPU-sentrisk test som bruker flere beregningsmessige arbeidsbelastninger, inkludert kryptering, komprimering (tekst og bilder), gjengivelse, fysikksimuleringer, datasyn, strålesporing, talegjenkjenning og konvolusjonell nevrale nettverksslutning på bilder. Poengfordelingen gir spesifikke beregninger. Den endelige poengsummen vektes i henhold til designerens betraktninger, og legger stor vekt på heltallsytelse (65 %), deretter flytende ytelse (30 %) og til slutt kryptografi (5 %).
• GFXBench: Tar sikte på å simulere videospillgrafikkgjengivelse ved hjelp av de nyeste API-ene. Massevis av effekter på skjermen og høykvalitets teksturer. Nyere tester bruker Vulkan mens eldre tester bruker OpenGL ES 3.1. Utgangene er rammer under test og bilder per sekund (det andre tallet delt på testlengden, egentlig), i stedet for en vektet score.
  • Aztekiske ruiner: Disse testene er de mest beregningstunge som tilbys av GFXBench. For øyeblikket kan ikke de beste mobile brikkesettene opprettholde 30 bilder per sekund. Spesielt tilbyr testen veldig høy polygonantallsgeometri, maskinvaretesselasjon, høyoppløselige teksturer, global belysning og rikelig med skyggekartlegging, rikelige partikkeleffekter, samt oppblomstring og dybdeskarphet effekter. De fleste av disse teknikkene vil understreke prosessorens skyggeberegningsevne.
  • Manhattan ES 3.0/3.1: Denne testen er fortsatt relevant gitt at moderne spill allerede har kommet frem til den foreslåtte grafiske troskapen og implementerer de samme typene teknikker. Den har kompleks geometri som bruker flere gjengivelsesmål, refleksjoner (kubikkkart), maskegjengivelse, mange utsatte lyskilder, samt oppblomstring og dybdeskarphet i et etterbehandlingspass.
• MLPerf Mobile: MLPerf Mobile er en åpen kildekode-benchmark for testing av mobil AI-ytelse. Det var opprettet av MLCommons, et non-profit, åpent ingeniørkonsortium, for å "levere åpenhet og like konkurransevilkår for å sammenligne ML-systemer, programvare og løsninger." MLPerf Mobiles første iterasjon gir en referanseytelse for en håndfull datasyn og naturlig språk behandle oppgaver. For mer informasjon, se papiret "MLPerf Mobile Inference Benchmark: Hvorfor Mobile AI Benchmarking er vanskelig og hva du skal gjøre med det.”
  • Bildeklassifisering: Denne testen innebærer å utlede en etikett som skal brukes på et inndatabilde. Typiske brukstilfeller inkluderer bildesøk eller tekstutvinning. Referansemodellen som brukes er MobileNetEdgeTPU med 4M parametere, datasettet er ImageNet 2012 (224×224), og kvalitetsmålet er 98 % av FP32 (76,19 % Topp-1).
  • Bildesegmentering: Denne testen involverer partisjonering av et inngangsbilde i merkede objekter. Typiske brukstilfeller inkluderer selvkjøring eller fjernmåling. Referansemodellen som brukes er DeepLab v3+ med 2M parametere, datasettet er ADE20K (512×512), og kvalitetsmålet er 93 % av FP32 (0,244 mAP).
  • Objektgjenkjenning: Denne testen innebærer å tegne avgrensingsbokser rundt objekter, samt å gi en etikett for disse objektene. Typiske brukstilfeller involverer kamerainngang, for eksempel for å oppdage fare eller trafikkanalyse mens du kjører. Referansemodellen er SSD-MobileNet v2 med 17M parametere, datasettet er COCO 2017 (300×300), og kvalitetsmålet er 97 % av FP32 (54,8 % mIoU).
  • Språkbehandling: Denne testen innebærer å svare på spørsmål i daglig tale. Typiske brukstilfeller inkluderer søkemotorer på nettet. Referansemodellen er MobileBERT med 25M parametere, datasettet er mini Squad (Stanford Question Answering Dataset) v1.1 dev, og kvalitetsmålet er 93 % av FP32 (93,98 % F1).

Les mer

---

Benchmark resultater

AnTuTu

Fra og med AnTuTu kan vi se at Qualcomm Snapdragon 8 Gen 1-referanseenheten scoret betydelig høyere enn tidligere år, med en stor år-til-år økning på omtrent 240 000 poeng. Dette er en ganske stor forbedring på omtrent 33 %, godt over Qualcomms løfter om 20 % hastighetsforbedring. Dette er bare én test, men AnTuTu er et flott verktøy for å sammenligne rå beregningsevne mellom enheter, selv om ikke alt oversettes til bruk i den virkelige verden.

Geekbench

I Geekbench 5.0 er det imidlertid en helt annen historie. Snapdragon 8 Gen 1 viser liten eller ingen gevinst i forhold til Snapdragon 888-referanseenheten fra sist, og faktisk går den tilbake i ytelse når det kommer til multi-core. Det er ikke som om vi fikk en dud heller - Qualcomm ga oss en informasjonsside med referansepoeng å forvente fra Snapdragon 8 Gen 1, og disse faller i tråd med det som bør forventes. Faktisk var enkeltkjerneytelsen høyere enn de øvre grensene som Qualcomm ga oss, mens multikjerneytelsen var 20 poeng under de nedre grensene for hva vi kan forvente.

Når det er sagt, tror jeg det er klart at uansett hva testen er, er det ikke testing der Qualcomm har gjort forbedringer. Våre andre tester viser store forbedringer i forhold til tidligere års brikkesett.

GFXBench

Qualcomm har ikke avslørt mye om den nye Adreno GPU i Snapdragon 8 Gen 1, så vi har lite å si om GPUen annet enn dens gevinster i ytelse. Vi vet ikke kjernetallet, vi vet ikke frekvensen, og vi har ikke engang et versjonsnummer. I GFXBenchs Manhattan-test, som bruker OpenGL ES 3.0 API og gjengir en 1080p-scene utenfor skjermen, hadde Snapdragon 8 Gen 1 en gjennomsnittlig framerate på 221fps, omtrent 31% og 75% høyere enn bildehastighetene oppnådd av Snapdragon 888 og 865 hhv. I GFXBenchs Aztec Ruins-test, som bruker Vulkan graphics API og gjengir en 1080p-scene utenfor skjermen, hadde Snapdragon 8 Gen 1 en gjennomsnittlig framerate på 41fps. Det er imidlertid en advarsel til dette; de tidligere resultatene på referanseenheter ble testet i 1080p, mens den eneste Aztec Ruins-testen vi hadde tilgang til var i 1440p. Å øke til 1080p krever at 43,75 % flere piksler gjengis om gangen, og det er grunnen til at ytelsen ble redusert i denne testen.

Bare noen av de aller beste Android-spill krever mye GPU-hestekrefter, men forbedret GPU-ytelse er nyttig for mer enn bare spill. Når det er sagt, er spill definitivt den største grunnen til at folk vil bry seg om disse referanseresultatene, og Snapdragon 8 Gen 1 ser ut til å levere med sin 35 % raskere grafikkgjengivelse og 20 % bedre strømeffektivitet året etter år. Disse resultatene viser imidlertid bare den høyeste GPU-ytelsen, så vi må se GFXBench på nytt - når vi først får tak i kommersiell maskinvare – for å kunne kjøre benchmarkens langsiktige ytelse tester.

MLPerf

Qualcomm har vært spesielt opptatt av detaljer når det kommer til forbedringer av kunstig intelligens. Vi har ingen tall for TOPS (Trillion Operations Per Second), selv om vi har noe informasjon om andre forbedringer. Det er for eksempel tredje generasjon av selskapets sensorhub, og den demonstrerte også en rekke andre SoC-spesifikke funksjoner på Hawaii.

Det er imidlertid vanskelig for oss å demonstrere hvor betydelig dette spranget i ytelse faktisk er. Vi har snakket i dybden om vanskelighetene med AI-benchmarking under intervjuene våre med Qualcomms Travis Lanier, Gary Brotman og Ziad Asghar. Den gode nyheten er at siden diskusjonene våre med Qualcomm-ledere har det vært betydelige fremskritt innen AI-benchmarks.

De mest lovende referansene som er tilgjengelige for øyeblikket kommer i form av MLPerf Mobile, som er en åpen kildekode mobil AI-benchmark støttet av flere SoC-leverandører, ML-rammeverkleverandører og modell produsenter. Den første gruppen med mobile slutningsresultater er offentlig, så vi brukte disse resultatene til å sammenligne Snapdragon 8 Gen 1 med Snapdragon 888 i Xiaomi Mix 4, Dimensity 1100 i Vivo S9 5G og Exynos 2100 i Samsung Galaxy S21 Plus. Vi fikk ikke latensresultater - bare gjennomstrømningstall - så vi plottet ikke de fullstendige resultatene som ble sendt inn av leverandørene for verifisering av MLCommons.

I disse utvalgte datasyn og naturlig språkbehandling kan vi se at Qualcomm Snapdragon 8 Gen 1-referanseenheten oppnådde de høyeste poengsummene i alle fire testene av langt. Demensity 1100 klarte seg totalt sett ganske dårlig. Qualcomms Snapdragon 888 slår fortsatt de andre komfortabelt i denne testen, men Snapdragon 8 Gen 1 er på et annet nivå i alle disse testene.

Det vil være interessant å se hvilke applikasjoner og funksjoner utviklere og OEM-er kan lage ved å bruke AI-evnen til Snapdragon 8 Gen 1. Datasyn vil spille en spesielt viktig rolle i de mange AI-forbedrede video-funksjonene vi kommer til å ha trolig se i 2022, mens forbedret NLP-ytelse på samme måte kan påvirke videoaspekter som lyd innspilling. Selskaper som Google jobber med Google Tensor vil også presse andre SoC-leverandører i denne avdelingen.

Konklusjon

Tabellen som Qualcomm ga oss forventede referansescore er nedenfor, som du kan se faller stort sett i tråd med resultatene vi oppnådde ovenfor.

Forventet referansescore for Snapdragon 8 Gen 1 referansedesign (fra Qualcomm)

Benchmark	Versjon	Metode	Forventet resultatområde
System	Geekbench ST	v5.4.2	Gjennomsnitt av 3 iterasjoner	~1220 - 1233
System	Geekbench MT	v5.4.2	Gjennomsnitt av 3 iterasjoner	~3770 - 3810
System	AnTuTu	v9.2.1	Gjennomsnitt av 3 iterasjoner	1. kjøring: ~1mAvg av 3 iterasjoner: ~980K
System	PCMark	v3.0.4061	Gjennomsnitt av 3 iterasjoner	~17k
Nettleser (Chrome v95.0.4638.74 64-bit)	JetStream	v2.0	Gjennomsnitt av 3 iterasjoner	~135 - 140
Nettleser	Speedometer	v2.0	Gjennomsnitt av 3 iterasjoner	~123 - 126
Nettleser	WebXPRT	v3.0	Gjennomsnitt av 3 iterasjoner	~194 - 197
AI	AITuTu	v2.0	Gjennomsnitt av 3 iterasjoner	~2,550,000 - 2,600,000
AI	AIMark	v3.0	Gjennomsnitt av 3 iterasjoner	~97K
AI	MLPerf (på en egen QRD siden det tar 30 minutter å kjøre)	v1.1	Gjennomsnitt av 3 iterasjoner	Bildeklasse: ~2435 - 2450 Objektdeteksjon: ~1180 - 1250 Bildesegment: ~520 - 540 Språkforståelse: ~38 - 40 Bildeklasse (frakoblet): ~3580 - 3650
AI	ETH AIB	v4.0.4	Gjennomsnitt av 3 iterasjoner	~530–550k
Grafikk	GFXBench Manhattan 3.0 Offscreen (1080p) (FPS)	v5.0	Gjennomsnitt av 3 iterasjoner	~267 - 268 FPS
Grafikk	GFXBench T-Rex - Offscreen (1080p) (FPS)	v5.0	Gjennomsnitt av 3 iterasjoner	~450 - 452 FPS
Grafikk	GFXBench Manhattan 3.1 Offscreen (1080p) (FPS)	v5.0	Gjennomsnitt av 3 iterasjoner	~176 FPS
Grafikk	GFXBench Car Chase Offscreen (1080p) ES3.1 (FPS)	v5.0	Gjennomsnitt av 3 iterasjoner	~97 - 98 FPS
Grafikk	GFXBench Aztec Ruins Vulkan (High Tier) Offscreen (1440p) (FPS)	v5.0	Gjennomsnitt av 3 iterasjoner	~49 FPS
Grafikk	GFXBench Aztec Ruins OpenGL (High Tier) Offscreen (1440p) (FPS)	v5.0	Gjennomsnitt av 3 iterasjoner	~43 FPS

Les mer

Snapdragon 8 Gen 1 gir massevis av forbedringer i forhold til fjorårets brikkesett, spesielt når det kommer til AI. Selv om det definitivt er noe rart i de CPU-bundne resultatene fra Geekbench, er det klart at det er forbedringer over hele linjen. Hvis du oppgraderer fra en enhet som er to år eldre (eller eldre), vil forbedringene sannsynligvis være merkbare, selv om de enorme gevinstene i AI-ytelse sannsynligvis vil gå ubemerket hen av de fleste. Selskaper utnytter sjelden det fulle potensialet til AI når det kommer til Qualcomms brikkesett, og det er sannsynlig at det vil være det samme igjen her.

Det er også verdt å merke seg at når konkurransen øker, kan det være verdt å vente for å se hva Samsung og MediaTek gjør videre. De Dimensjon 9000 brikkesettet har potensiale til å ta Snapdragon 8 Gen 1 front mot front når det kommer til ytelse, og det er ikke mye vi faktisk vet om den kommende Exynos 2200 ennå. Jeg ser personlig frem til å se tilbake på disse referansene på en kommersiell enhet i fremtiden, spesielt i en mer kontrollert setting.