Benchmarking af Qualcomm Snapdragon 8 Gen 1: Ydeevneforventninger fra 2022's flagskibe

I sidste uge kom det nye Qualcomm Snapdragon 8 Gen 1 på virksomhedens tech-topmøde på Hawaii. Qualcomms seneste chipset indeholder en lang række store forbedringer over hele linjen, hvilket gør dette til en af ​​de mest spændende Qualcomm-enheder i lang tid. Mens virksomheden var tøvende med at give dybdegående tekniske detaljer i nogle aspekter (herunder forsømmelse for at nævne et Adreno- eller Kryo-versionsnavn), var vi stadig i stand til at køre en række populære benchmarks på Snapdragon 8 Gen 1 referenceenhed. Disse benchmarks hjælper med at sætte basislinjen for præstationsforventninger for kommende flagskibe i 2022, hvilket giver os endnu en ting at se frem til næste år.

På Snapdragon 8 Gen 1 referenceenheden kørte vi ét holistisk benchmark (AnTuTu), et CPU-centreret benchmark (Geekbench), et GPU-centreret benchmark (GFXBench) og MLPerf benchmarks. Hvert benchmark blev kørt tre gange, og vi tog gennemsnittet af de tre resultater. Qualcomm havde aktiveret en "UI Perf Mode"-indstilling som standard, som vi deaktiverede, da den effektivt forsøger at tvinge benchmarking-apps til at køre på Prime-kerner for at opnå en lidt højere score i visse benchmarks. Det er også værd at bemærke, at når vi får fingrene i en kommerciel enhed med Qualcomm Snapdragon 8 Gen 1, vil vi køre disse benchmarks igen.

Hvis du er interesseret i at læse op på alle specifikationer og funktioner i Qualcomm Snapdragon 8 Gen 1-mobilen platform, som virksomheden har gjort tilgængelig indtil videre, så anbefaler jeg at læse vores forklaring på Qualcomm Snapdragon 8 Gen 1. For hurtig reference har jeg sammensat et diagram, der sammenligner de vigtigste specifikationer for Qualcomm Snapdragon 8 Gen 1 referenceenhed sammenlignet med de to andre referenceenheder, der bruges i denne benchmark-sammenligning. Du kan finde dette diagram nedenfor foran benchmarkresultaterne.

Qualcomm gav os et sæt forventede benchmarkscore baseret på deres egne tests. Vi brugte dette kun til reference, og en tabel er tilgængelig nederst i denne artikel, der indeholder de benchmarkscore, som Qualcomm forventede, at referenceenheden ville opnå.

Om denne artikel: Qualcomm sponsorerede min kollega, Rich Woods, for at deltage i Snapdragon Tech Summit i Kona, Hawaii. Selskabet betalte for hans fly og hotel. Qualcomm havde dog ikke noget input til indholdet af denne artikel.

Qualcomm Snapdragon 8 Gen 1 benchmark resultater

Testenhedsspecifikationer

Oversigt over benchmarks. Klik for at udvide.

Oversigt over benchmarks

• AnTuTu: Dette er et holistisk benchmark. AnTuTu tester CPU-, GPU- og hukommelsesydelsen, mens den inkluderer både abstrakte tests og for sent, relaterbare brugeroplevelsessimuleringer (for eksempel undertesten, der involverer at rulle gennem en Listevisning). Den endelige score vægtes efter designerens overvejelser.
• GeekBench: En CPU-centreret test, der bruger flere beregningsmæssige arbejdsbelastninger, herunder kryptering, komprimering (tekst og billeder), gengivelse, fysiksimuleringer, computersyn, strålesporing, talegenkendelse og konvolutionel neural netværksinferens på billeder. Resultatopdelingen giver specifikke målinger. Den endelige score vægtes i henhold til designerens overvejelser, idet der lægges stor vægt på heltals ydeevne (65 %), derefter flydende ydeevne (30 %) og til sidst kryptografi (5 %).
• GFXBench: Sigter mod at simulere gengivelse af videospilgrafik ved hjælp af de nyeste API'er. Masser af effekter på skærmen og højkvalitets teksturer. Nyere test bruger Vulkan, mens ældre test bruger OpenGL ES 3.1. Udgangene er rammer under test og billeder per sekund (det andet tal divideret med testlængden, i det væsentlige), i stedet for et vægtet score.
  • Aztekiske ruiner: Disse test er de mest beregningstunge, der tilbydes af GFXBench. I øjeblikket kan de bedste mobile chipsæt ikke opretholde 30 billeder i sekundet. Specifikt tilbyder testen virkelig høj polygonantal geometri, hardware tessellation, højopløselige teksturer, global belysning og masser af skyggekortlægning, rigelige partikeleffekter samt opblomstring og dybdeskarphed effekter. De fleste af disse teknikker vil understrege processorens shader-beregningskapacitet.
  • Manhattan ES 3.0/3.1: Denne test forbliver relevant, da moderne spil allerede er nået frem til dens foreslåede grafiske troskab og implementerer de samme slags teknikker. Den har kompleks geometri, der anvender flere gengivelsesmål, refleksioner (kubiske kort), mesh-gengivelse, mange udskudte lyskilder samt opblomstring og dybdeskarphed i et efterbehandlingspas.
• MLPerf mobil: MLPerf Mobile er et open source benchmark til test af mobil AI-ydeevne. Det var oprettet af MLCommons, et non-profit, åbent ingeniørkonsortium, for at "levere gennemsigtighed og lige vilkår for sammenligning af ML-systemer, software og løsninger." MLPerf Mobiles første iteration giver en inferens-ydeevne benchmark for en håndfuld computersyn og naturligt sprog bearbejdningsopgaver. For mere information henvises til papiret "MLPerf Mobile Inference Benchmark: Hvorfor Mobile AI Benchmarking er svært, og hvad man skal gøre ved det.”
  • Billedklassificering: Denne test involverer at udlede en etiket, der skal anvendes på et inputbillede. Typiske brugstilfælde omfatter fotosøgninger eller tekstudtræk. Den anvendte referencemodel er MobileNetEdgeTPU med 4M parametre, datasættet er ImageNet 2012 (224×224), og kvalitetsmålet er 98 % af FP32 (76,19 % Top-1).
  • Billedsegmentering: Denne test involverer opdeling af et inputbillede i mærkede objekter. Typiske anvendelsestilfælde omfatter selvkørende eller fjernmåling. Den anvendte referencemodel er DeepLab v3+ med 2M parametre, datasættet er ADE20K (512×512), og kvalitetsmålet er 93 % af FP32 (0,244 mAP).
  • Objektdetektion: Denne test involverer at tegne afgrænsningsfelter omkring objekter samt give en etiket til disse objekter. Typiske brugssager involverer kamera-input såsom til fareregistrering eller trafikanalyse under kørsel. Referencemodellen er SSD-MobileNet v2 med 17M parametre, datasættet er COCO 2017 (300×300), og kvalitetsmålet er 97% af FP32 (54,8% mIoU).
  • Sprogbehandling: Denne test involverer besvarelse af spørgsmål i daglig tale. Typiske anvendelsestilfælde omfatter online søgemaskiner. Referencemodellen er MobileBERT med 25M parametre, datasættet er mini Squad (Stanford Question Answering Dataset) v1.1 dev, og kvalitetsmålet er 93% af FP32 (93,98% F1).

Læs mere

---

Benchmark resultater

AnTuTu

Fra og med AnTuTu kan vi se, at Qualcomm Snapdragon 8 Gen 1-referenceenheden scorede væsentligt højere end tidligere år, med en stor år-til-år stigning på omkring 240.000 point. Dette er en ret stor forbedring på omkring 33 %, et godt stykke over Qualcomms løfter om en hastighedsforbedring på 20 %. Dette er kun én test, men AnTuTu er et fantastisk værktøj til at sammenligne rå beregningsevne mellem enheder, selvom ikke alt det oversættes til brug i den virkelige verden.

Geekbench

I Geekbench 5.0 er det dog en helt anden historie. Snapdragon 8 Gen 1 demonstrerer ringe eller ingen gevinst i forhold til Snapdragon 888-referenceenheden fra sidst, og faktisk går den endda tilbage i ydeevne, når det kommer til multi-core. Det er heller ikke som om, vi fik en dud - Qualcomm gav os en informationsside med benchmarkscore, som vi kan forvente fra Snapdragon 8 Gen 1, og disse falder i tråd med, hvad der kan forventes. Faktisk var single-core ydeevnen højere end de øvre grænser, som Qualcomm gav os, hvorimod multi-core ydeevnen var 20 point under de nedre grænser for, hvad man kunne forvente.

Når det er sagt, tror jeg, at det er klart, at uanset hvad testen er, så er det ikke en test, hvor Qualcomm har lavet forbedringer. Vores andre test viser store forbedringer i forhold til tidligere års chipsæt.

GFXBench

Qualcomm har ikke afsløret meget om den nye Adreno GPU i Snapdragon 8 Gen 1, så vi har lidt at sige om GPU'en udover dens gevinster i ydeevne. Vi kender ikke kerneantallet, vi kender ikke frekvensen, og vi har ikke engang et versionsnummer. I GFXBenchs Manhattan-test, som bruger OpenGL ES 3.0 API og gengiver en 1080p-scene uden for skærmen, havde Snapdragon 8 Gen 1 en gennemsnitlig billedhastighed på 221 fps, omkring 31 % og 75 % højere end billedhastighederne opnået af Snapdragon 888 og 865 henholdsvis. I GFXBenchs Aztec Ruins-test, som bruger Vulkan grafik API og gengiver en 1080p scene uden for skærmen, havde Snapdragon 8 Gen 1 en gennemsnitlig framerate på 41fps. Der er dog en advarsel til dette; de tidligere resultater på referenceenheder blev testet i 1080p, hvorimod den eneste Aztec Ruins test vi havde adgang til var i 1440p. Forøgelse til 1080p kræver, at 43,75 % flere pixels gengives ad gangen, hvorfor ydeevnen faldt i denne test.

Kun nogle af de meget bedste Android-spil kræver mange GPU-hestekræfter, men forbedret GPU-ydeevne er nyttig til mere end bare spil. Når det er sagt, er spil absolut den største grund til, at folk vil bekymre sig om disse benchmark-resultater, og Snapdragon 8 Gen 1 ser ud til at levere med sin 35 % hurtigere grafikgengivelse og 20 % bedre strømeffektivitet år efter år. Disse resultater viser dog kun den højeste GPU-ydeevne, så vi bliver nødt til at gense GFXBench - når vi får fingrene i kommerciel hardware - for at køre benchmarks langsigtede ydeevne tests.

MLPerf

Qualcomm har været særlig opmærksom på detaljerne, når det kommer til forbedringer af kunstig intelligens. Vi har ingen tal for TOPS (Trillion Operations Per Second), selvom vi har nogle oplysninger om andre forbedringer. Der er for eksempel den tredje generation af virksomhedens sensing-hub, og den demonstrerede også en række andre SoC-specifikke funktioner på Hawaii.

Det er imidlertid svært for os at påvise, hvor betydeligt dette spring i ydeevne faktisk er. Vi har talt indgående om vanskelighederne ved AI-benchmarking under vores interviews med Qualcomms Travis Lanier, Gary Brotman og Ziad Asghar. Den gode nyhed er, at der siden vores diskussioner med Qualcomm-chefer er sket betydelige fremskridt inden for AI-benchmarks.

De mest lovende benchmarks, der i øjeblikket er tilgængelige, kommer i form af MLPerf Mobile, som er en open source mobil AI-benchmark understøttet af flere SoC-leverandører, ML-rammeudbydere og model producenter. Dens indledende batch af mobile inferencing-resultater er offentlig, så vi brugte disse resultater til at sammenligne Snapdragon 8 Gen 1 med Snapdragon 888 i Xiaomi Mix 4, Dimensity 1100 i Vivo S9 5G og Exynos 2100 i Samsung Galaxy S21 Plus. Vi fik ikke latensresultater - kun gennemløbstal - så vi plottede ikke de fulde resultater som indsendt af leverandørerne til verifikation af MLCommons.

I disse udvalgte benchmarks for computersyn og naturlig sprogbehandling kan vi se at Qualcomm Snapdragon 8 Gen 1 referenceenheden opnåede de højeste score i alle fire tests ved langt. Demensity 1100 klarede sig generelt ret dårligt. Qualcomms Snapdragon 888 slog stadig de andre komfortabelt i denne test, men Snapdragon 8 Gen 1 er på et andet niveau i alle disse test.

Det bliver interessant at se, hvilke applikationer og funktioner udviklere og OEM'er kan skabe ved at bruge AI-evnen fra Snapdragon 8 Gen 1. Computer vision vil spille en særlig vigtig rolle i de mange AI-forbedrede videografifunktioner, vi vil sandsynligvis se i 2022, mens forbedret NLP-ydeevne ligeledes kan påvirke videoaspekter som lyd indspilning. Virksomheder som Google arbejder på Google Tensor vil også presse andre SoC-leverandører i denne afdeling.

Konklusion

Tabellen, som Qualcomm gav os forventede benchmark-scores, er nedenfor, som du kan se falder mest på linje med de resultater, vi opnåede ovenfor.

Forventede benchmarkscore for Snapdragon 8 Gen 1 referencedesign (fra Qualcomm)

Benchmark	Version	Metode	Forventet resultatområde
System	Geekbench ST	v5.4.2	Gennemsnit af 3 iterationer	~1220 - 1233
System	Geekbench MT	v5.4.2	Gennemsnit af 3 iterationer	~3770 - 3810
System	AnTuTu	v9.2.1	Gennemsnit af 3 iterationer	1. kørsel: ~1mGn. af 3 iterationer: ~980K
System	PCMark	v3.0.4061	Gennemsnit af 3 iterationer	~17k
Browser (Chrome v95.0.4638.74 64-bit)	Jetstrøm	v2.0	Gennemsnit af 3 iterationer	~135 - 140
Browser	Speedometer	v2.0	Gennemsnit af 3 iterationer	~123 - 126
Browser	WebXPRT	v3.0	Gennemsnit af 3 iterationer	~194 - 197
AI	AITuTu	v2.0	Gennemsnit af 3 iterationer	~2,550,000 - 2,600,000
AI	AIMark	v3.0	Gennemsnit af 3 iterationer	~97.000
AI	MLPerf (på en separat QRD, da det tager 30 minutter at køre)	v1.1	Gennemsnit af 3 iterationer	Billedklasse: ~2435 - 2450 Objektregistrering: ~1180 - 1250 Billedsegment: ~520 - 540 Sprogforståelse: ~38 - 40 Billedklasse (offline): ~3580 - 3650
AI	ETH AIB	v4.0.4	Gennemsnit af 3 iterationer	~530 - 550k
Grafik	GFXBench Manhattan 3.0 Offscreen (1080p) (FPS)	v5.0	Gennemsnit af 3 iterationer	~267 - 268 FPS
Grafik	GFXBench T-Rex - Offscreen (1080p) (FPS)	v5.0	Gennemsnit af 3 iterationer	~450 - 452 FPS
Grafik	GFXBench Manhattan 3.1 Offscreen (1080p) (FPS)	v5.0	Gennemsnit af 3 iterationer	~176 FPS
Grafik	GFXBench Car Chase Offscreen (1080p) ES3.1 (FPS)	v5.0	Gennemsnit af 3 iterationer	~97 - 98 FPS
Grafik	GFXBench Aztec Ruins Vulkan (High Tier) Offscreen (1440p) (FPS)	v5.0	Gennemsnit af 3 iterationer	~49 FPS
Grafik	GFXBench Aztec Ruins OpenGL (High Tier) Offscreen (1440p) (FPS)	v5.0	Gennemsnit af 3 iterationer	~43 FPS

Læs mere

Snapdragon 8 Gen 1 bringer et væld af forbedringer i forhold til sidste års chipsæt, især når det kommer til AI. Selvom der helt sikkert er noget mærkeligt i de CPU-bundne resultater fra Geekbench, er det klart, at der er forbedringer over hele linjen. Hvis du opgraderer fra en enhed, der er to år ældre (eller ældre), vil forbedringerne sandsynligvis være mærkbare, selvom de massive gevinster i AI-ydeevne sandsynligvis vil gå ubemærket hen af ​​de fleste. Virksomheder udnytter sjældent det fulde potentiale af AI, når det kommer til Qualcomms chipsæt, og det er sandsynligt, at det vil være det samme igen her.

Det er også værd at bemærke, at med konkurrencen, der spidser til, kan det være værd at vente og se, hvad Samsung og MediaTek gør næste gang. Det Størrelse 9000 chipset har potentialet til at tage Snapdragon 8 Gen 1 frontalt, når det kommer til ydeevne, og der er ikke meget, vi faktisk ved om den kommende Exynos 2200 endnu. Jeg ser personligt frem til at gense disse benchmarks på en kommerciel enhed i fremtiden, især i et mere kontrolleret miljø.