Benchmarking van de Qualcomm Snapdragon 8 Gen 1: prestatieverwachtingen van de vlaggenschepen van 2022

Vorige week zag de komst van het nieuwe Qualcomm Leeuwenbek 8 Gen 1 op de technische top van het bedrijf in Hawaï. De nieuwste chipset van Qualcomm bevat een hele reeks belangrijke verbeteringen over de hele linie, waardoor dit een van de meest opwindende Qualcomm-apparaten in lange tijd is. Hoewel het bedrijf aarzelde om in sommige aspecten diepgaande technische details te verstrekken (waaronder verwaarlozing om een ​​Adreno- of Kryo-versienaam te noemen), konden we nog steeds een scala aan populaire benchmarks uitvoeren op de Snapdragon 8 Gen 1-referentieapparaat. Deze benchmarks helpen bij het bepalen van de basis van prestatieverwachtingen voor aankomende vlaggenschepen in 2022, wat ons weer iets geeft om naar uit te kijken volgend jaar.

Op het Snapdragon 8 Gen 1-referentieapparaat hebben we één holistische benchmark (AnTuTu), een CPU-centrische benchmark (Geekbench), een GPU-centrische benchmark (GFXBench) en MLPerf-benchmarks uitgevoerd. Elke benchmark is drie keer uitgevoerd en we hebben het gemiddelde van de drie resultaten genomen. Qualcomm had standaard een "UI Perf Mode"-optie ingeschakeld die we hebben uitgeschakeld, omdat deze effectief probeert te forceren de benchmarking-apps die op Prime-kernen moeten worden uitgevoerd om in bepaalde gevallen een iets hogere score te halen benchmarks. Het is ook vermeldenswaard dat zodra we een commercieel apparaat met de Qualcomm Snapdragon 8 Gen 1 in handen hebben, we deze benchmarks opnieuw zullen uitvoeren.

Als u geïnteresseerd bent in het lezen van alle specificaties en functies van de Qualcomm Snapdragon 8 Gen 1 mobiel platform dat het bedrijf tot nu toe beschikbaar heeft gesteld, dan raad ik aan om onze uitleg over de Qualcomm Snapdragon 8 te lezen Gen 1. Voor een snelle referentie heb ik een grafiek samengesteld waarin de belangrijkste specificaties van de Qualcomm Snapdragon worden vergeleken 8 Gen 1-referentieapparaat vergeleken met de andere twee referentieapparaten die in deze benchmarkvergelijking zijn gebruikt. U vindt die grafiek hieronder voorafgaand aan de benchmarkresultaten.

Qualcomm heeft ons een reeks verwachte benchmarkscores verstrekt op basis van hun eigen tests. We hebben dit alleen ter referentie gebruikt en onderaan dit artikel is een tabel beschikbaar met de benchmarkscores die Qualcomm verwachtte dat het referentieapparaat zou behalen.

Over dit artikel: Qualcomm sponsorde mijn collega, Rijke bossen, om de Snapdragon Tech Summit in Kona, Hawaï bij te wonen. Het bedrijf betaalde zijn vlucht en hotel. Qualcomm had echter geen input met betrekking tot de inhoud van dit artikel.

Qualcomm Snapdragon 8 Gen 1 benchmarkresultaten

Apparaatspecificaties testen

Overzicht van de benchmarks. Klik om uit te breiden.

Benchmarkoverzicht

• AnTuTu: Dit is een holistische benchmark. AnTuTu test de CPU-, GPU- en geheugenprestaties, inclusief zowel abstracte tests als, sinds kort, herkenbare simulaties van gebruikerservaringen (bijvoorbeeld de subtest waarbij je door een Lijstweergave). De uiteindelijke score wordt gewogen naar de overwegingen van de ontwerper.
• GeekBench: Een CPU-centrische test die verschillende rekentaken gebruikt, waaronder codering, compressie (tekst en afbeeldingen), rendering, natuurkundige simulaties, computervisie, ray tracing, spraakherkenning en convolutionele neurale netwerkinferentie op afbeeldingen. De uitsplitsing van de score geeft specifieke statistieken. De uiteindelijke score wordt gewogen op basis van de overwegingen van de ontwerper, waarbij een grote nadruk wordt gelegd op integer-prestaties (65%), vervolgens float-prestaties (30%) en ten slotte cryptografie (5%).
• GFXBench: Streeft naar het simuleren van grafische weergave van videogames met behulp van de nieuwste API's. Veel effecten op het scherm en hoogwaardige texturen. Nieuwere tests gebruiken Vulkan, terwijl oudere tests OpenGL ES 3.1 gebruiken. De uitgangen zijn frames tijdens test en frames per seconde (het andere getal gedeeld door de testlengte, in wezen), in plaats van een gewogen scoren.
  • Azteekse ruïnes: Deze tests zijn de meest computationeel zware die door GFXBench worden aangeboden. Momenteel kunnen de beste mobiele chipsets geen 30 frames per seconde aan. De test biedt met name geometrie met een zeer hoog aantal polygonen, hardware-mozaïekpatroon, texturen met hoge resolutie, globale verlichting en veel schaduwafbeeldingen, overvloedige deeltjeseffecten, evenals bloei en scherptediepte Effecten. De meeste van deze technieken leggen de nadruk op de shader-rekenmogelijkheden van de processor.
  • Manhattan ES 3.0/3.1: Deze test blijft relevant gezien het feit dat moderne games de voorgestelde grafische getrouwheid al hebben bereikt en dezelfde soorten technieken implementeren. Het beschikt over complexe geometrie die gebruik maakt van meerdere renderdoelen, reflecties (kubieke kaarten), mesh-weergave, veel uitgestelde lichtbronnen, evenals bloei en scherptediepte in een nabewerkingspassage.
• MLPerf mobiel: MLPerf Mobile is een open-source benchmark voor het testen van mobiele AI-prestaties. Het was gemaakt door MLCommons, een open engineeringconsortium zonder winstoogmerk, om “transparantie en een gelijk speelveld te bieden voor het vergelijken van ML-systemen, software en oplossingen." De eerste iteratie van MLPerf Mobile biedt een benchmark voor inferentieprestaties voor een handvol computervisie en natuurlijke taal verwerkingstaken. Voor meer informatie, zie het document “MLPerf Mobile Inference Benchmark: waarom mobiele AI-benchmarking moeilijk is en wat u eraan kunt doen.”
  • Beeldclassificatie: Deze test omvat het afleiden van een label dat op een invoerbeeld moet worden toegepast. Typische use-cases zijn onder meer zoeken naar foto's of tekstextractie. Het gebruikte referentiemodel is MobileNetEdgeTPU met 4M-parameters, de dataset is ImageNet 2012 (224×224) en het kwaliteitsdoel is 98% van FP32 (76,19% Top-1).
  • Beeldsegmentatie: Deze test omvat het partitioneren van een invoerbeeld in gelabelde objecten. Typische use-cases zijn onder meer zelfrijdende auto's of teledetectie. Het gebruikte referentiemodel is DeepLab v3+ met 2M parameters, de dataset is ADE20K (512×512) en het kwaliteitsdoel is 93% van FP32 (0,244 mAP).
  • Objectdetectie: Deze test omvat het tekenen van begrenzingskaders rond objecten en het voorzien van een label voor die objecten. Typische use-cases hebben betrekking op camera-invoer, zoals voor gevarendetectie of verkeersanalyse tijdens het rijden. Het referentiemodel is SSD-MobileNet v2 met 17 miljoen parameters, de dataset is COCO 2017 (300×300) en het kwaliteitsdoel is 97% van FP32 (54,8% mIoU).
  • Taalverwerking: Deze test omvat het beantwoorden van vragen in de volksmond. Typische use-cases zijn onder meer online zoekmachines. Het referentiemodel is MobileBERT met 25 miljoen parameters, de dataset is mini Squad (Stanford Question Answering Dataset) v1.1 dev, en het kwaliteitsdoel is 93% van FP32 (93,98% F1).

Lees verder

---

Benchmarkresultaten

AnTuTu

Beginnend met AnTuTu, kunnen we zien dat het Qualcomm Snapdragon 8 Gen 1-referentieapparaat scoorde aanzienlijk hoger dan voorgaande jaren, met een grote jaar-op-jaar stijging van ongeveer 240.000 punten. Dit is een behoorlijk grote verbetering van ongeveer 33%, ruim boven de beloften van Qualcomm van een snelheidsverbetering van 20%. Dit is slechts één test, maar AnTuTu is een geweldig hulpmiddel om de onbewerkte rekenkracht tussen apparaten te vergelijken, ook al vertaalt zich dat niet allemaal in gebruik in de echte wereld.

Geekbench

In Geekbench 5.0 is het echter een heel ander verhaal. De Snapdragon 8 Gen 1 laat weinig tot geen winst zien ten opzichte van het Snapdragon 888-referentieapparaat van vorig jaar, en gaat zelfs achteruit in prestaties als het gaat om multi-core. Het is ook niet zo dat we een blindganger hebben -- Qualcomm gaf ons een informatieve pagina met benchmarkscores die we kunnen verwachten van de Snapdragon 8 Gen 1, en deze komen overeen met wat verwacht mag worden. De single-core prestaties waren zelfs hoger dan de bovengrenzen die Qualcomm ons gaf, terwijl de multi-core prestaties 20 punten onder de ondergrenzen lagen van wat we konden verwachten.

Dat gezegd hebbende, denk ik dat het duidelijk is dat wat de test ook is, het niet test waar Qualcomm verbeteringen heeft aangebracht. Onze andere tests laten grote verbeteringen zien ten opzichte van de chipsets van voorgaande jaren.

GFXBench

Qualcomm heeft niet veel bekendgemaakt over de nieuwe Adreno GPU in de Snapdragon 8 Gen 1, dus we hebben weinig te zeggen over de GPU, behalve de prestatieverbeteringen. We kennen het aantal cores niet, we kennen de frequentie niet en we hebben niet eens een versienummer. In de Manhattan-test van GFXBench, die de OpenGL ES 3.0 API gebruikt en een 1080p-scène offscreen weergeeft, had de Snapdragon 8 Gen 1 een gemiddelde framerate van 221 fps, ongeveer 31% en 75% hoger dan de framerates van de Snapdragon 888 en 865 respectievelijk. In de Aztec Ruins-test van GFXBench, die de Vulkan grafische API gebruikt en een 1080p-scène offscreen weergeeft, had de Snapdragon 8 Gen 1 een gemiddelde framerate van 41 fps. Er is echter een voorbehoud; de vorige resultaten op referentieapparaten werden getest in 1080p, terwijl de enige Aztec Ruins-test waartoe we toegang hadden in 1440p was. Voor het verhogen naar 1080p moeten er 43,75% meer pixels per keer worden weergegeven, waardoor de prestaties in deze test afnamen.

Slechts enkele van de zeer beste Android-games vereisen veel GPU-pk's, maar verbeterde GPU-prestaties zijn nuttig voor meer dan alleen gamen. Dat gezegd hebbende, gamen is absoluut de grootste reden waarom mensen om deze benchmarkresultaten geven, en de Snapdragon 8 Gen 1 lijkt jaar na jaar te presteren met zijn 35% snellere grafische weergave en 20% betere energie-efficiëntie jaar. Deze resultaten tonen echter alleen de piek-GPU-prestaties aan, dus we zullen GFXBench opnieuw moeten bekijken — zodra we commerciële hardware in handen hebben - om de prestaties van de benchmark op lange termijn te kunnen uitvoeren testen.

MLPerf

Qualcomm is bijzonder terughoudend geweest over details als het gaat om verbeteringen van kunstmatige intelligentie. We hebben geen cijfers voor TOPS (Trillion Operations Per Second), hoewel we wel wat informatie hebben over andere verbeteringen. Er is bijvoorbeeld de derde generatie van de detectiehub van het bedrijf, en het demonstreerde ook een aantal andere SoC-specifieke kenmerken in Hawaï.

Het is echter moeilijk voor ons om aan te tonen hoe belangrijk deze prestatiesprong eigenlijk is. We hebben uitgebreid gesproken over de moeilijkheden van AI-benchmarking tijdens onze interviews met Travis Lanier van Qualcomm, Gary Brotman en Ziad Asghar. Het goede nieuws is dat er sinds onze gesprekken met Qualcomm-execs aanzienlijke vooruitgang is geboekt op het gebied van AI-benchmarks.

De meest veelbelovende benchmarks die momenteel beschikbaar zijn, komen in de vorm van MLPerf Mobile, een open-source mobiele AI-benchmark ondersteund door meerdere SoC-leveranciers, ML-frameworkproviders en modellen producenten. De eerste reeks mobiele inferentieresultaten is openbaar, dus hebben we die resultaten gebruikt om de Snapdragon 8 Gen 1 te vergelijken met de Snapdragon 888 in de Xiaomi Mix 4, de Dimensity 1100 in de Vivo S9 5G en de Exynos 2100 in de Samsung Galaxy S21 Plus. We kregen geen latency-resultaten - alleen doorvoercijfers - dus we hebben niet de volledige resultaten uitgezet zoals ingediend door de leveranciers voor verificatie door MLCommons.

In deze selecte benchmarks voor computervisie en natuurlijke taalverwerking kunnen we zien dat het Qualcomm Snapdragon 8 Gen 1-referentieapparaat de hoogste scores behaalde in alle vier de tests door ver. De Demensity 1100 deed het over het algemeen vrij slecht. Qualcomm's Snapdragon 888 versloeg nog steeds comfortabel de anderen in deze test, maar de Snapdragon 8 Gen 1 bevindt zich in al deze tests op een ander niveau.

Het zal interessant zijn om te zien welke applicaties en functies ontwikkelaars en OEM's kunnen creëren met behulp van de AI-bekwaamheid van de Snapdragon 8 Gen 1. Computervisie zal een bijzonder belangrijke rol spelen in de vele AI-verbeterde videografiefuncties die we zullen gebruiken waarschijnlijk zien in 2022, terwijl verbeterde NLP-prestaties ook van invloed kunnen zijn op video-gerelateerde aspecten zoals audio opname. Bedrijven als Google werken eraan Google Tensor zal ook andere SoC-leveranciers op deze afdeling pushen.

Conclusie

De tabel die Qualcomm ons heeft gegeven met verwachte benchmarkscores staat hieronder, wat je kunt zien valt grotendeels in lijn met de resultaten die we hierboven hebben behaald.

Verwachte benchmarkscores voor Snapdragon 8 Gen 1 referentieontwerp (van Qualcomm)

Benchmark	Versie	Methode	Verwacht scorebereik
Systeem	Geekbench ST	v5.4.2	Gemiddelde van 3 iteraties	~1220 - 1233
Systeem	Geekbench MT	v5.4.2	Gemiddelde van 3 iteraties	~3770 - 3810
Systeem	AnTuTu	v9.2.1	Gemiddelde van 3 iteraties	1e run: ~1mAvg van 3 iteraties: ~980K
Systeem	PCMark	v3.0.4061	Gemiddelde van 3 iteraties	~ 17k
Browser (Chrome v95.0.4638.74 64-bits)	JetStream	v2.0	Gemiddelde van 3 iteraties	~135 - 140
Browser	Snelheidsmeter	v2.0	Gemiddelde van 3 iteraties	~123 - 126
Browser	WebXPRT	v3.0	Gemiddelde van 3 iteraties	~194 - 197
AI	AITuTu	v2.0	Gemiddelde van 3 iteraties	~2,550,000 - 2,600,000
AI	AIMark	v3.0	Gemiddelde van 3 iteraties	~ 97K
AI	MLPerf (op een aparte QRD omdat het 30 minuten duurt om te draaien)	v1.1	Gemiddelde van 3 iteraties	Beeldklasse: ~2435 - 2450 Objectdetectie: ~1180 - 1250 Beeldsegment: ~520 - 540 Taalbegrip: ~38 - 40 Beeldklasse (offline): ~3580 - 3650
AI	ETH AIB	v4.0.4	Gemiddelde van 3 iteraties	~ 530 - 550k
Afbeeldingen	GFXBench Manhattan 3.0 buiten beeld (1080p) (FPS)	v5.0	Gemiddelde van 3 iteraties	~ 267 - 268 fps
Afbeeldingen	GFXBench T-Rex - Buiten beeld (1080p) (FPS)	v5.0	Gemiddelde van 3 iteraties	~ 450 - 452 fps
Afbeeldingen	GFXBench Manhattan 3.1 Offscreen (1080p) (FPS)	v5.0	Gemiddelde van 3 iteraties	~ 176 fps
Afbeeldingen	GFXBench Auto Achtervolging Offscreen (1080p) ES3.1 (FPS)	v5.0	Gemiddelde van 3 iteraties	~ 97 - 98 fps
Afbeeldingen	GFXBench Azteekse ruïnes Vulkan (hoog niveau) Offscreen (1440p) (FPS)	v5.0	Gemiddelde van 3 iteraties	~ 49 fps
Afbeeldingen	GFXBench Aztec Ruins OpenGL (High Tier) Offscreen (1440p) (FPS)	v5.0	Gemiddelde van 3 iteraties	~ 43 fps

Lees verder

De Snapdragon 8 Gen 1 brengt een hoop verbeteringen met zich mee ten opzichte van de chipset van vorig jaar, vooral als het om AI gaat. Hoewel er zeker wat gekheid zit in de CPU-gebonden resultaten van Geekbench, is het duidelijk dat er over de hele linie verbeteringen zijn. Als u een upgrade uitvoert vanaf een apparaat dat twee jaar ouder (of ouder) is, zullen de verbeteringen waarschijnlijk merkbaar zijn, hoewel de enorme winst in AI-prestaties waarschijnlijk door de meesten onopgemerkt zal blijven. Bedrijven maken zelden gebruik van het volledige potentieel van AI als het gaat om de chipsets van Qualcomm, en waarschijnlijk zal dat hier weer hetzelfde zijn.

Het is ook vermeldenswaard dat het, nu de concurrentie aan het opwarmen is, misschien de moeite waard is om te wachten om te zien wat Samsung en MediaTek nu gaan doen. De Afmeting 9000 chipset heeft het potentieel om de Snapdragon 8 Gen 1 frontaal te verslaan als het op prestaties aankomt, en er is nog niet veel dat we eigenlijk weten over de aankomende Exynos 2200. Ik kijk er persoonlijk naar uit om deze benchmarks in de toekomst opnieuw te bekijken op een commercieel apparaat, vooral in een meer gecontroleerde omgeving.