Qualcomm Snapdragon 888-benchmarks: zo zullen de vlaggenschip 5G-telefoons van 2021 presteren

Eerder deze maand nodigde Qualcomm journalisten uit voor een virtuele Snapdragon Tech Summit waar ze kondigden de Snapdragon 888 aan mobiel platform. De nieuwste SoC uit de 8-serie van Qualcomm brengt grote verbeteringen aan beeldverwerking en machine learning, maar alleen incrementele verbeteringen aan CPU- en GPU-prestaties. Om erachter te komen hoeveel krachtiger de nieuwste chipset van Qualcomm is, krijgen we meestal de mogelijkheid om benchmarks uit te voeren op de referentiehardware. Vanwege COVID-19 kon Qualcomm echter geen persoonlijke benchmarksessie organiseren, dus stuurden ze ons een vooraf opgenomen video met een Qualcomm Snapdragon 888-referentieapparaat met een scala aan populaire benchmarks.

Op het Snapdragon 888-referentieapparaat draaide Qualcomm één holistische benchmark (AnTuTu), een CPU-centrische benchmark (Geekbench), een GPU-centrische benchmark (GFXBench) en verschillende AI/ML-benchmarks (AIMark, AITuTu, MLPerf en Procyon). Elke benchmark werd drie keer uitgevoerd, dus het bedrijf deelde het gemiddelde resultaat over drie iteraties. Bovendien zegt het bedrijf dat ze elke benchmark hebben uitgevoerd met behulp van de standaardinstellingen op het Snapdragon 888-referentieontwerp, wat betekent dat ze geen krachtige modus hebben ingeschakeld. Omdat de benchmarkscores echter voor ons zijn verstrekt, kunnen we de resultaten of testomstandigheden niet zelf verifiëren. Zodra we een commercieel apparaat in handen hebben met de Qualcomm Snapdragon 888, zullen we deze benchmarks opnieuw uitvoeren.

Als u geïnteresseerd bent in het lezen van alle specificaties en functies van het Qualcomm Snapdragon 888 mobiele platform, dan raad ik u aan om te lezen De uitstekende uitleg van Idrees Patel over de Snapdragon 888 eerder deze maand gepubliceerd. Zijn artikel gaat in detail in op alle verbeteringen die Qualcomm heeft aangebracht aan de CPU, GPU, modem, connectiviteitssubsysteem, ISP, AI-engine, DSP en al het andere. Voor snelle referentie heb ik een grafiek samengesteld waarin de belangrijkste specificaties van het Qualcomm Snapdragon 888-referentieapparaat worden vergeleken met de andere twee apparaten die in deze benchmarkvergelijking zijn gebruikt: het door Snapdragon 865 aangedreven referentieapparaat en door Snapdragon 855 aangedreven Pixel 4 Dat Ik gebruikte in de benchmarksessie van vorig jaar. U vindt die grafiek hieronder voorafgaand aan de benchmarkresultaten.

Qualcomm Snapdragon 888 Benchmark-resultaten

Specificaties van testapparaten

Benchmarkoverzicht

Met input van Mario Serrafero

• AnTuTu: Dit is een holistische benchmark. AnTuTu test de CPU-, GPU- en geheugenprestaties, inclusief zowel abstracte tests als, sinds kort, herkenbare simulaties van gebruikerservaringen (bijvoorbeeld de subtest waarbij je door een Lijstweergave). De uiteindelijke score wordt gewogen naar de overwegingen van de ontwerper.
• GeekBench: Een CPU-gerichte test die gebruikmaakt van verschillende rekentaken, waaronder codering, compressie (tekst en afbeeldingen), rendering, natuurkundige simulaties, computervisie, ray tracing, spraakherkenning en convolutionele neurale netwerkinferentie op afbeeldingen. De uitsplitsing van de score geeft specifieke statistieken. De uiteindelijke score wordt gewogen volgens de overwegingen van de ontwerper, waarbij een grote nadruk wordt gelegd op integer-prestaties (65%), vervolgens float-prestaties (30%) en ten slotte crypto (5%).
• GFXBench: Streeft naar het simuleren van grafische weergave van videogames met behulp van de nieuwste API's. Veel effecten op het scherm en hoogwaardige texturen. Nieuwere tests gebruiken Vulkan, terwijl oudere tests OpenGL ES 3.1 gebruiken. De uitgangen zijn frames tijdens test en frames per seconde (het andere getal gedeeld door de testlengte, in wezen), in plaats van een gewogen scoren.
  • Azteekse ruïnes: Deze tests zijn de meest computationeel zware die door GFXBench worden aangeboden. Momenteel kunnen de beste mobiele chipsets geen 30 frames per seconde aan. De test biedt met name geometrie met een zeer hoog aantal polygonen, hardware-mozaïekpatroon, texturen met hoge resolutie, globale verlichting en veel schaduwafbeeldingen, overvloedige deeltjeseffecten, evenals bloei en scherptediepte Effecten. De meeste van deze technieken leggen de nadruk op de shader-rekenmogelijkheden van de processor.
  • Manhattan ES 3.0/3.1: Deze test blijft relevant gezien het feit dat moderne games de voorgestelde grafische getrouwheid al hebben bereikt en dezelfde soorten technieken implementeren. Het beschikt over complexe geometrie die gebruik maakt van meerdere renderdoelen, reflecties (kubieke kaarten), mesh-weergave, veel uitgestelde lichtbronnen, evenals bloei en scherptediepte in een nabewerkingspassage.
• MLPerf mobiel: MLPerf Mobile is een open-source benchmark voor het testen van mobiele AI-prestaties. Het was gemaakt door MLCommons, een open engineeringconsortium zonder winstoogmerk, om "transparantie en een gelijk speelveld te bieden voor het vergelijken van ML-systemen, software en oplossingen." De eerste iteratie van MLPerf Mobile biedt een benchmark voor inferentieprestaties voor een handvol computervisie en natuurlijke taal verwerkingstaken. Voor meer informatie, zie het document "MLPerf Mobile Inference Benchmark: waarom mobiele AI-benchmarking moeilijk is en wat u eraan kunt doen."
  • Beeldclassificatie: Deze test omvat het afleiden van een label dat op een invoerbeeld moet worden toegepast. Typische use-cases zijn onder meer zoeken naar foto's of tekstextractie. Het gebruikte referentiemodel is MobileNetEdgeTPU met 4M-parameters, de dataset is ImageNet 2012 (224x224) en het kwaliteitsdoel is 98% van FP32 (76,19% Top-1).
  • Beeldsegmentatie: Deze test omvat het partitioneren van een invoerbeeld in gelabelde objecten. Typische use-cases zijn onder meer zelfrijdende auto's of teledetectie. Het gebruikte referentiemodel is DeepLab v3+ met 2M parameters, de dataset is ADE20K (512x512) en het kwaliteitsdoel is 93% van FP32 (0,244 mAP).
  • Objectdetectie: Deze test omvat het tekenen van begrenzingskaders rond objecten en het voorzien van een label voor die objecten. Typische use-cases hebben betrekking op camera-invoer, zoals voor gevarendetectie of verkeersanalyse tijdens het rijden. Het referentiemodel is SSD-MobileNet v2 met 17 miljoen parameters, de dataset is COCO 2017 (300x300) en het kwaliteitsdoel is 97% van FP32 (54,8% mIoU).
  • Taalverwerking: Deze test omvat het beantwoorden van vragen in de volksmond. Typische use-cases zijn onder meer online zoekmachines. Het referentiemodel is MobileBERT met 25 miljoen parameters, de dataset is mini Squad (Stanford Question Answering Dataset) v1.1 dev, en het kwaliteitsdoel is 93% van FP32 (93,98% F1).

AnTuTu-resultaten

Beginnend met AnTuTu, kunnen we zien dat het Qualcomm Snapdragon 888-referentieapparaat bijna 17.000 punten scoorde hoger dan het Snapdragon 865-referentieapparaat en bijna 350.000 punten hoger dan de door Snapdragon 855 aangedreven Pixel 4. Als je kijkt naar de CPU-, GPU-, geheugen- en UX-subscores (hier niet weergegeven), kunnen we zien dat de grootste prestatieverbeteringen afkomstig zijn van GPU en geheugen. De Snapdragon 888 QRD scoorde ongeveer 45,56% hoger in de GPU-subtest van AnTuTu in vergelijking met de Snapdragon 865 QRD. Evenzo scoorde de Snapdragon 888 QRD ongeveer 52,08% hoger in de geheugensubtest van AnTuTu in vergelijking met de Snapdragon 865 QRD. Vergeleken met de Snapdragon 855-aangedreven Pixel 4, overtrof de 888 QRD het in de GPU- en geheugensubtests met respectievelijk 98,42% en 117,58%.

Ondertussen scoorde de Snapdragon 888 QRD ongeveer 30,05% en 90,28% hoger in de CPU-subtest van AnTuTu in vergelijking met respectievelijk de Snapdragon 865 QRD en Snapdragon 855-aangedreven Pixel 4. De UX-subscore is moeilijk te vergelijken vanwege de verschillende Android OS-versies die elk apparaat draaide (de Pixel 4 en Snapdragon 865 QRD draaiden Android 10 toen ik ze vorig jaar benchmarkde, terwijl de 888 QRD Android draait 11.)

De grote boost in geheugenprestaties is best interessant. Zowel de 865 QRD als de 888 QRD hebben 12 GB LPDDR5 RAM, hoewel we niet weten waarop de RAM is geklokt. Met name ondersteunt de 865 tot 16 GB LPDDR5 RAM op 2750 MHz, terwijl de 888 tot 16 GB LPDDR5 RAM op 3200 MHz ondersteunt. De hobbels in CPU en GPU prestaties zijn hier iets boven onze verwachtingen, zoals Qualcomm zei dat de CPU- en GPU-winsten van de Snapdragon 888 respectievelijk 25% en 35% zijn jaar op jaar. De meer CPU- en GPU-gerichte benchmarks die volgen, laten echter winsten zien die meer in lijn zijn met onze verwachtingen.

Geekbench-resultaten

In Geekbench 5.0 presteert de Qualcomm Snapdragon 888 respectievelijk 22,17% en 9,97% beter in de single-core en multi-core tests in vergelijking met de Snapdragon 865. Vergeleken met de Snapdragon 855 presteert de 888 respectievelijk ongeveer 89,17% en 51,82% beter.

Qualcomm zegt dat de Snapdragon 888 de CPU-prestaties met 25% verbetert ten opzichte van de Snapdragon 865. De enige ARM Cortex-X1 Prime-kern van de CPU is geklokt op een conservatieve 2,84 GHz - dezelfde kloksnelheid als de laatste generatie ARM Cortex-A77 Prime-kern - dus het is mogelijk dat we een kloksnelheid van 3 + GHz zullen zien voor de onvermijdelijke halfjaarlijkse Snapdragon 888 "Plus" vernieuwen. Als dat het geval is, kunnen we verwachten dat de CPU-prestaties nog verder verbeteren, hoewel op dit moment redelijkerwijs kan worden gesteld dat de winst solide is, maar slechts incrementeel.

Dus als je een upgrade uitvoert van een twee jaar oud vlaggenschip, zou de 888 grote verbeteringen in de CPU-prestaties moeten opleveren. Als u een upgrade uitvoert van een vlaggenschip van een jaar oud, zijn die winsten veel kleiner. Ik ben persoonlijk opgewonden om te zien hoe een Snapdragon 888-apparaat omgaat met console-emulatie.

GFXBench-resultaten

Qualcomm heeft het aantal cores of de maximale frequentie van de Adreno 660 GPU in de Snapdragon 888 niet bekendgemaakt, dus we hebben weinig te zeggen over de GPU, behalve de prestatieverbeteringen. In de Manhattan-test van GFXBench, die de OpenGL ES 3.0 API gebruikt en een 1080p-scène offscreen weergeeft, had de Snapdragon 888 een gemiddelde framerate van 169 fps, ongeveer 34,13% en 83,7% hoger dan de framerates van de Snapdragon 865 en 855 respectievelijk. In de Aztec Ruins-test van GFXBench, die de Vulkan grafische API gebruikt en een 1080p-scène offscreen weergeeft, had de Snapdragon 888 een gemiddelde framerate van 86 fps, ongeveer 38,71% en 95,45% hoger dan de framerates van de Snapdragon 865 en 855 respectievelijk.

Er zijn niet veel games die veel GPU-pk's vragen (de recente Genshin Impact is een uitzondering), maar verbeterde GPU-prestaties zijn nuttig voor meer dan alleen gamen. Maar gamen is absoluut de grootste reden waarom mensen om deze benchmarkresultaten geven, en de Snapdragon 888 presteert absoluut met zijn 35% snellere grafische weergave en 20% betere energie-efficiëntie jaar op jaar. Deze resultaten tonen echter alleen de beste GPU-prestaties, dus we zullen het opnieuw moeten bekijken GFXBench—zodra we commerciële hardware in handen hebben—om de benchmark op de lange termijn te kunnen gebruiken Prestatie testen.

MLPerf-resultaten

Misschien wel de meest interessante winst zit in de AI-prestaties. Qualcomm maakt over het algemeen elk jaar enorme sprongen in AI-prestaties, maar de winsten van dit jaar zijn het meest indrukwekkend. De AI-engine van de Snapdragon 888 biedt 26 TOPS-prestaties, een stijging ten opzichte van de 15 TOPS-prestaties van de Snapdragon 865 en 7 TOPS-prestaties van de Snapdragon 855. Qualcomm schrijft veel van deze winst toe aan de nieuwe gefuseerde AI-versnellerarchitectuur van de Hexagon 780 DSP, die de scalaire, vector- en tensorversnellers om fysieke afstanden te elimineren en geheugen te poolen voor het delen en verplaatsen van gegevens efficiënt.

Het is echter moeilijk voor ons om aan te tonen hoe belangrijk deze prestatiesprong eigenlijk is. We hebben uitgebreid gesproken over de moeilijkheden van AI-benchmarking tijdens onze interviews met Travis Lanier van Qualcomm, Gary Brotman en Ziad Asghar. Het goede nieuws is dat er sinds onze gesprekken met Qualcomm-execs aanzienlijke vooruitgang is geboekt op het gebied van AI-benchmarks.

Aan het begin van dit artikel vermeldden we dat Qualcomm 4 verschillende AI-benchmarks draaide op het Snapdragon 888-referentieapparaat: AIMark, AITuTu, MLPerf en UL's Procyon. Misschien wel de meest veelbelovende van deze benchmarks is MLPerf Mobile, een binnenkort te verschijnen, open-source mobiele AI-benchmark ondersteund door meerdere SoC-leveranciers, ML-frameworkproviders en modellen producenten. De eerste reeks mobiele inferentieresultaten is openbaar, dus we hebben die resultaten gebruikt om te vergelijken met de Snapdragon 888. De resultaten hebben slechts betrekking op 3 apparaten: de MediaTek Dimensity 820-aangedreven Xiaomi Redmi 10X 5G, de Qualcomm Snapdragon 865+-aangedreven ASUS ROG Phone 3, en de Exynos 990-aangedreven Samsung Galaxy Note 20 Ultra5G. Qualcomm leverde geen latentieresultaten - alleen doorvoercijfers - dus we hebben niet de volledige resultaten in kaart gebracht ingediend door de verkopers voor verificatie door MLCommons.

In deze geselecteerde benchmarks voor computervisie en natuurlijke taalverwerking kunnen we zien dat het Qualcomm Snapdragon 888-referentieapparaat de hoogste scores behaalde in alle vier de tests. Van de 3 chipsets van de vorige generatie presteerde MediaTek's Dimensity 820 beter dan de Snapdragon 865+ en Exynos 990 in objectdetectie, terwijl de Exynos 990 beter presteerde dan de Snapdragon 865+ en Dimensity 820 in NLP. De Snapdragon 865+ van Qualcomm was over het algemeen competitief, scoorde vergelijkbaar met de Dimensity 820 in beeldsegmentatie en presteerde beter in NLP. In deze specifieke deductietests met deze specifieke modellen en datasets presteerde de Snapdragon 888 beter dan de 3 chipsets van de laatste generatie.

Het zal interessant zijn om te zien welke toepassingen en functies ontwikkelaars en OEM's kunnen creëren met behulp van de AI-bekwaamheid van de Snapdragon 888. Computervisie zal een bijzonder belangrijke rol spelen in de vele AI-verbeterde videografiefuncties die we zullen toevoegen waarschijnlijk zien in 2021, terwijl verbeterde NLP-prestaties ook van invloed kunnen zijn op video-gerelateerde aspecten zoals audio opname.

We moeten echter opmerken dat de resultaten van de Snapdragon 888 dat wel zijn niet geverifieerd door MLCommons aangezien een deel van het verificatieproces van de organisatie vereist dat het apparaat in de handel verkrijgbaar (Qualcomm's referentie-apparaten worden niet verkocht via een koerier of als een ontgrendeld telefoon). Bovendien zijn de prestaties afhankelijk van welke ML-modellen, numerieke indelingen en ML-frameworks worden gekozen, evenals welke ML-versnellers beschikbaar zijn.

Conclusie

Qualcomm's Snapdragon 888 brengt opnieuw stapsgewijze verbeteringen aan de CPU- en GPU-prestaties, maar enorme verbeteringen aan beeldverwerking en AI. Niet veel mensen die een upgrade uitvoeren van een twee jaar oud apparaat zullen de verbeteringen in CPU en GPU opmerken (tenzij ze van plan zijn om te gaan draaien emulators of het spelen van games zoals Genshin Impact), maar ze zullen zeker de andere vorderingen opmerken die zijn gemaakt in mobiel technologie. Apparaten hebben tegenwoordig schermen met een hogere verversingssnelheid, meer camera's met beeldsensoren met een hogere resolutie, ondersteuning voor 5G-connectiviteit en nog veel meer. De enorme winsten in AI-prestaties zullen onopgemerkt blijven door de gemiddelde gebruiker, maar de mogelijkheden die zijn ontstaan ​​met de nieuwe chipset van Qualcomm zijn opwindend om over na te denken. Realtime AI-videoverbeteringen, streams met meerdere camera's en nog veel meer komen volgend jaar aan de horizon bedrijven als Google blijven verrassen met de functies die ze vrijgeven, ondersteund door machine learning modellen.

Qualcomm is echter niet het enige bedrijf dat verbeteringen aanbrengt in zijn SoC-opstelling. De aankomende Exynos 2100 van Samsung voor de Galaxy S21 zou grote prestatieverbeteringen opleveren. Er is ook Huawei's nieuwe HiSilicon Kirin 9000 en MediaTek's groeiende Dimensity-lijn van mobiele SoC's. Ik hoop terug te komen deze benchmarks zodra we ten minste één topapparaat hebben met de next-gen van Samsung, Huawei en MediaTek silicium.

Qualcomm Snapdragon 888 Benchmarking-demo

Ik heb aan het begin van dit artikel vermeld dat Qualcomm een ​​vooraf opgenomen video met ons heeft gedeeld. Als je geïnteresseerd bent, ik heb die video geüpload naar YouTube. Het toont de Snapdragon 888 met alle benchmarks die ik hierboven heb gedeeld, evenals de resterende AI-benchmarks die ik niet heb laten zien.

Ondertussen is hier de tabel die Qualcomm ons heeft verstrekt met een samenvatting van de benchmarkresultaten van de Snapdragon 888: