Qualcomm Snapdragon 888-benchmarks: zo zullen de vlaggenschip-5G-telefoons van 2021 presteren

Eerder deze maand nodigde Qualcomm journalisten uit voor een virtuele Snapdragon Tech Summit waar ze kondigden de Snapdragon 888 aan mobiel platform. Qualcomm's nieuwste 8-serie SoC brengt grote verbeteringen op het gebied van beeldverwerking en machine learning, maar slechts stapsgewijze verbeteringen in de CPU- en GPU-prestaties. Om erachter te komen hoeveel krachtiger de nieuwste chipset van Qualcomm is, krijgen we doorgaans de mogelijkheid om benchmarks uit te voeren op de referentiehardware. Vanwege COVID-19 kon Qualcomm echter geen persoonlijke benchmarkingsessie regelen, dus stuurden ze ons een vooraf opgenomen video waarin een Qualcomm Snapdragon 888-referentieapparaat met een breed scala aan populaire apparaten wordt getoond benchmarks.

Op het Snapdragon 888-referentieapparaat voerde Qualcomm één holistische benchmark uit (AnTuTu), een CPU-centrische benchmark (Geekbench), een GPU-centrische benchmark (GFXBench) en verschillende AI/ML-benchmarks (AIMark, AITuTu, MLPerf en Procyon). Elke benchmark werd drie keer uitgevoerd, dus het bedrijf deelde het gemiddelde resultaat over drie iteraties. Bovendien zegt het bedrijf dat ze elke benchmark hebben uitgevoerd met de standaardinstellingen van het Snapdragon 888-referentieontwerp, wat betekent dat ze geen enkele modus voor hoge prestaties hebben ingeschakeld. Omdat de benchmarkscores echter voor ons zijn verstrekt, kunnen we de resultaten of testomstandigheden niet voor onszelf verifiëren. Zodra we een commercieel apparaat met de Qualcomm Snapdragon 888 in handen hebben, zullen we deze benchmarks opnieuw uitvoeren.

Als je geïnteresseerd bent in het lezen van alle specificaties en functies van het Qualcomm Snapdragon 888 mobiele platform, dan raad ik je aan om dit te lezen Idrees Patel's uitstekende uitleg over de Snapdragon 888 eerder deze maand gepubliceerd. Zijn artikel gaat gedetailleerd in op alle verbeteringen die Qualcomm heeft aangebracht aan de CPU, GPU, modem, connectiviteitssubsysteem, ISP, AI-engine, DSP en al het andere. Voor een snelle referentie heb ik een grafiek samengesteld waarin de belangrijkste specificaties van het Qualcomm Snapdragon 888-referentieapparaat worden vergeleken met de andere twee apparaten die in deze benchmarkvergelijking zijn gebruikt: het door Snapdragon 865 aangedreven referentieapparaat en de door Snapdragon 855 aangedreven Pixel 4 Dat Ik gebruikte het vorig jaar tijdens de benchmarksessie. U vindt de grafiek hieronder voorafgaand aan de benchmarkresultaten.

Qualcomm Snapdragon 888 benchmarkresultaten

Specificaties van testapparaten

Benchmarksoverzicht

Met input van Mario Serrafero

• AnTuTu: Dit is een holistische benchmark. AnTuTu test de CPU-, GPU- en geheugenprestaties, en omvat zowel abstracte tests als, sinds kort, herkenbare simulaties van gebruikerservaringen (bijvoorbeeld de subtest waarbij u door een Lijstweergave). De eindscore wordt gewogen op basis van de overwegingen van de ontwerper.
• GeekBench: Een CPU-centrische test die gebruik maakt van verschillende rekentaken, waaronder encryptie, compressie (tekst en afbeeldingen), rendering, natuurkundige simulaties, computer vision, ray tracing, spraakherkenning en convolutionele neurale netwerkinferentie op afbeeldingen. De uitsplitsing van de scores geeft specifieke statistieken. De uiteindelijke score wordt gewogen op basis van de overwegingen van de ontwerper, waarbij een grote nadruk wordt gelegd op integer-prestaties (65%), vervolgens float-prestaties (30%) en ten slotte crypto (5%).
• GFXBench: heeft tot doel de grafische weergave van videogames te simuleren met behulp van de nieuwste API's. Veel effecten op het scherm en hoogwaardige texturen. Nieuwere tests gebruiken Vulkan, terwijl oudere tests OpenGL ES 3.1 gebruiken. De uitgangen zijn frames tijdens test- en frames per seconde (het andere getal gedeeld door de testlengte, in wezen), in plaats van een gewogen scoren.
  • Azteekse ruïnes: Deze tests zijn de rekentechnisch zwaarste die door GFXBench worden aangeboden. Momenteel kunnen de beste mobiele chipsets geen 30 frames per seconde ondersteunen. Concreet biedt de test geometrie met een zeer hoog aantal polygonen, hardware-mozaïekpatroon, texturen met hoge resolutie, globale verlichting en veel schaduwkaarten, overvloedige deeltjeseffecten, evenals bloei en scherptediepte Effecten. De meeste van deze technieken zullen de shader-rekenmogelijkheden van de processor benadrukken.
  • Manhattan ES 3.0/3.1: Deze test blijft relevant aangezien moderne games al de voorgestelde grafische betrouwbaarheid hebben bereikt en dezelfde soorten technieken implementeren. Het beschikt over een complexe geometrie die gebruik maakt van meerdere renderdoelen, reflecties (kubieke kaarten), mesh-weergave, veel uitgestelde lichtbronnen, evenals bloei en scherptediepte in een nabewerkingsgang.
• MLPerf mobiel: MLPerf Mobile is een open-source benchmark voor het testen van mobiele AI-prestaties. Het was gemaakt door MLCommons, een open engineeringconsortium zonder winstoogmerk, dat "transparantie en een gelijk speelveld wil bieden voor het vergelijken van ML-systemen, software en oplossingen." De eerste iteratie van MLPerf Mobile biedt een benchmark voor inferentieprestaties voor een handvol computervisie en natuurlijke taal verwerking taken. Voor meer informatie, zie het artikel "MLPerf Mobile Inference Benchmark: waarom mobiele AI-benchmarking moeilijk is en wat u eraan kunt doen."
  • Afbeeldingsclassificatie: Bij deze test wordt een label afgeleid dat op een invoerafbeelding moet worden toegepast. Typische gebruiksscenario's zijn onder meer het zoeken naar foto's of het extraheren van tekst. Het gebruikte referentiemodel is MobileNetEdgeTPU met 4M-parameters, de dataset is ImageNet 2012 (224x224) en het kwaliteitsdoel is 98% van FP32 (76,19% Top-1).
  • Beeldsegmentatie: Deze test omvat het verdelen van een invoerafbeelding in gelabelde objecten. Typische gebruiksscenario's zijn onder meer zelfrijdend rijden of teledetectie. Het gebruikte referentiemodel is DeepLab v3+ met 2M-parameters, de dataset is ADE20K (512x512) en het kwaliteitsdoel is 93% van FP32 (0,244 mAP).
  • Objectdetectie: Deze test omvat het tekenen van kaders rond objecten en het voorzien van een label voor die objecten. Typische gebruiksscenario's omvatten camera-invoer, zoals voor gevarendetectie of verkeersanalyse tijdens het rijden. Het referentiemodel is SSD-MobileNet v2 met 17M-parameters, de dataset is COCO 2017 (300x300) en het kwaliteitsdoel is 97% van FP32 (54,8% mIoU).
  • Taalverwerking: Deze test omvat het in de volksmond beantwoorden van vragen. Typische gebruiksscenario's zijn onder meer onlinezoekmachines. Het referentiemodel is MobileBERT met 25 miljoen parameters, de dataset is mini Squad (Stanford Question Answering Dataset) v1.1 dev, en het kwaliteitsdoel is 93% van FP32 (93,98% F1).

AnTuTu-resultaten

Beginnend met AnTuTu kunnen we zien dat het Qualcomm Snapdragon 888-referentieapparaat bijna 17.000 punten scoorde hoger dan het Snapdragon 865-referentieapparaat en bijna 350.000 punten hoger dan de Snapdragon 855-aangedreven Pixel 4. Als je naar de CPU-, GPU-, Geheugen- en UX-subscores kijkt (hier niet weergegeven), kunnen we zien dat de grootste prestatieverbeteringen afkomstig zijn van GPU en geheugen. De Snapdragon 888 QRD scoorde ongeveer 45,56% hoger in AnTuTu's GPU-subtest vergeleken met de Snapdragon 865 QRD. Op dezelfde manier scoorde de Snapdragon 888 QRD ongeveer 52,08% hoger in de geheugensubtest van AnTuTu vergeleken met de Snapdragon 865 QRD. Vergeleken met de Snapdragon 855-aangedreven Pixel 4, overtrof de 888 QRD deze in de GPU- en geheugensubtests met respectievelijk 98,42% en 117,58%.

Ondertussen scoorde de Snapdragon 888 QRD ongeveer 30,05% en 90,28% hoger in AnTuTu's CPU-subtest vergeleken met respectievelijk de Snapdragon 865 QRD en Snapdragon 855-aangedreven Pixel 4. De UX-subscore is moeilijk te vergelijken vanwege de verschillende Android OS-versies die elk apparaat gebruikte (de Pixel 4 en Snapdragon 865 QRD draaiden Android 10 toen ik ze vorig jaar benchmarkte, terwijl de 888 QRD Android draaide 11.)

De grote boost in geheugenprestaties is behoorlijk interessant. Zowel de 865 QRD als de 888 QRD zijn voorzien van 12 GB LPDDR5 RAM, hoewel we niet weten waarop het RAM-geheugen is geklokt. Met name ondersteunt de 865 tot 16 GB LPDDR5 RAM op 2750 MHz, terwijl de 888 tot 16 GB LPDDR5 RAM op 3200 MHz ondersteunt. De hobbels in CPU en GPU de prestaties liggen hier iets boven onze verwachtingen, aangezien Qualcomm zei dat de CPU- en GPU-winst van de Snapdragon 888 respectievelijk 25% en 35% bedraagt jaar op jaar. De meer CPU- en GPU-gerichte benchmarks die volgen laten echter winsten zien die meer in lijn zijn met onze verwachtingen.

Geekbench-resultaten

In Geekbench 5.0 presteert de Qualcomm Snapdragon 888 respectievelijk 22,17% en 9,97% hoger in de single-core en multi-core tests vergeleken met de Snapdragon 865. Vergeleken met de Snapdragon 855 presteert de 888 respectievelijk zo'n 89,17% en 51,82% beter.

Qualcomm zegt dat de Snapdragon 888 de CPU-prestaties met 25% verbetert ten opzichte van de Snapdragon 865. De enige ARM Cortex-X1 Prime-kern van de CPU is geklokt op een conservatieve 2,84GHz – dezelfde kloksnelheid als de ARM van de laatste generatie Cortex-A77 Prime-kern - het is dus mogelijk dat we een kloksnelheid van 3+GHz zullen zien voor de onvermijdelijke Snapdragon 888 "Plus" halverwege het jaar vernieuwen. Als dat het geval is, kunnen we verwachten dat de CPU-prestaties nog verder zullen verbeteren, hoewel het op dit moment redelijk is om te zeggen dat de winst solide is, maar slechts incrementeel.

Dus als je een upgrade uitvoert van een twee jaar oud vlaggenschip, zou de 888 grote verbeteringen in de CPU-prestaties moeten opleveren. Als je een upgrade uitvoert van een vlaggenschip van een jaar oud, zijn die winsten veel kleiner. Ik ben persoonlijk enthousiast om te zien hoe een Snapdragon 888-apparaat omgaat met console-emulatie.

GFXBench-resultaten

Qualcomm heeft het aantal kernen of de maximale frequentie van de Adreno 660 GPU in de Snapdragon 888 niet bekendgemaakt, dus we hebben weinig te zeggen over de GPU, behalve de prestatiewinst. In de Manhattan-test van GFXBench, die de OpenGL ES 3.0 API gebruikt en een 1080p-scène buiten het scherm weergeeft, had de Snapdragon 888 een gemiddelde framerate van 169 fps, ongeveer 34,13% en 83,7% hoger dan de framerates behaald door de Snapdragon 865 en 855 respectievelijk. In de Aztec Ruins-test van GFXBench, die de Vulkan grafische API gebruikt en een 1080p-scène buiten het scherm weergeeft, had de Snapdragon 888 een gemiddelde framerate van 86 fps, ongeveer 38,71% en 95,45% hoger dan de framerates behaald door de Snapdragon 865 en 855 respectievelijk.

Er zijn niet veel games die veel GPU-pk vereisen (de de recente Genshin Impact is één uitzondering), maar verbeterde GPU-prestaties zijn nuttig voor meer dan alleen gamen. Maar gamen is absoluut de grootste reden waarom mensen zich zorgen maken over deze benchmarkresultaten, en de Snapdragon 888 levert zeker resultaten met zijn 35% snellere grafische weergave en 20% betere energie-efficiëntie jaar op jaar. Deze resultaten demonstreren echter alleen de maximale GPU-prestaties, dus we zullen dit opnieuw moeten bekijken GFXBench – zodra we commerciële hardware in handen hebben – om de benchmark op de lange termijn te kunnen draaien Prestatie testen.

MLPerf-resultaten

Misschien wel de meest interessante winst ligt op het gebied van AI-prestaties. Qualcomm maakt over het algemeen elk jaar enorme sprongen in de AI-prestaties, maar de winsten van dit jaar zijn het meest indrukwekkend. De AI-motor van de Snapdragon 888 beschikt over 26 TOPS-prestaties, een stijging ten opzichte van de 15 TOPS-prestaties van de Snapdragon 865 en 7 TOPS-prestaties van de Snapdragon 855. Qualcomm schrijft een groot deel van deze winst toe aan de nieuwe, gefuseerde AI-acceleratorarchitectuur van de Hexagon 780 DSP, waarbij de scalaire, vector- en tensorversnellers om fysieke afstanden te elimineren en geheugen te bundelen voor het delen en verplaatsen van gegevens efficiënt.

Het is echter moeilijk voor ons om aan te tonen hoe groot deze prestatiesprong eigenlijk is. We hebben tijdens onze interviews diepgaand gesproken over de moeilijkheden van AI-benchmarking Travis Lanier van Qualcomm, Gary Brotman en Ziad Asghar. Het goede nieuws is dat er sinds onze gesprekken met de leidinggevenden van Qualcomm aanzienlijke vooruitgang is geboekt op het gebied van AI-benchmarks.

Aan het begin van dit artikel vermeldden we dat Qualcomm vier verschillende AI-benchmarks draaide op het Snapdragon 888-referentieapparaat: AIMark, AITuTu, MLPerf en UL's Procyon. Misschien wel de meest veelbelovende van deze benchmarks is MLPerf Mobile, een binnenkort te verschijnen, open-source mobiele AI-benchmark ondersteund door meerdere SoC-leveranciers, ML-frameworkproviders en -modellen producenten. De eerste reeks resultaten voor mobiele inferentie is openbaar, dus we hebben die resultaten gebruikt om te vergelijken met de Snapdragon 888. De resultaten hebben slechts betrekking op 3 apparaten: de door MediaTek Dimensity 820 aangedreven Xiaomi Redmi 10X 5G, de Qualcomm Snapdragon 865+-aangedreven ASUS ROG Phone 3, en de Exynos 990-aangedreven Samsung Galaxy Note 20 Ultra-5G. Qualcomm heeft geen latentieresultaten verstrekt – alleen doorvoercijfers – dus we hebben niet de volledige resultaten in kaart gebracht ingediend door de verkopers voor verificatie door MLCommons.

In deze geselecteerde benchmarks voor computervisie en natuurlijke taalverwerking kunnen we zien dat het Qualcomm Snapdragon 888-referentieapparaat de hoogste scores behaalde in alle vier de tests. Van de drie chipsets van de vorige generatie presteerde MediaTek's Dimensity 820 beter dan de Snapdragon 865+ en Exynos 990 op het gebied van objectdetectie, terwijl de Exynos 990 beter presteerde dan de Snapdragon 865+ en Dimensity 820 in NLP. De Snapdragon 865+ van Qualcomm was over het algemeen competitief, scoorde op gelijke voet met de Dimensity 820 wat betreft beeldsegmentatie en presteerde beter dan deze in NLP. In deze specifieke gevolgtrekkingstests met deze specifieke modellen en datasets presteerde de Snapdragon 888 beter dan de 3 chipsets van de laatste generatie.

Het zal interessant zijn om te zien welke applicaties en functies ontwikkelaars en OEM’s kunnen creëren met behulp van de AI-vaardigheid van de Snapdragon 888. Computervisie zal een bijzonder belangrijke rol spelen in de vele AI-verbeterde videografiefuncties die we zullen aanbieden waarschijnlijk in 2021, terwijl verbeterde NLP-prestaties eveneens van invloed kunnen zijn op video-aangrenzende aspecten zoals audio opname.

We moeten echter opmerken dat de resultaten van de Snapdragon 888 dat wel zijn niet geverifieerd door MLCommons, omdat een deel van het verificatieproces van de organisatie vereist dat het apparaat in de handel verkrijgbaar (de referentieapparaten van Qualcomm worden niet verkocht via een provider of als ontgrendeld apparaat). telefoon). Bovendien zijn de prestaties afhankelijk van welke ML-modellen, numerieke formaten en ML-frameworks worden gekozen, en welke ML-versnellers beschikbaar zijn.

Conclusie

Qualcomm's Snapdragon 888 brengt opnieuw stapsgewijze verbeteringen in de CPU- en GPU-prestaties, maar enorme verbeteringen in de beeldverwerking en AI. Niet veel mensen die een upgrade uitvoeren vanaf een apparaat van twee jaar oud zullen de verbeteringen in CPU en GPU opmerken (tenzij ze van plan zijn door te gaan emulators of het spelen van games zoals Genshin Impact), maar ze zullen zeker de andere vooruitgang opmerken die op mobiel gebied is geboekt technologie. Apparaten hebben schermen met een hogere verversingssnelheid, meer camera's met beeldsensoren met een hogere resolutie, ondersteuning voor 5G-connectiviteit en nog veel meer tegenwoordig. De enorme winst in AI-prestaties zal voor de gemiddelde gebruiker onopgemerkt blijven, maar de mogelijkheden die zijn ontstaan ​​met de nieuwe chipset van Qualcomm zijn opwindend om over na te denken. Real-time AI-videoverbeteringen, multi-camerastreams en nog veel meer staan ​​volgend jaar in het verschiet bedrijven als Google blijven verrassen met de functies die ze uitbrengen, ondersteund door het trainen van machine learning modellen.

Qualcomm is echter niet het enige bedrijf dat verbeteringen aanbrengt in zijn SoC-assortiment. Samsung's aankomende Exynos 2100 voor de Galaxy S21 zou grote prestatieverbeteringen opleveren. Er zijn ook Huaweis nieuwe HiSilicon Kirin 9000 en MediaTeks groeiende Dimensity-lijn van mobiele SoC's. Ik hoop het opnieuw te bezoeken deze benchmarks zodra we ten minste één topapparaat hebben met de volgende generatie van Samsung, Huawei en MediaTek silicium.

Qualcomm Snapdragon 888 Benchmarking-demo

Ik vermeldde aan het begin van dit artikel dat Qualcomm een ​​vooraf opgenomen video met ons deelde. Als je geïnteresseerd bent, ik heb die video naar YouTube geüpload. Het laat zien dat de Snapdragon 888 alle benchmarks uitvoert die ik hierboven heb gedeeld, evenals de resterende AI-benchmarks die ik niet heb laten zien.

Ondertussen is hier de tabel die Qualcomm ons heeft gegeven met een samenvatting van de benchmarkresultaten van de Snapdragon 888: