Benchmarking av Snapdragon 8 Gen 2: Setter forventninger til flaggskipsmarttelefoner i 2023

Bare forrige uke så kunngjøringen av Qualcomm Snapdragon 8 Gen 2 på selskapets teknologitoppmøte på Hawaii. Qualcomms siste brikkesett pakker oppgraderte spesifikasjoner og på TSMC-produksjonsprosessen, som, hvis 8 Plus Gen 1 er noe å gå etter, burde gi noen effektivitetsgevinster. På toppen av det, mens selskapet var nølende med å gi dyptgående tekniske detaljer i noen aspekter (inkludert forsømmelse av å nevne et Adreno- eller Kryo-versjonsnavn), kan vi fortsatt kjøre en rekke populære benchmarks på Snapdragon 8 Gen 2-referansen enhet. Disse referansene er med på å sette grunnlaget for ytelsesforventninger for kommende flaggskip i 2023, og gir oss noe å se frem til.

Om denne artikkelen: Qualcomm sponset min kollega, Rich Woods, for å delta på Snapdragon Tech Summit i Maui, Hawaii. Selskapet betalte flyet og hotellet hans. Qualcomm hadde imidlertid ingen innspill angående innholdet i denne artikkelen.

Hvordan vi benchmerket Snapdragon 8 Gen 2

På Snapdragon 8 Gen 2-referanseenheten fra Qualcomm kjørte vi én helhetlig benchmark (AnTuTu), en CPU-sentrisk benchmark (Geekbench), en GPU-sentrisk benchmark (GFXBench) og MLPerf benchmarks. Hver benchmark ble kjørt tre ganger, og vi tok gjennomsnittet av de tre resultatene. Qualcomm hadde aktivert et "UI Perf Mode"-alternativ som standard som vi lot være aktivert. Den prøver effektivt å tvinge benchmarking-appene til å kjøre på Prime-kjerner for å oppnå en litt høyere poengsum i visse benchmarks, så vær så snill å ha dette i bakhodet når du ser over disse resultatene. Det er også verdt å merke seg at når vi får tak i en kommersiell enhet med Qualcomm Snapdragon 8 Gen 2, vil vi kjøre disse referansene på nytt.

Qualcomm ga oss et sett med forventede referansescore basert på egen testing. Vi brukte dette kun for referanse, og en tabell er tilgjengelig nederst i denne artikkelen som inneholder referanseskårene som Qualcomm forventet at referanseenheten skulle oppnå.

Oversikt over Snapdragon 8 Gen 2 benchmarks

• AnTuTu: Dette er en helhetlig benchmark. AnTuTu tester CPU-, GPU- og minneytelsen, mens den inkluderer både abstrakte tester og, som på det siste, relaterte brukeropplevelsessimuleringer (for eksempel deltesten som involverer å bla gjennom en Listevisning). Den endelige poengsummen vektes i henhold til designerens betraktninger.
• GeekBench: Dette er en CPU-sentrisk test som bruker flere beregningsmessige arbeidsbelastninger, inkludert kryptering, komprimering (tekst og bilder), gjengivelse, fysikksimuleringer, datasyn, strålesporing, talegjenkjenning og konvolusjonell nevrale nettverksslutning på Bilder. Poengfordelingen gir spesifikke beregninger. Den endelige poengsummen vektes i henhold til designerens betraktninger, og legger stor vekt på heltallsytelse (65 %), deretter flytende ytelse (30 %) og til slutt kryptografi (5 %).
• GFXBench: Tar sikte på å simulere videospillgrafikkgjengivelse ved å bruke de nyeste API-ene, som inkluderer mange skjermeffekter og teksturer av høy kvalitet. Nyere tester bruker Vulkan, mens eldre tester bruker OpenGL ES 3.1. Utgangene er rammer under testen og bilder per sekund (det andre tallet delt på testlengden, egentlig) i stedet for en vektet poengsum.
  • Aztekiske ruiner: Disse testene er de mest beregningstunge som tilbys av GFXBench. For øyeblikket kan ikke de beste mobile brikkesettene opprettholde 30 FPS. Spesielt tilbyr testen veldig høy polygonantallsgeometri, maskinvaretesselasjon, høyoppløselige teksturer, global belysning og rikelig med skyggekartlegging, rikelige partikkeleffekter, samt oppblomstring og dybdeskarphet effekter. De fleste av disse teknikkene vil legge vekt på databehandlingsfunksjonene til prosessoren.
  • Manhattan ES 3.0/3.1: Denne testen er fortsatt relevant gitt at moderne spill allerede har kommet frem til den foreslåtte grafiske troskapen og implementerer de samme typene teknikker. Den har kompleks geometri som bruker flere gjengivelsesmål, refleksjoner (kubikkkart), maskegjengivelse, mange utsatte lyskilder, samt oppblomstring og dybdeskarphet i et etterbehandlingspass.
• MLPerf Mobile: MLPerf Mobile er en åpen kildekode-benchmark for testing av mobil AI-ytelse. Det var opprettet av MLCommons, et non-profit, åpent ingeniørkonsortium, for å "levere åpenhet og like konkurransevilkår for å sammenligne ML-systemer, programvare og løsninger." MLPerf Mobiles første iterasjon gir en referanseytelse for en håndfull datasyn og naturlig språk behandle oppgaver. For mer informasjon, se dette papiret med tittelen "MLPerf Mobile Inference Benchmark: Why Mobile AI Benchmarking Is Hard and What to Do About It."
  • Bildeklassifisering: Denne testen innebærer å utlede en etikett som skal brukes på et inndatabilde. Typiske brukstilfeller inkluderer bildesøk eller tekstutvinning. Referansemodellen som brukes er MobileNetEdgeTPU med 4M parametere, datasettet er ImageNet 2012 (224×224), og kvalitetsmålet er 98 % av FP32 (76,19 % Topp-1).
  • Bildesegmentering: Denne testen involverer partisjonering av et inngangsbilde i merkede objekter. Typiske brukstilfeller inkluderer selvkjøring eller fjernmåling. Referansemodellen som brukes er DeepLab v3+ med 2M parametere, datasettet er ADE20K (512×512), og kvalitetsmålet er 93 % av FP32 (0,244 mAP).
  • Objektgjenkjenning: Denne testen innebærer å tegne avgrensningsbokser rundt objekter og gi en etikett for disse objektene. Typiske brukstilfeller involverer kamerainndata som for å oppdage fare eller trafikkanalyse mens du kjører. Referansemodellen er SSD-MobileNet v2 med 17M parametere, datasettet er COCO 2017 (300×300), og kvalitetsmålet er 97 % av FP32 (54,8 % mIoU).
  • Språkbehandling: Denne testen innebærer å svare på spørsmål i daglig tale. Typiske brukstilfeller inkluderer søkemotorer på nettet. Referansemodellen er MobileBERT med 25M parametere, datasettet er mini Squad (Stanford Question Answering Dataset) v1.1 dev, og kvalitetsmålet er 93 % av FP32 (93,98 % F1).

Benchmark resultater

Antutu

Som tilfellet er tidligere år, ser vi omtrent 10 % forbedring i AnTuTu-poengsummen med årets Snapdragon 8 Gen 2. Dette er en betydelig nok forbedring som allerede fra starten antyder at Snapdragon 8 Gen 2 er et kraftigere brikkesett enn alle andre Qualcomm-brikker så langt. Det er ikke helt i tråd med den 35 % raskere CPU-ytelsen, men med AnTuTu som en helhetlig målestokk, betyr det ikke nødvendigvis at den helt vil reflektere noen CPU-gevinster.

Geekbench 5

Geekbench, derimot, er en CPU-sentrisk beregning av ytelse. Vi ser nesten 30 % gevinster i ytelse med flere kjerner, noe som ser ut til å være i rute for de 35 % forbedringene som Qualcomm annonserer. Benchmarks vil ikke alltid reflektere disse gevinstene som Qualcomm måler, men det er på grunn av forskjellen i måling. Hvert verktøy har en annen måte de bruker når de beregner poeng og testbrikkesett, og Geekbenchs måte avslører ikke nødvendigvis de forbedringene som Qualcomm vil ha gjort. En forbedring på 30 % som gjenspeiles i en forbedring fra år til år er fortsatt imponerende.

GFXBench

Qualcomm har ikke avslørt mye om Adreno GPU i Snapdragon 8 Gen 2, så vi har lite å si om GPUen annet enn dens gevinster i ytelse. Vi vet ikke kjernetallet, vi vet ikke frekvensen, og vi har ikke engang et versjonsnummer. Dette er en endring som kom med Snapdragon 8 Gen 1, og det er frustrerende når man sammenligner GPUer. Det er mye lettere å forklare forskjeller i sammenheng med versjonsnumre i stedet for å navngi den bestemte brikken hver og en tid.

Likevel viser resultatene en generell forbedring i grafikkytelsen, merkelig nok bortsett fra GFXBenchs T-Rex-test. Denne testen er en test med lav intensitet, så jeg vil ikke legge mye lager i den bortsett fra at den har en lavere bildefrekvens. Det kan godt hende at det bare er en optimalisering, og de andre, mer intensive testene gir mye bedre resultater. I GFXBenchs Manhattan-test, som bruker OpenGL ES 3.1 API og gjengir en 1080p-scene utenfor skjermen, hadde Snapdragon 8 Gen 1 en gjennomsnittlig framerate på 179 FPS. Derimot traff Snapdragon 8 Gen 2 222 FPS.

I GFXBenchs Aztec Ruins-test, som bruker Vulkan graphics API og gjengir en 1080p-scene utenfor skjermen, hadde Snapdragon 8 Gen 1 en gjennomsnittlig framerate på 49fps. Til sammenligning trakk Snapdragon 8 Gen 2 ut 65 FPS. Det er tydelig at grafikkytelsen har forbedret seg, og noen av disse er store gevinster. Det er en forbedring på 44 % i Aztec Ruins Vulkan-testen, og en forbedring på 24 % i Manhattan-testen.

Bare noen flotte Android-spill krever mye GPU-hestekrefter, men forbedret GPU-ytelse er nyttig for mer enn bare spill.

MLPerf

Qualcomm har vært spesielt opptatt av detaljer angående forbedringer av kunstig intelligens, og det har alltid vært tilfelle. Vi har ingen tall for TOPS (Trillion Operations Per Second), selv om selskapet har gitt oss informasjon om noen håndgripelige forbedringer, som en 435 % økning i ytelsen til kunstig intelligens og 65 % bedre ytelse pr. watt. Resultatene ovenfor viser hvordan Snapdragon 8 Gen 2 presterer i AI, og du kan sammenligne den med andre enheter som er testet av MLCommons.

Konklusjon og forventet score

Tabellen som Qualcomm ga oss forventede referansescore er nedenfor, som du kan se faller stort sett i tråd med resultatene vi oppnådde ovenfor.

Qualcomm sier at de første enhetene drevet av Snapdragon 8 Gen 2 vil være her innen utgangen av 2022. Vi vil holde øye med hvordan Snapdragon 8 Gen 2 presterer sammenlignet med slike som MediaTek Dimensity 9200. Hvis du oppgraderer fra en enhet som er minst to år eldre, vil forbedringene sannsynligvis være merkbare, selv om de enorme gevinstene i AI-ytelse sannsynligvis vil gå ubemerket hen av de fleste. Selskaper utnytter sjelden det fulle potensialet til AI når det kommer til Qualcomms brikkesett, og det er sannsynlig at det vil være det samme igjen her.

Qualcomm bekreftet at følgende selskaper vil lansere Snapdragon 8 Gen 2-drevne enheter: Redmagic, Honor, ZTE, Xiaomi, Meizu, Vivo, Sony, Redmi, OPPO, nubia, Motorola, OnePlus, Sharp, Asus, og iQOO. Vi ser frem til å prøve dette brikkesettet i en mer kontrollert setting i kommersielle enheter i fremtiden.