Mjerila Qualcomm Snapdragon 888: Evo kako će se ponašati vodeći 5G telefoni iz 2021.

Ranije ovog mjeseca, Qualcomm je pozvao novinare na virtualni Snapdragon Tech Summit gdje najavili su Snapdragon 888 mobilna platforma. Qualcommov najnoviji SoC serije 8 donosi velika poboljšanja u obradi slike i strojnom učenju, ali samo inkrementalna poboljšanja u CPU i GPU performansama. Kako bismo saznali koliko je snažniji Qualcommov najnoviji čipset, obično imamo priliku pokrenuti mjerila na njegovom referentnom hardveru. Međutim, zbog bolesti COVID-19, Qualcomm nije mogao organizirati osobnu sesiju usporedne analize, pa su umjesto toga poslali unaprijed snimljeni video koji prikazuje referentni uređaj Qualcomm Snapdragon 888 koji pokreće raspon popularnih mjerila.

Na Snapdragon 888 referentnom uređaju, Qualcomm je proveo jedno holističko mjerilo (AnTuTu), mjerilo usmjereno na CPU (Geekbench), mjerilo usmjereno na GPU (GFXBench) i nekoliko AI/ML mjerila (AIMark, AITuTu, MLPerf i Procyon). Svaki benchmark pokrenut je tri puta, tako da je tvrtka podijelila prosječni rezultat kroz tri iteracije. Osim toga, tvrtka kaže da su pokrenuli svaki benchmark koristeći zadane postavke na referentnom dizajnu Snapdragon 888, što znači da nisu omogućili nikakav način rada visokih performansi. Međutim, budući da su referentni rezultati dostavljeni za nas, ne možemo sami provjeriti rezultate ili uvjete testiranja. Jednom kada se dočepamo komercijalnog uređaja s Qualcomm Snapdragonom 888, ponovno ćemo pokrenuti ova mjerila.

Ako ste zainteresirani za čitanje o svim specifikacijama i značajkama mobilne platforme Qualcomm Snapdragon 888, preporučujem da pročitate Idrees Patel izvrstan objašnjavač o Snapdragonu 888 objavljen ranije ovog mjeseca. Njegov članak ide u detalje o svim poboljšanjima koja je Qualcomm napravio na CPU-u, GPU-u, modemu, podsustavu povezivanja, ISP-u, AI motoru, DSP-u i svemu ostalom. Za brzu referencu, sastavio sam grafikon koji uspoređuje ključne specifikacije referentnog uređaja Qualcomm Snapdragon 888 u usporedbi s druga dva uređaja korištena u ovoj usporedbi referentnih vrijednosti: referentni uređaj sa Snapdragonom 865 i Pixel 4 sa Snapdragonom 855 da Koristio sam u prošlogodišnjoj sesiji usporedne analize. Taj grafikon možete pronaći ispod ispred rezultata usporedbe.

Qualcomm Snapdragon 888 Benchmark rezultati

Specifikacije testnih uređaja

Pregled mjerila

Uz ulaze iz Mario Serrafero

• AnTuTu: Ovo je holističko mjerilo. AnTuTu testira performanse CPU-a, GPU-a i memorije, uključujući i apstraktne testove i, odnedavno, relativne simulacije korisničkog iskustva (na primjer, podtest koji uključuje listanje kroz a ListView). Konačna ocjena ponderirana je prema razmatranjima dizajnera.
• GeekBench: CPU-centrični test koji koristi nekoliko računalnih opterećenja uključujući enkripciju, kompresiju (teksta i slika), renderiranje, fizičke simulacije, računalni vid, praćenje zraka, prepoznavanje govora i zaključivanje konvolucijske neuronske mreže na slikama. Raščlamba rezultata daje specifične metrike. Konačna ocjena ponderirana je u skladu s razmatranjima dizajnera, stavljajući veliki naglasak na cjelobrojnu izvedbu (65%), zatim float izvedbu (30%) i na kraju kripto (5%).
• GFXBench: Cilj je simulirati prikaz grafike videoigara korištenjem najnovijih API-ja. Mnogo efekata na zaslonu i visokokvalitetnih tekstura. Noviji testovi koriste Vulkan dok stari testovi koriste OpenGL ES 3.1. Izlazi su okviri tijekom testa i sličica u sekundi (drugi broj podijeljen s duljinom testa, u biti), umjesto ponderirane postići.
  • Astečke ruševine: Ovi testovi su računalno najzahtjevniji koje nudi GFXBench. Trenutačno vrhunski mobilni čipseti ne mogu izdržati 30 sličica u sekundi. Konkretno, test nudi geometriju stvarno velikog broja poligona, hardversku teselaciju, teksture visoke razlučivosti, globalno osvjetljenje i obilje mapiranja sjena, obilni efekti čestica, kao i cvjetanje i dubinska oštrina učinci. Većina ovih tehnika će naglasiti mogućnosti procesora za izračunavanje shadera.
  • Manhattan ES 3.0/3.1: Ovaj test ostaje relevantan s obzirom na to da su moderne igre već dostigle predloženu grafičku vjernost i implementiraju iste vrste tehnika. Sadrži složenu geometriju koja koristi višestruke ciljeve renderiranja, refleksije (kubične mape), mrežno renderiranje, mnoge odgođene izvore osvjetljenja, kao i cvjetanje i dubinsku oštrinu u prolazu nakon obrade.
• MLPerf Mobile: MLPerf Mobile je benchmark otvorenog koda za testiranje performansi mobilne umjetne inteligencije. Bilo je stvorio MLCommons, neprofitni, otvoreni inženjerski konzorcij, za "pružanje transparentnosti i jednakih uvjeta za usporedbu ML sustava, softvera i rješenja." Prva iteracija MLPerf Mobilea pruža mjerilo izvedbe zaključivanja za pregršt računalnog vida i prirodnog jezika zadaci obrade. Za više informacija pogledajte rad "MLPerf Mobile Inference Benchmark: Zašto je Mobile AI Benchmarking težak i što učiniti u vezi s tim."
  • Klasifikacija slike: Ovaj test uključuje zaključivanje oznake koja se primjenjuje na ulaznu sliku. Uobičajeni slučajevi upotrebe uključuju pretraživanje fotografija ili izdvajanje teksta. Korišteni referentni model je MobileNetEdgeTPU s 4M parametara, skup podataka je ImageNet 2012 (224x224), a ciljna kvaliteta je 98% od FP32 (76,19% Top-1).
  • Segmentacija slike: Ovaj test uključuje dijeljenje ulazne slike na označene objekte. Tipični slučajevi upotrebe uključuju samostalnu vožnju ili daljinsko očitavanje. Korišteni referentni model je DeepLab v3+ s 2M parametara, skup podataka je ADE20K (512x512), a ciljna kvaliteta je 93% od FP32 (0,244 mAP).
  • Detekcija objekta: Ovaj test uključuje crtanje graničnih okvira oko objekata kao i davanje oznake za te objekte. Uobičajeni slučajevi upotrebe uključuju unos kamere, primjerice za otkrivanje opasnosti ili analizu prometa tijekom vožnje. Referentni model je SSD-MobileNet v2 sa 17M parametara, skup podataka je COCO 2017 (300x300), a ciljna kvaliteta je 97% od FP32 (54,8% mIoU).
  • Obrada jezika: Ovaj test uključuje kolokvijalno odgovaranje na pitanja. Tipični slučajevi upotrebe uključuju online tražilice. Referentni model je MobileBERT s 25M parametara, skup podataka je mini Squad (Stanford Question Answering Dataset) v1.1 dev, a ciljna kvaliteta je 93% od FP32 (93,98% F1).

AnTuTu rezultati

Počevši s AnTuTu, možemo vidjeti da je referentni uređaj Qualcomm Snapdragon 888 osvojio gotovo 17.000 bodova više od Snapdragon 865 referentnog uređaja i gotovo 350.000 bodova više od Snapdragon 855 pokretanog Pixela 4. Kada pogledate CPU, GPU, memoriju i UX podrezultate (nisu prikazani ovdje), možemo vidjeti da najveća poboljšanja u performansama dolaze od GPU-a i memorije. Snapdragon 888 QRD postigao je približno 45,56% veći rezultat u AnTuTu GPU podtestu u usporedbi sa Snapdragon 865 QRD. Slično tome, Snapdragon 888 QRD je postigao oko 52,08% veći rezultat u podtestu memorije AnTuTu u usporedbi sa Snapdragon 865 QRD. U usporedbi s Pixelom 4 koji pokreće Snapdragon 855, 888 QRD nadmašio ga je u podtestovima GPU-a i memorije za 98,42%, odnosno 117,58%.

U međuvremenu, Snapdragon 888 QRD je postigao približno 30,05% i 90,28% više rezultate u AnTuTu CPU podtestu u usporedbi sa Snapdragon 865 QRD i Pixelom 4 koji pokreće Snapdragon 855. UX podrezultat teško je usporediti zbog različitih verzija OS-a Android koje je svaki uređaj pokretao (Pixel 4 i Snapdragon 865 QRD pokretali su Android 10 kada sam ih testirao prošle godine, dok 888 QRD pokreće Android 11.)

Veliko povećanje performansi memorije je vrlo zanimljivo. I 865 QRD i 888 QRD imaju 12 GB LPDDR5 RAM-a, iako ne znamo na kojem taktu je RAM. Naime, 865 podržava do 16 GB LPDDR5 RAM-a na 2750MHz, dok 888 podržava do 16GB LPDDR5 RAM-a na 3200MHz. Neravnine u CPU-u i GPU-u performanse su ovdje malo iznad naših očekivanja, jer je Qualcomm rekao da su dobici CPU-a i GPU-a Snapdragon 888 25% odnosno 35% godina za godinom. Ipak, mjerenja koja su više usmjerena na CPU i GPU i koja slijede pokazuju dobitke koji su više u skladu s našim očekivanjima.

Geekbench rezultati

U Geekbenchu ​​5.0, Qualcomm Snapdragon 888 daje 22,17% i 9,97% bolje performanse u jednojezgrenom i višejezgrenom testu u usporedbi sa Snapdragonom 865. U usporedbi sa Snapdragonom 855, 888 radi oko 89,17% odnosno 51,82% bolje.

Qualcomm kaže da Snapdragon 888 pruža 25% bolje performanse CPU-a u odnosu na Snapdragon 865. CPU-ova jedina ARM Cortex-X1 Prime jezgra radi na konzervativnih 2,84 GHz — istoj brzini takta kao i ARM posljednje generacije Cortex-A77 Prime jezgra — tako da je moguće da ćemo vidjeti takt od 3+GHz za neizbježni Snapdragon 888 "Plus" sredinom godine osvježiti. Ako je to slučaj, možemo očekivati ​​da će se performanse CPU-a još više poboljšati, iako je sada pošteno reći da su dobici solidni, ali samo inkrementalni.

Stoga, ako nadograđujete s dvije godine starog vodećeg modela, 888 bi trebao donijeti velika poboljšanja u CPU performansama. Ako nadograđujete s godinu dana starog vrhunskog modela, ti su dobici mnogo manji. Osobno sam uzbuđen vidjeti kako Snapdragon 888 uređaj rukuje emulacijom konzole.

Rezultati GFXBench-a

Qualcomm nije otkrio broj jezgri ili maksimalnu frekvenciju Adreno 660 GPU-a u Snapdragonu 888, tako da nemamo mnogo toga za reći o GPU-u osim njegovih poboljšanja u performansama. U GFXBench Manhattan testu, koji koristi OpenGL ES 3.0 API i renderira 1080p scenu izvan zaslona, ​​Snapdragon 888 je imao prosječna brzina sličica u sekundi od 169fps, oko 34,13% i 83,7% više od brzine sličica u sekundi koju postižu Snapdragon 865 i 855 odnosno. U testu GFXBench Aztec Ruins, koji koristi Vulkan graphics API i renderira 1080p scenu izvan zaslona, ​​Snapdragon 888 je imao prosječna brzina sličica u sekundi od 86 sličica u sekundi, oko 38,71% i 95,45% više od brzine sličica u sekundi koju postižu Snapdragon 865 i 855 odnosno.

Nema mnogo igara koje zahtijevaju mnogo GPU konjskih snaga ( nedavni Genshin Impact jedna je iznimka), ali poboljšane performanse GPU-a korisne su za više od samog igranja. No, igranje je definitivno najveći razlog zašto će ljudima biti stalo do ovih referentnih rezultata i Snapdragon 888 definitivno pruža rezultate sa svojim 35% bržim grafičkim renderiranjem i 20% boljom energetskom učinkovitošću godina za godinom. Međutim, ovi rezultati samo demonstriraju vrhunske performanse GPU-a, pa ćemo se morati ponovno osvrnuti GFXBench—kad se dočepamo komercijalnog hardvera—kako bismo dugoročno pokrenuli benchmark testovi performansi.

MLPerf rezultati

Možda su najzanimljiviji dobici u performansama umjetne inteligencije. Qualcomm općenito čini velike skokove u performansama AI svake godine, ali ovogodišnji dobici su najimpresivniji. AI motor Snapdragona 888 ima 26 TOPS performansi, povećanje u odnosu na 15 TOPS performansi Snapdragona 865 i 7 TOPS performansi Snapdragona 855. Qualcomm velik dio ovog dobitka pripisuje novoj spojenoj arhitekturi AI akceleratora Hexagon 780 DSP, spajajući skalarni, vektorski i tenzorski akceleratori za uklanjanje fizičkih udaljenosti i udruživanje memorije za dijeljenje i premještanje podataka efikasno.

Međutim, teško nam je pokazati koliko je zapravo značajan ovaj skok u izvedbi. Detaljno smo razgovarali o poteškoćama AI benchmarkinga tijekom naših intervjua s Travis Lanier iz Qualcomma, Gary Brotman i Ziad Asghar. Dobra vijest je da je, nakon naših razgovora s Qualcommovim izvršnim direktorima, došlo do značajnog napretka u području AI benchmarkova.

Na početku ovog članka spomenuli smo da je Qualcomm pokrenuo 4 različita AI benchmarka na referentnom uređaju Snapdragon 888: AIMark, AITuTu, MLPerf i UL-ov Procyon. Od ovih mjerila koja najviše obećavaju je MLPerf Mobile, koji će uskoro biti objavljen, benchmark za mobilnu umjetnu inteligenciju otvorenog koda koji podržava više dobavljača SoC-a, pružatelja ML okvira i modela proizvođači. Njegova početna serija rezultata mobilnog zaključivanja je javno, pa smo te rezultate upotrijebili za usporedbu sa Snapdragonom 888. Rezultati pokrivaju samo 3 uređaja: Xiaomi Redmi 10X 5G s procesorom MediaTek Dimensity 820, ASUS ROG Phone 3 s procesorom Qualcomm Snapdragon 865+ i Samsung Galaxy Note 20 s procesorom Exynos 990 Ultra 5G. Qualcomm nije dao rezultate kašnjenja — samo podatke o propusnosti — pa nismo iscrtali pune rezultate kao koje su podnijeli prodavači za provjeru od strane MLCommons.

U ovim odabranim referentnim vrijednostima računalnog vida i obrade prirodnog jezika, možemo vidjeti da je referentni uređaj Qualcomm Snapdragon 888 postigao najviše rezultate u sva četiri testa. Od 3 skupa čipova prethodne generacije, MediaTekov Dimensity 820 nadmašio je Snapdragon 865+ i Exynos 990 u otkrivanju objekata, dok je Exynos 990 nadmašio Snapdragon 865+ i Dimensity 820 u NLP. Qualcommov Snapdragon 865+ općenito je bio konkurentan, postigavši ​​jednak rezultat s Dimensityjem 820 u segmentaciji slike i nadmašivši ga u NLP-u. U ovim specifičnim testovima zaključivanja s ovim specifičnim modelima i skupovima podataka, Snapdragon 888 nadmašio je 3 skupa čipova posljednje generacije.

Bit će zanimljivo vidjeti koje aplikacije i značajke programeri i OEM-ovi mogu stvoriti koristeći AI snagu Snapdragona 888. Računalni vid igrat će posebno važnu ulogu u mnogim videografskim značajkama poboljšanim umjetnom inteligencijom koje ćemo izraditi vjerojatno ćemo vidjeti 2021., dok poboljšana izvedba NLP-a također može utjecati na susjedne aspekte videa poput zvuka snimanje.

Međutim, trebali bismo napomenuti da rezultati Snapdragona 888 jesu neprovjereno od strane MLCommons budući da dio procesa provjere organizacije zahtijeva da uređaj bude komercijalno dostupni (Qualcommovi referentni uređaji ne prodaju se putem operatera ili kao otključani telefon). Nadalje, izvedba ovisi o odabranim ML modelima, numeričkim formatima i ML okvirima, kao io tome koji su ML akceleratori dostupni.

Zaključak

Qualcommov Snapdragon 888 ponovno donosi inkrementalna poboljšanja performansi CPU-a i GPU-a, ali i golema poboljšanja obrade slike i umjetne inteligencije. Malo ljudi koji nadograđuju s dvije godine starog uređaja neće primijetiti poboljšanja CPU-a i GPU-a (osim ako ne planiraju pokrenuti emulatore ili igranje igrica kao što je Genshin Impact), ali će svakako primijetiti druga poboljšanja koja su napravljena u mobilnom tehnologija. Uređaji imaju zaslone veće stope osvježavanja, više kamera sa senzorima slike veće razlučivosti, podršku za 5G povezivost i mnogo više ovih dana. Ogromni dobici u performansama umjetne inteligencije proći će nezapaženo od strane prosječnog korisnika, ali uzbudljivo je razmišljati o mogućnostima koje su se otvorile s Qualcommovim novim čipsetom. Poboljšanja AI videa u stvarnom vremenu, streamovi s više kamera i još mnogo toga na horizontu su sljedeće godine, a tvrtke poput Googlea nastavljaju iznenađivati ​​značajkama koje objavljuju uz podršku strojnog učenja za obuku modeli.

No Qualcomm nije jedina tvrtka koja poboljšava svoju SoC ponudu. Rečeno je da Samsungov nadolazeći Exynos 2100 za Galaxy S21 donosi velika poboljšanja performansi. Tu je i Huaweijev novi HiSilicon Kirin 9000 i rastuća MediaTekova Dimensity linija mobilnih SoC-ova. Nadam se ponovnom posjetu ove referentne vrijednosti kada budemo imali barem jedan vrhunski uređaj sa Samsungovom, Huaweijevom i MediaTekovom sljedećom generacijom silicij.

Demonstracija usporedne analize Qualcomm Snapdragon 888

Na početku ovog članka spomenuo sam da je Qualcomm s nama podijelio unaprijed snimljeni video. Ako ste zainteresirani, postavio sam taj video na YouTube. Prikazuje Snapdragon 888 koji radi na svim referentnim vrijednostima koje sam podijelio gore, kao i preostalim referentnim vrijednostima umjetne inteligencije koje nisam prikazao.

U međuvremenu, evo tablice koju nam je dao Qualcomm, sažimajući rezultate benchmarka Snapdragona 888: