Iată rezultatele benchmark-ului CPU, GPU și AI de la un dispozitiv de referință Qualcomm Snapdragon 888 în teste precum Geekbench, AnTuTu și altele.
La începutul acestei luni, Qualcomm a invitat jurnaliştii la un summit virtual Snapdragon Tech, unde au anunțat Snapdragon 888 platforma mobila. Cel mai recent SoC din seria 8 de la Qualcomm aduce îmbunătățiri majore procesării imaginilor și învățării automate, dar doar îmbunătățiri incrementale ale performanței CPU și GPU. Pentru a afla cât de mult mai puternic este cel mai recent chipset Qualcomm, de obicei avem ocazia să rulăm benchmark-uri pe hardware-ul său de referință. Din cauza COVID-19, totuși, Qualcomm nu a putut aranja o sesiune de evaluare comparativă în persoană, așa că, în schimb, au trimis ne-am un videoclip preînregistrat care arată un dispozitiv de referință Qualcomm Snapdragon 888 care rulează gama de populare repere.
Pe dispozitivul de referință Snapdragon 888, Qualcomm a rulat un benchmark holistic (AnTuTu), un benchmark centrat pe CPU (Geekbench), un benchmark centrat pe GPU (GFXBench) și mai multe benchmark-uri AI/ML (AIMark, AITuTu, MLPerf și Procion). Fiecare benchmark a fost rulat de trei ori, astfel încât compania a împărtășit rezultatul mediu în trei iterații. În plus, compania spune că a rulat fiecare benchmark folosind setările implicite pe designul de referință Snapdragon 888, ceea ce înseamnă că nu au activat niciun mod de înaltă performanță. Cu toate acestea, deoarece scorurile de referință ne-au fost furnizate, nu putem verifica singuri rezultatele sau condițiile de testare. Odată ce punem mâna pe un dispozitiv comercial cu Qualcomm Snapdragon 888, vom relua aceste benchmark-uri.
Dacă sunteți interesat să citiți toate specificațiile și caracteristicile platformei mobile Qualcomm Snapdragon 888, atunci vă recomand să citiți Explicatorul excelent al lui Idrees Patel despre Snapdragon 888 publicat la începutul acestei luni. Articolul său intră în detaliu despre toate îmbunătățirile aduse de Qualcomm CPU, GPU, modem, subsistem de conectivitate, ISP, motor AI, DSP și orice altceva. Pentru o referință rapidă, am alcătuit un grafic care compară specificațiile cheie ale dispozitivului de referință Qualcomm Snapdragon 888 în comparație cu celelalte două dispozitive utilizate în această comparație de referință: dispozitivul de referință alimentat cu Snapdragon 865 și Pixel 4 alimentat cu Snapdragon 855 acea Am folosit în sesiunea de benchmarking de anul trecut. Puteți găsi acest grafic mai jos înaintea rezultatelor de referință.
Rezultatele benchmark-ului Qualcomm Snapdragon 888
Specificațiile dispozitivelor de testare
Qualcomm Snapdragon 855 (Google Pixel 4) |
Qualcomm Snapdragon 865 (dispozitiv de referință Qualcomm) |
Qualcomm Snapdragon 888 (dispozitiv de referință Qualcomm) |
|
---|---|---|---|
CPU |
|
|
|
GPU |
Adreno 640 |
Adreno 650 |
Adreno 660 |
Afişa |
|
|
|
AI |
|
|
|
Memorie |
|
|
|
Depozitare |
64 GB UFS 2.1 |
128 GB UFS 3.0 |
512 GB UFS 3.0 |
ISP |
|
|
|
Proces de fabricație |
7nm (N7 de la TSMC) |
7nm (N7P de la TSMC) |
5nm (5LPE de la Samsung) |
Versiune software |
Android 10 |
Android 10 |
Android 11 |
Prezentare generală a benchmark-urilor
Cu intrări de la Mario Serrafero
- AnTuTu: Acesta este un etalon holistic. AnTuTu testează performanța procesorului, a GPU-ului și a memoriei, incluzând în același timp atât teste abstracte, cât și, în ultimul timp, simulări despre experiența utilizatorului (de exemplu, subtestul care implică derularea unui ListView). Scorul final este ponderat în funcție de considerentele designerului.
- GeekBench: un test centrat pe CPU care utilizează mai multe sarcini de lucru, inclusiv criptarea, compresia (text și imagini), randare, simulări fizice, viziune computerizată, trasare de raze, recunoaștere a vorbirii și deducere a rețelei neuronale convoluționale pe imagini. Defalcarea scorului oferă valori specifice. Scorul final este ponderat în funcție de considerentele designerului, punând un accent mare pe performanța întregului (65%), apoi pe performanța float (30%) și în cele din urmă pe cripto (5%).
-
GFXBench: își propune să simuleze redarea grafică a jocurilor video folosind cele mai recente API-uri. O mulțime de efecte pe ecran și texturi de înaltă calitate. Testele mai noi folosesc Vulkan, în timp ce testele vechi folosesc OpenGL ES 3.1. Ieșirile sunt cadre în timpul testului și cadre pe secundă (celălalt număr împărțit la lungimea testului, în esență), în loc de un ponderat Scor.
- Ruinele aztece: Aceste teste sunt cele mai grele din punct de vedere computațional oferite de GFXBench. În prezent, chipseturile mobile de top nu pot susține 30 de cadre pe secundă. Mai exact, testul oferă geometrie cu număr mare de poligoane, teselare hardware, texturi de înaltă rezoluție, iluminare globală și o mulțime de cartografiere a umbrelor, efecte de particule abundente, precum și înflorire și adâncime de câmp efecte. Cele mai multe dintre aceste tehnici vor sublinia capacitățile de calcul shader ale procesorului.
- Manhattan ES 3.0/3.1: Acest test rămâne relevant, având în vedere că jocurile moderne au ajuns deja la fidelitatea grafică propusă și implementează aceleași tipuri de tehnici. Prezintă geometrie complexă care utilizează mai multe ținte de randare, reflexii (hărți cubice), redare plasă, multe surse de lumină amânate, precum și înflorire și adâncime de câmp într-o trecere de post-procesare.
-
MLPerf Mobile: MLPerf Mobile este un etalon open-source pentru testarea performanței AI mobile. Era creat de MLCommons, un consorțiu de inginerie non-profit, deschis, pentru a „oferi transparență și condiții de concurență echitabile pentru compararea sistemelor ML, software-ului și soluții.” Prima iterație a MLPerf Mobile oferă un etalon de performanță de inferență pentru o mână de viziune computerizată și limbaj natural sarcini de prelucrare. Pentru mai multe informații, consultați lucrarea „MLPerf Mobile Inference Benchmark: De ce este dificilă evaluarea comparativă a IA pentru mobil și ce trebuie făcut în acest sens."
- Clasificarea imaginilor: Acest test implică deducerea unei etichete de aplicat unei imagini de intrare. Cazurile de utilizare tipice includ căutări de fotografii sau extragerea de text. Modelul de referință utilizat este MobileNetEdgeTPU cu parametri 4M, setul de date este ImageNet 2012 (224x224), iar ținta de calitate este 98% din FP32 (76,19% Top-1).
- Segmentarea imaginii: Acest test implică partiționarea unei imagini de intrare în obiecte etichetate. Cazurile de utilizare tipice includ auto-conducerea sau teledetecția. Modelul de referință utilizat este DeepLab v3+ cu parametri 2M, setul de date este ADE20K (512x512), iar ținta de calitate este de 93% din FP32 (0,244 mAP).
- Detectarea obiectelor: Acest test implică desenarea unor casete de delimitare în jurul obiectelor, precum și furnizarea unei etichete pentru acele obiecte. Cazurile de utilizare tipice implică intrarea camerei, cum ar fi pentru detectarea pericolelor sau analiza traficului în timpul conducerii. Modelul de referință este SSD-MobileNet v2 cu 17M parametri, setul de date este COCO 2017 (300x300), iar ținta de calitate este de 97% din FP32 (54,8% mIoU).
- Procesarea limbajului: Acest test implică răspunsul colocvial la întrebări. Cazurile de utilizare tipice includ motoarele de căutare online. Modelul de referință este MobileBERT cu 25M parametri, setul de date este mini Squad (Stanford Question Answering Dataset) v1.1 dev, iar ținta de calitate este 93% din FP32 (93,98% F1).
Rezultate AnTuTu
Începând cu AnTuTu, putem vedea că dispozitivul de referință Qualcomm Snapdragon 888 a obținut aproape 17.000 de puncte mai mare decât dispozitivul de referință Snapdragon 865 și cu aproape 350.000 de puncte mai mare decât Pixel alimentat cu Snapdragon 855 4. Când ne uităm la subscorurile CPU, GPU, memorie și UX (nu sunt afișate aici), putem vedea că cele mai mari îmbunătățiri ale performanței provin din GPU și memorie. Snapdragon 888 QRD a obținut un scor cu aproximativ 45,56% mai mare la subtestul GPU al lui AnTuTu, comparativ cu Snapdragon 865 QRD. În mod similar, Snapdragon 888 QRD a obținut un scor cu aproximativ 52,08% mai mare la subtestul de memorie al lui AnTuTu, comparativ cu Snapdragon 865 QRD. În comparație cu Pixel 4 alimentat cu Snapdragon 855, QRD-ul 888 l-a depășit la subtestele GPU și memorie cu 98,42%, respectiv 117,58%.
Între timp, Snapdragon 888 QRD a obținut un scor cu aproximativ 30,05% și 90,28% mai mare la subtestul CPU AnTuTu, comparativ cu Snapdragon 865 QRD și, respectiv, Pixel 4 alimentat cu Snapdragon 855. Subscore-ul UX este dificil de comparat din cauza diferitelor versiuni ale sistemului de operare Android pe care le rula fiecare dispozitiv (Pixel 4 și Snapdragon 865 QRD rulau Android 10 când le-am evaluat anul trecut, în timp ce 888 QRD rulează Android 11.)
Marele impuls în performanța memoriei este destul de interesant. Atât 865 QRD, cât și 888 QRD au 12 GB de RAM LPDDR5, deși nu știm la ce este tacțată RAM. În special, 865 acceptă până la 16 GB de RAM LPDDR5 la 2750 MHz, în timp ce 888 acceptă până la 16 GB de RAM LPDDR5 la 3200 MHz. Denivelările CPU și GPU performanța de aici este puțin peste așteptările noastre, deoarece Qualcomm a spus că câștigurile CPU și GPU ale Snapdragon 888 sunt de 25%, respectiv 35% an dupa an. Cu toate acestea, cu cât mai multe benchmark-uri centrate pe CPU și GPU care urmează arată câștiguri care sunt mai potrivite cu așteptările noastre.
Rezultate Geekbench
În Geekbench 5.0, Qualcomm Snapdragon 888 are o performanță cu 22,17% și 9,97% mai mare la testele single-core și, respectiv, multi-core, comparativ cu Snapdragon 865. În comparație cu Snapdragon 855, 888 are performanțe cu aproximativ 89,17% și, respectiv, 51,82% mai bune.
Qualcomm spune că Snapdragon 888 oferă o creștere cu 25% a performanței procesorului față de Snapdragon 865. Nucleul ARM Cortex-X1 Prime al procesorului este tactat la o frecvență conservatoare de 2,84 GHz - aceeași viteză de ceas ca și ARM de ultima generație. Core Cortex-A77 Prime – deci este posibil să vedem o viteză de ceas de 3+GHz pentru inevitabilul Snapdragon 888 „Plus” de la jumătatea anului reîmprospăta. Dacă acesta este cazul, ne putem aștepta ca performanța procesorului să se îmbunătățească și mai mult, deși în acest moment, este corect să spunem că câștigurile sunt solide, dar doar incrementale.
Astfel, dacă faceți upgrade de la un flagship vechi de doi ani, 888 ar trebui să aducă îmbunătățiri majore în performanța procesorului. Dacă faceți upgrade de la un flagship vechi de un an, aceste câștiguri sunt mult mai mici. Personal sunt încântat să văd cum un dispozitiv Snapdragon 888 gestionează emularea consolei.
Rezultate GFXBench
Qualcomm nu a dezvăluit numărul de nuclee sau frecvența maximă a GPU-ului Adreno 660 în Snapdragon 888, așa că avem puține de spus despre GPU, în afară de câștigurile sale în performanță. În testul Manhattan al lui GFXBench, care utilizează API-ul OpenGL ES 3.0 și redă o scenă de 1080p în afara ecranului, Snapdragon 888 a avut un framerate mediu de 169 fps, cu aproximativ 34,13% și 83,7% mai mare decât framerate-urile atinse de Snapdragon 865 și 855 respectiv. În testul Aztec Ruins de la GFXBench, care utilizează API-ul grafic Vulkan și redă o scenă de 1080p în afara ecranului, Snapdragon 888 a avut un framerate mediu de 86 fps, cu aproximativ 38,71% și 95,45% mai mare decât ratele de cadre realizate de Snapdragon 865 și 855 respectiv.
Nu există foarte multe jocuri care necesită o mulțime de cai putere GPU ( recent Genshin Impact este o excepție), dar performanța îmbunătățită a GPU-ului este utilă pentru mai mult decât doar pentru jocuri. Dar, jocurile sunt cu siguranță cel mai mare motiv pentru care oamenilor le va pesa de aceste rezultate de referință și de Snapdragon 888 ofera cu siguranta cu randarea grafica cu 35% mai rapida si eficienta energetica cu 20% mai buna an dupa an. Aceste rezultate demonstrează doar performanța de vârf a GPU-ului, totuși, așa că va trebui să revedem GFXBench — odată ce punem mâna pe hardware comercial — pentru a rula benchmark-ul pe termen lung teste de performanță.
Rezultate MLPerf
Poate că cele mai interesante câștiguri sunt în performanța AI. Qualcomm în general, face salturi uriașe în performanța AI în fiecare an, dar câștigurile din acest an sunt cele mai impresionante. Motorul AI al lui Snapdragon 888 are o performanță de 26 TOPS, o creștere față de performanța de 15 TOPS a lui Snapdragon 865 și performanța de 7 TOPS a lui Snapdragon 855. Qualcomm creditează o mare parte din acest câștig noii arhitecturi de accelerare AI fuzionate a Hexagon 780 DSP, fuzionand Acceleratoare scalare, vectoriale și tensoare pentru a elimina distanțele fizice și a pune în comun memoria pentru partajarea și mutarea datelor eficient.
Cu toate acestea, este dificil pentru noi să demonstrăm cât de semnificativ este de fapt acest salt în performanță. Am vorbit în profunzime despre dificultățile benchmarking-ului AI în timpul interviurilor noastre cu Travis Lanier de la Qualcomm, Gary Brotman și Ziad Asghar. Vestea bună este că, de la discuțiile noastre cu directorii Qualcomm, au existat progrese semnificative în domeniul benchmark-urilor AI.
La începutul acestui articol, am menționat că Qualcomm a rulat 4 benchmark-uri AI diferite pe dispozitivul de referință Snapdragon 888: AIMark, AITuTu, MLPerf și Procyon de la UL. Poate că cel mai promițător dintre aceste benchmark-uri este MLPerf Mobile, care va fi lansat în curând, Benchmark AI mobil cu sursă deschisă susținut de mai mulți furnizori de SoC, furnizori de cadru ML și model producători. Rezultă lotul său inițial de inferențe mobile este public, așa că am folosit acele rezultate pentru a compara cu Snapdragon 888. Rezultatele acoperă doar 3 dispozitive: Xiaomi Redmi 10X 5G alimentat cu MediaTek Dimensity 820, ASUS ROG Phone 3 cu Qualcomm Snapdragon 865+ și Samsung Galaxy Note 20 alimentat cu Exynos 990 Ultra 5G. Qualcomm nu a furnizat rezultate de latență - doar cifre de debit - așa că nu am reprezentat rezultatele complete ca prezentate de vânzători pentru verificare de către MLCommons.
În aceste criterii de referință selectate pentru viziunea computerizată și procesarea limbajului natural, putem vedea că dispozitivul de referință Qualcomm Snapdragon 888 a obținut cele mai mari scoruri în toate cele patru teste. Dintre cele 3 chipset-uri din generația anterioară, MediaTek Dimensity 820 a depășit performanța Snapdragon 865+ și Exynos 990 în detectarea obiectelor, în timp ce Exynos 990 a depășit Snapdragon 865+ și Dimensity 820 în NLP. Snapdragon 865+ de la Qualcomm a fost în general competitiv, obținând un scor egal cu Dimensity 820 în segmentarea imaginii și depășindu-l în NLP. În aceste teste specifice de inferență cu aceste modele și seturi de date specifice, Snapdragon 888 a depășit cele 3 chipseturi de ultimă generație.
Va fi interesant să vedem ce aplicații și funcții pot crea dezvoltatorii și OEM-urile folosind priceperea AI a Snapdragon 888. Viziunea computerizată va juca un rol deosebit de important în numeroasele funcții video îmbunătățite de AI pe care le vom avea probabil să se vadă în 2021, în timp ce performanța îmbunătățită a NLP poate afecta, de asemenea, aspecte adiacente video, cum ar fi audio înregistrare.
Ar trebui să remarcăm, totuși, că rezultatele lui Snapdragon 888 sunt neverificat de MLCommons, deoarece o parte a procesului de verificare al organizației necesită ca dispozitivul să fie disponibil comercial (dispozitivele de referință Qualcomm nu sunt vândute printr-un operator de transport sau ca un deblocat telefon). În plus, performanța depinde de modelele ML, formatele numerice și cadrele ML alese, precum și de ce acceleratoare ML sunt disponibile.
Concluzie
Snapdragon 888 de la Qualcomm aduce încă o dată îmbunătățiri incrementale performanței CPU și GPU, dar îmbunătățiri masive procesării imaginilor și AI. Nu mulți oameni care fac upgrade de la un dispozitiv vechi de doi ani vor observa îmbunătățirile CPU și GPU (cu excepția cazului în care intenționează să ruleze emulatoare sau joacă jocuri precum Genshin Impact), dar cu siguranță vor observa celelalte progrese care au fost făcute în mobil tehnologie. Dispozitivele au afișaje cu rată de reîmprospătare mai mare, mai multe camere cu senzori de imagine cu rezoluție mai mare, suport pentru conectivitate 5G și multe altele în prezent. Câștigurile masive în performanța AI vor trece neobservate de utilizatorul obișnuit, dar posibilitățile care s-au deschis cu noul chipset Qualcomm sunt interesante de gândit. Îmbunătățirile video AI în timp real, fluxurile cu mai multe camere și multe altele sunt la orizont anul viitor și companii precum Google continuă să surprindă cu funcțiile pe care le lansează, susținute de instruirea învățării automate modele.
Totuși, Qualcomm nu este singura companie care face îmbunătățiri în gama de SoC. Se spune că viitorul Exynos 2100 de la Samsung pentru Galaxy S21 va aduce îmbunătățiri majore de performanță. Există, de asemenea, noul HiSilicon Kirin 9000 de la Huawei și linia în creștere de SoC-uri mobile Dimensity a MediaTek. Sper să revăd aceste puncte de referință odată ce avem cel puțin un dispozitiv de vârf cu noua generație de la Samsung, Huawei și MediaTek siliciu.
Qualcomm Snapdragon 888 Benchmarking Demo
Am menționat la începutul acestui articol că Qualcomm ne-a distribuit un videoclip preînregistrat. Dacă ești interesat, am încărcat acel videoclip pe YouTube. Afișează Snapdragon 888 care rulează toate benchmark-urile pe care le-am împărtășit mai sus, precum și celelalte benchmark-uri AI pe care nu le-am prezentat.
Între timp, iată tabelul pe care ni l-a oferit Qualcomm care rezumă rezultatele benchmark-ului Snapdragon 888: