Benchmarking di Qualcomm Snapdragon 8 Gen 1: aspettative prestazionali dai flagship del 2022

Proprio la scorsa settimana ha visto l'avvento del nuovo Qualcomm Snapdragon 8 Gen 1 al vertice tecnologico dell'azienda alle Hawaii. L'ultimo chipset di Qualcomm racchiude tutta una serie di importanti miglioramenti su tutta la linea, rendendo questo uno dei dispositivi Qualcomm più entusiasmanti da molto tempo. Mentre la società era riluttante a fornire dettagli tecnici approfonditi in alcuni aspetti (incluso trascurare per citare il nome di una versione Adreno o Kryo), siamo stati comunque in grado di eseguire una gamma di benchmark popolari sul Dispositivo di riferimento Snapdragon 8 Gen 1. Questi benchmark aiutano a stabilire la linea di base delle aspettative di performance per i prossimi flagship nel 2022, dandoci un'altra cosa da guardare al prossimo anno.

Sul dispositivo di riferimento Snapdragon 8 Gen 1, abbiamo eseguito un benchmark olistico (AnTuTu), un benchmark incentrato sulla CPU (Geekbench), un benchmark incentrato sulla GPU (GFXBench) e benchmark MLPerf. Ogni benchmark è stato eseguito tre volte e abbiamo preso la media dei tre risultati. Qualcomm aveva abilitato per impostazione predefinita un'opzione "UI Perf Mode" che abbiamo disabilitato, poiché tenta effettivamente di forzare le app di benchmarking da eseguire su core Prime per ottenere un punteggio leggermente più alto in alcuni punti di riferimenti. Vale anche la pena notare che una volta che avremo messo le mani su un dispositivo commerciale con Qualcomm Snapdragon 8 Gen 1, ripeteremo questi benchmark.

Se sei interessato a leggere tutte le specifiche e le caratteristiche del cellulare Qualcomm Snapdragon 8 Gen 1 piattaforma che l'azienda ha messo a disposizione finora, allora vi consiglio di leggere il nostro esplicativo sul Qualcomm Snapdragon 8 Gen 1. Per una rapida consultazione, ho messo insieme un grafico che confronta le specifiche chiave di Qualcomm Snapdragon 8 Gen 1 rispetto agli altri due dispositivi di riferimento utilizzati in questo confronto benchmark. Puoi trovare quel grafico qui sotto prima dei risultati del benchmark.

Qualcomm ci ha fornito una serie di punteggi di benchmark attesi basati sui propri test. L'abbiamo usato solo come riferimento e in fondo a questo articolo è disponibile una tabella contenente i punteggi di riferimento che Qualcomm si aspettava che il dispositivo di riferimento raggiungesse.

A proposito di questo articolo: Qualcomm ha sponsorizzato il mio collega, Boschi Ricchi, per partecipare allo Snapdragon Tech Summit a Kona, nelle Hawaii. La compagnia ha pagato per il volo e l'hotel. Tuttavia, Qualcomm non ha avuto alcun input in merito al contenuto di questo articolo.

Risultati del benchmark Qualcomm Snapdragon 8 Gen 1

Specifiche del dispositivo di prova

Panoramica dei benchmark. Fare clic per espandere.

Panoramica dei benchmark

• AnTuTu: Questo è un benchmark olistico. AnTuTu testa le prestazioni di CPU, GPU e memoria, includendo sia test astratti che, di recente, simulazioni dell'esperienza utente correlabili (ad esempio, il test secondario che prevede lo scorrimento di un file Visualizzazione elenco). Il punteggio finale è ponderato in base alle considerazioni del progettista.
• GeekBench: un test incentrato sulla CPU che utilizza diversi carichi di lavoro computazionali tra cui crittografia, compressione (testo e immagini), rendering, simulazioni fisiche, visione artificiale, ray tracing, riconoscimento vocale e inferenza della rete neurale convoluzionale sulle immagini. La suddivisione del punteggio fornisce metriche specifiche. Il punteggio finale è ponderato in base alle considerazioni del progettista, ponendo una grande enfasi sulle prestazioni intere (65%), quindi sulle prestazioni float (30%) e infine sulla crittografia (5%).
• GFXBench: mira a simulare il rendering della grafica dei videogiochi utilizzando le API più recenti. Molti effetti su schermo e texture di alta qualità. I test più recenti utilizzano Vulkan mentre i test legacy utilizzano OpenGL ES 3.1. Le uscite sono frame durante il test e frame al secondo (l'altro numero diviso per la lunghezza del test, essenzialmente), invece di un weighted punto.
  • Rovine azteche: Questi test sono i più computazionalmente pesanti offerti da GFXBench. Attualmente, i migliori chipset per dispositivi mobili non possono sostenere 30 fotogrammi al secondo. Nello specifico, il test offre una geometria con un numero di poligoni davvero elevato, tassellazione hardware, texture ad alta risoluzione, illuminazione globale e abbondante mappatura delle ombre, numerosi effetti particellari, oltre a fioritura e profondità di campo effetti. La maggior parte di queste tecniche sottolineerà le capacità di calcolo dello shader del processore.
  • Manhattan ES 3.0/3.1: Questo test rimane rilevante dato che i giochi moderni sono già arrivati ​​alla fedeltà grafica proposta e implementano lo stesso tipo di tecniche. Presenta geometrie complesse che impiegano target di rendering multipli, riflessioni (mappe cubiche), rendering mesh, molte fonti di illuminazione differite, nonché fioritura e profondità di campo in un passaggio di post-elaborazione.
• MLPerf mobile: MLPerf Mobile è un benchmark open source per testare le prestazioni dell'IA mobile. Era creato da MLCommons, un consorzio di ingegneria aperta senza scopo di lucro, per "offrire trasparenza e parità di condizioni per confrontare sistemi, software e sistemi di machine learning soluzioni”. La prima iterazione di MLPerf Mobile fornisce un benchmark delle prestazioni di inferenza per una manciata di visione artificiale e linguaggio naturale compiti di elaborazione. Per maggiori informazioni si rimanda al documento “Benchmark di inferenza mobile MLPerf: perché il benchmarking AI mobile è difficile e cosa fare al riguardo.”
  • Classificazione delle immagini: Questo test comporta la deduzione di un'etichetta da applicare a un'immagine di input. I casi d'uso tipici includono ricerche di foto o estrazione di testo. Il modello di riferimento utilizzato è MobileNetEdgeTPU con parametri 4M, il dataset è ImageNet 2012 (224×224) e il target qualitativo è il 98% di FP32 (76,19% Top-1).
  • Segmentazione dell'immagine: Questo test comporta il partizionamento di un'immagine di input in oggetti etichettati. I casi d'uso tipici includono la guida autonoma o il telerilevamento. Il modello di riferimento utilizzato è DeepLab v3+ con parametri 2M, il set di dati è ADE20K (512×512) e l'obiettivo di qualità è il 93% di FP32 (0,244 mAP).
  • Rilevamento di oggetti: Questo test comporta il disegno di riquadri di delimitazione attorno agli oggetti e la fornitura di un'etichetta per tali oggetti. I casi d'uso tipici riguardano l'input della telecamera, ad esempio per il rilevamento dei pericoli o l'analisi del traffico durante la guida. Il modello di riferimento è SSD-MobileNet v2 con 17 milioni di parametri, il dataset è COCO 2017 (300×300) e l'obiettivo di qualità è il 97% di FP32 (54,8% mIoU).
  • Elaborazione del linguaggio: Questo test prevede di rispondere alle domande in modo colloquiale. I casi d'uso tipici includono i motori di ricerca online. Il modello di riferimento è MobileBERT con 25 milioni di parametri, il set di dati è mini Squad (Stanford Question Answering Dataset) v1.1 dev e l'obiettivo di qualità è il 93% di FP32 (93,98% F1).

Per saperne di più

---

Risultati di riferimento

AnTuTu

Iniziando con AnTuTu, possiamo vedere che il dispositivo di riferimento Qualcomm Snapdragon 8 Gen 1 ha segnato notevolmente superiore rispetto agli anni precedenti, con un importante aumento anno su anno di circa 240.000 punti. Si tratta di un miglioramento piuttosto importante di circa il 33%, ben al di sopra delle promesse di Qualcomm di un miglioramento della velocità del 20%. Questo è solo un test, ma AnTuTu è un ottimo strumento per confrontare l'abilità computazionale grezza tra dispositivi, anche se non tutto ciò si traduce in un utilizzo nel mondo reale.

Geekbench

In Geekbench 5.0, tuttavia, è tutta un'altra storia. Lo Snapdragon 8 Gen 1 dimostra poco o nessun guadagno rispetto al dispositivo di riferimento Snapdragon 888 dell'ultimo, e in effetti regredisce anche nelle prestazioni quando si tratta di multi-core. Non è nemmeno come se avessimo avuto un disastro: Qualcomm ci ha fornito una pagina informativa con i punteggi dei benchmark che ci si aspetta dallo Snapdragon 8 Gen 1, e questi sono in linea con ciò che ci si dovrebbe aspettare. In effetti, le prestazioni single-core erano superiori ai limiti superiori che Qualcomm ci ha fornito, mentre le prestazioni multi-core erano 20 punti al di sotto dei limiti inferiori di cosa aspettarsi.

Detto questo, penso sia chiaro che qualunque sia il test, non si tratta di test in cui Qualcomm ha apportato miglioramenti. Gli altri nostri test mostrano importanti miglioramenti rispetto ai chipset degli anni precedenti.

GFXBench

Qualcomm non ha rivelato molto sulla nuova GPU Adreno nello Snapdragon 8 Gen 1, quindi abbiamo poco da dire sulla GPU oltre ai suoi guadagni in termini di prestazioni. Non conosciamo il numero di core, non conosciamo la frequenza e non abbiamo nemmeno un numero di versione. Nel test Manhattan di GFXBench, che utilizza l'API OpenGL ES 3.0 e rende una scena a 1080p fuori dallo schermo, lo Snapdragon 8 Gen 1 aveva un framerate medio di 221fps, circa il 31% e il 75% in più rispetto ai framerate raggiunti dagli Snapdragon 888 e 865 rispettivamente. Nel test Aztec Ruins di GFXBench, che utilizza l'API grafica Vulkan e rende una scena a 1080p fuori dallo schermo, lo Snapdragon 8 Gen 1 aveva un framerate medio di 41 fps. C'è un avvertimento a questo però; i risultati precedenti sui dispositivi di riferimento sono stati testati in 1080p, mentre l'unico test di Aztec Ruins a cui abbiamo avuto accesso era in 1440p. L'aumento a 1080p richiede il rendering del 43,75% in più di pixel alla volta, motivo per cui le prestazioni sono diminuite in questo test.

Solo alcuni dei veri migliori giochi Android richiedono molta potenza della GPU, ma il miglioramento delle prestazioni della GPU è utile non solo per i giochi. Detto questo, il gioco è sicuramente il motivo principale per cui le persone si preoccuperanno di questi risultati di riferimento e il Snapdragon 8 Gen 1 sembra offrire con il suo rendering grafico più veloce del 35% e un'efficienza energetica migliore del 20% anno su anno anno. Questi risultati dimostrano solo le massime prestazioni della GPU, tuttavia, quindi dovremo rivisitare GFXBench: una volta che avremo messo le mani sull'hardware commerciale, al fine di eseguire le prestazioni a lungo termine del benchmark test.

MLPerf

Qualcomm è stato particolarmente cauto riguardo alle specifiche quando si tratta di miglioramenti dell'intelligenza artificiale. Non disponiamo di cifre per TOPS (Trillion Operations Per Second), sebbene disponiamo di alcune informazioni su altri miglioramenti. Ad esempio, c'è la terza generazione dell'hub di rilevamento dell'azienda, che ha anche dimostrato una serie di altre funzionalità specifiche del SoC alle Hawaii.

Tuttavia, è difficile per noi dimostrare quanto sia significativo questo salto di prestazioni. Abbiamo parlato in modo approfondito delle difficoltà del benchmarking AI durante le nostre interviste con Travis Lanier di Qualcomm, Gary Brotman e Ziad Asghar. La buona notizia è che, dalle nostre discussioni con i dirigenti di Qualcomm, ci sono stati progressi significativi nel campo dei benchmark AI.

I benchmark più promettenti attualmente disponibili si presentano sotto forma di MLPerf Mobile, che è un benchmark AI mobile open source supportato da più fornitori di SoC, fornitori di framework ML e modello produttori. Il suo batch iniziale di risultati di inferenza mobile è pubblico, quindi abbiamo utilizzato questi risultati per confrontare lo Snapdragon 8 Gen 1 con lo Snapdragon 888 dello Xiaomi Mix 4, il Dimensity 1100 del Vivo S9 5G e l'Exynos 2100 del Samsung Galaxy S21 Plus. Non abbiamo ottenuto risultati sulla latenza, ma solo dati sulla velocità effettiva, quindi non abbiamo tracciato i risultati completi inviati dai fornitori per la verifica da parte di MLCommons.

In questi selezionati benchmark di inferenza per la visione artificiale e l'elaborazione del linguaggio naturale, possiamo vedere che il dispositivo di riferimento Qualcomm Snapdragon 8 Gen 1 ha ottenuto i punteggi più alti in tutti e quattro i test lontano. Il Demensity 1100 è andato piuttosto male nel complesso. Lo Snapdragon 888 di Qualcomm ha comunque battuto comodamente gli altri in questo test, ma lo Snapdragon 8 Gen 1 è su un altro livello in tutti questi test.

Sarà interessante vedere quali applicazioni e funzionalità gli sviluppatori e gli OEM possono creare utilizzando l'abilità AI dello Snapdragon 8 Gen 1. La visione artificiale svolgerà un ruolo particolarmente importante nelle numerose funzionalità di videografia potenziate dall'intelligenza artificiale che offriremo probabilmente vedremo nel 2022, mentre il miglioramento delle prestazioni della PNL può anche influenzare aspetti adiacenti al video come l'audio registrazione. Aziende come Google stanno lavorando Google Tensore spingerà anche altri fornitori di SoC in questo reparto.

Conclusione

Di seguito è riportata la tabella che Qualcomm ci ha fornito con i punteggi di riferimento attesi, che potete vedere per lo più in linea con i risultati che abbiamo ottenuto sopra.

Punteggi benchmark previsti per il progetto di riferimento Snapdragon 8 Gen 1 (da Qualcomm)

Segno di riferimento	Versione	Metodo	Intervallo di punteggio previsto
Sistema	Geekbench ST	v5.4.2	Media di 3 iterazioni	~1220 - 1233
Sistema	Geekbench MT	v5.4.2	Media di 3 iterazioni	~3770 - 3810
Sistema	AnTuTu	v9.2.1	Media di 3 iterazioni	1a esecuzione: ~1mAvg di 3 iterazioni: ~980K
Sistema	PCMark	v3.0.4061	Media di 3 iterazioni	~17k
Browser (Chrome v95.0.4638.74 a 64 bit)	Jetstream	versione 2.0	Media di 3 iterazioni	~135 - 140
Navigatore	Tachimetro	versione 2.0	Media di 3 iterazioni	~123 - 126
Navigatore	Web XPRT	versione 3.0	Media di 3 iterazioni	~194 - 197
AI	AITuTu	versione 2.0	Media di 3 iterazioni	~2,550,000 - 2,600,000
AI	AIMark	versione 3.0	Media di 3 iterazioni	~97K
AI	MLPerf (su un QRD separato poiché l'esecuzione richiede 30 minuti)	v1.1	Media di 3 iterazioni	Classe immagine: ~2435 - 2450 Rilevamento oggetto: ~1180 - 1250 Segmento immagine: ~520 - 540 Comprensione della lingua: ~38 - 40 Classe immagine (offline): ~3580 - 3650
AI	ETH AIB	v4.0.4	Media di 3 iterazioni	~530-550k
Grafica	GFXBench Manhattan 3.0 fuori schermo (1080p) (FPS)	versione 5.0	Media di 3 iterazioni	~267 - 268 FPS
Grafica	GFXBench T-Rex - Fuori schermo (1080p) (FPS)	versione 5.0	Media di 3 iterazioni	~450 - 452 FPS
Grafica	GFXBench Manhattan 3.1 Fuori schermo (1080p) (FPS)	versione 5.0	Media di 3 iterazioni	~176 FPS
Grafica	GFXBench Car Chase Offscreen (1080p) ES3.1 (FPS)	versione 5.0	Media di 3 iterazioni	~97 - 98 FPS
Grafica	GFXBench Aztec Ruins Vulkan (Livello alto) Fuori campo (1440p) (FPS)	versione 5.0	Media di 3 iterazioni	~49 FPS
Grafica	GFXBench Aztec Ruins OpenGL (Livello alto) Fuori campo (1440p) (FPS)	versione 5.0	Media di 3 iterazioni	~43 FPS

Per saperne di più

Lo Snapdragon 8 Gen 1 apporta un sacco di miglioramenti rispetto al chipset dello scorso anno, soprattutto quando si tratta di AI. Sebbene ci siano sicuramente delle stranezze nei risultati legati alla CPU di Geekbench, è chiaro che ci sono miglioramenti generali. Se stai eseguendo l'aggiornamento da un dispositivo di due anni più vecchio (o più vecchio), i miglioramenti saranno probabilmente evidenti, anche se i massicci guadagni nelle prestazioni dell'IA probabilmente passeranno inosservati alla maggior parte. Le aziende raramente sfruttano tutto il potenziale dell'intelligenza artificiale quando si tratta dei chipset di Qualcomm, ed è probabile che anche qui sarà lo stesso.

Vale anche la pena notare che con l'aumento della concorrenza, potrebbe valere la pena aspettare per vedere cosa faranno Samsung e MediaTek. IL Dimensione 9000 Il chipset ha il potenziale per affrontare lo Snapdragon 8 Gen 1 quando si tratta di prestazioni, e non c'è ancora molto che sappiamo sull'imminente Exynos 2200. Personalmente non vedo l'ora di rivisitare questi benchmark su un dispositivo commerciale in futuro, in particolare in un ambiente più controllato.