Analyse comparative du Qualcomm Snapdragon 8 Gen 1: attentes en matière de performances des produits phares de 2022

La semaine dernière a vu l'avènement du nouveau Qualcomm Snapdragon 8 Gen 1 au sommet technologique de l'entreprise à Hawaï. Le dernier chipset de Qualcomm contient une multitude d'améliorations majeures à tous les niveaux, ce qui en fait l'un des appareils Qualcomm les plus excitants depuis longtemps. Bien que l'entreprise ait hésité à fournir des détails techniques approfondis sur certains aspects (notamment en négligeant pour mentionner un nom de version Adreno ou Kryo), nous étions toujours en mesure d'exécuter une gamme de benchmarks populaires sur le Appareil de référence Snapdragon 8 Gen 1. Ces repères aident à établir la base des attentes de performance pour les produits phares à venir en 2022, ce qui nous donne encore une chose à attendre l'année prochaine.

Sur l'appareil de référence Snapdragon 8 Gen 1, nous avons exécuté un benchmark holistique (AnTuTu), un benchmark centré sur le processeur (Geekbench), un benchmark centré sur le GPU (GFXBench) et des benchmarks MLPerf. Chaque benchmark a été exécuté trois fois, et nous avons pris la moyenne des trois résultats. Qualcomm avait activé par défaut une option "UI Perf Mode" que nous avons désactivée, car elle tente effectivement de forcer les applications de benchmarking à exécuter sur les cœurs Prime afin d'obtenir un score légèrement supérieur dans certains repères. Il convient également de noter qu'une fois que nous aurons mis la main sur un appareil commercial avec le Qualcomm Snapdragon 8 Gen 1, nous réexécuterons ces références.

Si vous souhaitez en savoir plus sur toutes les spécifications et fonctionnalités du mobile Qualcomm Snapdragon 8 Gen 1 plate-forme que la société a mise à disposition jusqu'à présent, alors je vous recommande de lire notre explicatif sur le Qualcomm Snapdragon 8 Gen 1. Pour une référence rapide, j'ai créé un tableau comparant les principales spécifications du Qualcomm Snapdragon 8 appareil de référence Gen 1 par rapport aux deux autres appareils de référence utilisés dans cette comparaison de référence. Vous pouvez trouver ce graphique ci-dessous avant les résultats de référence.

Qualcomm nous a fourni un ensemble de scores de référence attendus basés sur ses propres tests. Nous l'avons utilisé à titre de référence uniquement, et un tableau est disponible au bas de cet article contenant les scores de référence que Qualcomm attendait de l'appareil de référence.

À propos de cet article: Qualcomm a parrainé mon collègue, Bois riches, pour assister au Snapdragon Tech Summit à Kona, Hawaï. La société a payé son vol et son hôtel. Cependant, Qualcomm n'a eu aucune contribution concernant le contenu de cet article.

Résultats de référence de Qualcomm Snapdragon 8 Gen 1

Spécifications de l'appareil de test

Tour d'horizon des benchmarks. Cliquez pour agrandir.

Aperçu des points de repère

• AnTuTu: Il s'agit d'une référence holistique. AnTuTu teste les performances du CPU, du GPU et de la mémoire, tout en incluant à la fois des tests abstraits et, dernièrement, simulations d'expérience utilisateur pertinentes (par exemple, le sous-test qui consiste à faire défiler un ListView). La note finale est pondérée en fonction des considérations du concepteur.
• GeekBench: Un test centré sur le processeur qui utilise plusieurs charges de travail de calcul, notamment le chiffrement, la compression (texte et images), rendu, simulations physiques, vision par ordinateur, lancer de rayons, reconnaissance vocale et inférence de réseau neuronal convolutif sur les images. La répartition des scores donne des mesures spécifiques. Le score final est pondéré en fonction des considérations du concepteur, mettant l'accent sur les performances entières (65%), puis sur les performances flottantes (30%), et enfin sur la cryptographie (5%).
• GFXBench: Vise à simuler le rendu graphique de jeux vidéo en utilisant les dernières API. Beaucoup d'effets à l'écran et des textures de haute qualité. Les tests plus récents utilisent Vulkan tandis que les tests hérités utilisent OpenGL ES 3.1. Les sorties sont des trames pendant le test et images par seconde (l'autre nombre divisé par la longueur du test, essentiellement), au lieu d'un pondéré score.
  • Ruines aztèques: Ces tests sont les plus lourds en termes de calcul proposés par GFXBench. Actuellement, les meilleurs chipsets mobiles ne peuvent pas supporter 30 images par seconde. Plus précisément, le test offre une géométrie à nombre de polygones très élevé, une tessellation matérielle, des textures haute résolution, éclairage global et beaucoup de mappage des ombres, de nombreux effets de particules, ainsi que la floraison et la profondeur de champ effets. La plupart de ces techniques mettront l'accent sur les capacités de calcul de shader du processeur.
  • ManhattanES 3.0/3.1: Ce test reste pertinent étant donné que les jeux modernes sont déjà arrivés à sa proposition de fidélité graphique et mettent en œuvre les mêmes types de techniques. Il présente une géométrie complexe utilisant plusieurs cibles de rendu, des réflexions (cartes cubiques), un rendu de maillage, de nombreuses sources d'éclairage différées, ainsi que la floraison et la profondeur de champ dans une passe de post-traitement.
• MLPerf Mobile: MLPerf Mobile est une référence open source pour tester les performances de l'IA mobile. C'était créé par MLCommons, un consortium d'ingénierie ouvert à but non lucratif, pour "offrir de la transparence et des règles du jeu équitables pour comparer les systèmes, logiciels et solutions." La première itération de MLPerf Mobile fournit une référence de performance d'inférence pour une poignée de vision par ordinateur et de langage naturel tâches de traitement. Pour plus d'informations, reportez-vous au document "Benchmark d'inférence mobile MLPerf: pourquoi l'analyse comparative de l'IA mobile est difficile et que faire à ce sujet.”
  • Classement des images : Ce test consiste à déduire une étiquette à appliquer à une image d'entrée. Les cas d'utilisation typiques incluent les recherches de photos ou l'extraction de texte. Le modèle de référence utilisé est MobileNetEdgeTPU avec des paramètres 4M, le jeu de données est ImageNet 2012 (224×224) et l'objectif de qualité est de 98% de FP32 (76,19% Top-1).
  • Segmentation des images: Ce test implique le partitionnement d'une image d'entrée en objets étiquetés. Les cas d'utilisation typiques incluent l'auto-conduite ou la télédétection. Le modèle de référence utilisé est DeepLab v3+ avec des paramètres 2M, le jeu de données est ADE20K (512×512), et l'objectif de qualité est de 93% de FP32 (0,244 mAP).
  • Détection d'objet: Ce test implique de dessiner des cadres de délimitation autour des objets ainsi que de fournir une étiquette pour ces objets. Les cas d'utilisation typiques impliquent une entrée de caméra, par exemple pour la détection des dangers ou l'analyse du trafic pendant la conduite. Le modèle de référence est SSD-MobileNet v2 avec 17 millions de paramètres, le jeu de données est COCO 2017 (300×300) et l'objectif de qualité est de 97 % de FP32 (54,8 % mIoU).
  • Traitement du langage: Ce test consiste à répondre à des questions familièrement. Les cas d'utilisation typiques incluent les moteurs de recherche en ligne. Le modèle de référence est MobileBERT avec 25M de paramètres, le jeu de données est mini Squad (Stanford Question Answering Dataset) v1.1 dev, et l'objectif de qualité est de 93% de FP32 (93,98% F1).

En savoir plus

---

Résultats de référence

AnTuTu

En commençant par AnTuTu, nous pouvons voir que l'appareil de référence Qualcomm Snapdragon 8 Gen 1 a marqué sensiblement plus élevé que les années précédentes, avec une augmentation importante d'environ 240 000 d'une année sur l'autre points. Il s'agit d'une amélioration assez importante d'environ 33 %, bien au-dessus des promesses de Qualcomm d'une amélioration de la vitesse de 20 %. Ce n'est qu'un test, mais AnTuTu est un excellent outil pour comparer la capacité de calcul brute entre les appareils, même si tout cela ne se traduit pas par une utilisation dans le monde réel.

Geekbench

Dans Geekbench 5.0, cependant, c'est une toute autre histoire. Le Snapdragon 8 Gen 1 démontre peu ou pas de gain par rapport au dernier appareil de référence Snapdragon 888 et, en fait, régresse même en termes de performances en matière de multicœur. Ce n'est pas comme si nous avions un raté non plus – Qualcomm nous a donné une page d'informations avec des scores de référence à attendre du Snapdragon 8 Gen 1, et ceux-ci correspondent à ce à quoi on devrait s'attendre. En fait, les performances monocœur étaient supérieures aux limites supérieures que Qualcomm nous avait données, tandis que les performances multicœurs étaient inférieures de 20 points aux limites inférieures de ce à quoi s'attendre.

Cela dit, je pense qu'il est clair que quel que soit le test, ce ne sont pas les tests où Qualcomm a apporté des améliorations. Nos autres tests montrent des améliorations majeures par rapport aux chipsets des années précédentes.

GFXBench

Qualcomm n'a pas divulgué grand-chose sur le nouveau GPU Adreno du Snapdragon 8 Gen 1, nous avons donc peu de choses à dire sur le GPU autre que ses gains de performances. Nous ne connaissons pas le nombre de cœurs, nous ne connaissons pas la fréquence et nous n'avons même pas de numéro de version. Dans le test Manhattan de GFXBench, qui utilise l'API OpenGL ES 3.0 et rend une scène 1080p hors écran, le Snapdragon 8 Gen 1 avait un framerate moyen de 221fps, environ 31% et 75% supérieur aux framerates atteints par les Snapdragon 888 et 865 respectivement. Dans le test Aztec Ruins de GFXBench, qui utilise l'API graphique Vulkan et rend une scène 1080p hors écran, le Snapdragon 8 Gen 1 avait une fréquence d'images moyenne de 41 ips. Il y a cependant une mise en garde à cela; les résultats précédents sur des appareils de référence ont été testés en 1080p, alors que le seul test Aztec Ruins auquel nous avons eu accès était en 1440p. L'augmentation à 1080p nécessite le rendu de 43,75 % de pixels en plus à la fois, c'est pourquoi les performances ont diminué dans ce test.

Seuls quelques-uns des très meilleurs jeux Android nécessitent beaucoup de puissance GPU, mais l'amélioration des performances GPU est utile pour plus que les jeux. Cela dit, le jeu est certainement la principale raison pour laquelle les gens se soucient de ces résultats de référence, et le Snapdragon 8 Gen 1 semble offrir un rendu graphique 35% plus rapide et une efficacité énergétique 20% meilleure année après année année. Cependant, ces résultats ne démontrent que les performances maximales du GPU, nous devrons donc revoir GFXBench - une fois que nous mettons la main sur du matériel commercial - afin d'exécuter les performances à long terme de la référence essais.

MLPerf

Qualcomm a été particulièrement prudent sur les détails en ce qui concerne les améliorations de l'intelligence artificielle. Nous n'avons pas de chiffres pour TOPS (Trillion Operations Per Second), bien que nous ayons quelques informations sur d'autres améliorations. Il y a par exemple la troisième génération du hub de détection de l'entreprise, et il a également démontré un certain nombre d'autres fonctionnalités spécifiques au SoC à Hawaï.

Il nous est cependant difficile de démontrer à quel point ce saut de performance est réellement significatif. Nous avons parlé en profondeur des difficultés du benchmarking de l'IA lors de nos entretiens avec Travis Lanier de Qualcomm, Gary Brotman et Ziad Asghar. La bonne nouvelle est que, depuis nos discussions avec les dirigeants de Qualcomm, il y a eu des avancées significatives dans le domaine des benchmarks d'IA.

Les benchmarks les plus prometteurs actuellement disponibles se présentent sous la forme de MLPerf Mobile, qui est un Référence d'IA mobile open source soutenue par plusieurs fournisseurs de SoC, fournisseurs de framework ML et modèle producteurs. Son premier lot de résultats d'inférence mobile est publique, nous avons donc utilisé ces résultats pour comparer le Snapdragon 8 Gen 1 au Snapdragon 888 dans le Xiaomi Mix 4, le Dimensity 1100 dans le Vivo S9 5G et l'Exynos 2100 dans le Samsung Galaxy S21 Plus. Nous n'avons pas obtenu de résultats de latence - uniquement des chiffres de débit - nous n'avons donc pas tracé les résultats complets tels que soumis par les fournisseurs pour vérification par MLCommons.

Dans ces benchmarks d'inférence de vision par ordinateur et de traitement du langage naturel, nous pouvons voir que l'appareil de référence Qualcomm Snapdragon 8 Gen 1 a obtenu les meilleurs scores dans les quatre tests en loin. Le Demensity 1100 s'en sort assez mal dans l'ensemble. Le Snapdragon 888 de Qualcomm bat toujours confortablement les autres dans ce test, mais le Snapdragon 8 Gen 1 est à un autre niveau dans tous ces tests.

Il sera intéressant de voir quelles applications et fonctionnalités les développeurs et les OEM peuvent créer en utilisant les prouesses de l'IA du Snapdragon 8 Gen 1. La vision par ordinateur jouera un rôle particulièrement important dans les nombreuses fonctionnalités de vidéographie améliorée par l'IA que nous allons voir probablement en 2022, tandis que l'amélioration des performances de la PNL peut également affecter les aspects vidéo adjacents comme l'audio enregistrement. Des entreprises comme Google travaillent sur Tenseur Google poussera également d'autres fournisseurs de SoC dans ce département.

Conclusion

Le tableau que Qualcomm nous a fourni avec les scores de référence attendus est ci-dessous, que vous pouvez voir correspond principalement aux résultats que nous avons obtenus ci-dessus.

Scores de référence attendus pour la conception de référence Snapdragon 8 Gen 1 (de Qualcomm)

Référence	Version	Méthode	Fourchette de score attendue
Système	Geekbench ST	v5.4.2	Moyenne de 3 itérations	~1220 - 1233
Système	Geekbench MT	v5.4.2	Moyenne de 3 itérations	~3770 - 3810
Système	AnTuTu	v9.2.1	Moyenne de 3 itérations	1ère exécution: ~1 mAvg sur 3 itérations: ~980 K
Système	PCMark	v3.0.4061	Moyenne de 3 itérations	~17k
Navigateur (Chrome v95.0.4638.74 64 bits)	JetStream	v2.0	Moyenne de 3 itérations	~135 - 140
Navigateur	Compteur de vitesse	v2.0	Moyenne de 3 itérations	~123 - 126
Navigateur	Web XPRT	v3.0	Moyenne de 3 itérations	~194 - 197
IA	AITuTu	v2.0	Moyenne de 3 itérations	~2,550,000 - 2,600,000
IA	AIMark	v3.0	Moyenne de 3 itérations	~97K
IA	MLPerf (sur un QRD séparé car il faut 30 minutes pour s'exécuter)	v1.1	Moyenne de 3 itérations	Classe d'image: ~2435 - 2450 Détection d'objet: ~1180 - 1250 Segment d'image: ~520 - 540 Compréhension de la langue: ~38 - 40 Classe d'image (hors ligne): ~3580 - 3650
IA	EPF AIB	v4.0.4	Moyenne de 3 itérations	~530 - 550k
Graphique	GFXBench Manhattan 3.0 Hors écran (1080p) (FPS)	v5.0	Moyenne de 3 itérations	~267 - 268 images par seconde
Graphique	GFXBench T-Rex - Hors écran (1080p) (FPS)	v5.0	Moyenne de 3 itérations	~450 - 452 FPS
Graphique	GFXBench Manhattan 3.1 Hors écran (1080p) (FPS)	v5.0	Moyenne de 3 itérations	~176 images par seconde
Graphique	GFXBench Car Chase hors écran (1080p) ES3.1 (FPS)	v5.0	Moyenne de 3 itérations	~97 - 98 images par seconde
Graphique	GFXBench Aztec Ruins Vulkan (niveau élevé) hors écran (1440p) (FPS)	v5.0	Moyenne de 3 itérations	~49 images par seconde
Graphique	GFXBench Aztec Ruins OpenGL (haut niveau) hors écran (1440p) (FPS)	v5.0	Moyenne de 3 itérations	~43 images par seconde

En savoir plus

Le Snapdragon 8 Gen 1 apporte une tonne d'améliorations par rapport au chipset de l'année dernière, en particulier en ce qui concerne l'IA. Bien qu'il y ait certainement une certaine bizarrerie dans les résultats liés au processeur de Geekbench, il est clair qu'il y a des améliorations à tous les niveaux. Si vous effectuez une mise à niveau à partir d'un appareil qui a deux ans de plus (ou plus), les améliorations seront probablement perceptibles, bien que les gains massifs de performances de l'IA passeront probablement inaperçus pour la plupart. Les entreprises exploitent rarement le plein potentiel de l'IA en ce qui concerne les chipsets de Qualcomm, et il est probable qu'il en sera de même ici.

Il convient également de noter qu'avec l'intensification de la concurrence, il vaut peut-être la peine d'attendre de voir ce que Samsung et MediaTek feront ensuite. Le Dimension 9000 Le chipset a le potentiel de prendre de front le Snapdragon 8 Gen 1 en termes de performances, et nous ne savons pas encore grand-chose sur le prochain Exynos 2200. Je suis personnellement impatient de revoir ces repères sur un appareil commercial à l'avenir, en particulier dans un cadre plus contrôlé.