Evaluación comparativa de Qualcomm Snapdragon 8 Gen 1: expectativas de rendimiento de los buques insignia de 2022

La semana pasada vimos el advenimiento del nuevo Qualcomm Snapdragon 8 Gen 1 en la cumbre tecnológica de la compañía en Hawái. El último conjunto de chips de Qualcomm incluye una gran cantidad de mejoras importantes en todos los ámbitos, lo que lo convierte en uno de los dispositivos Qualcomm más emocionantes en mucho tiempo. Si bien la empresa dudaba en proporcionar detalles técnicos detallados en algunos aspectos (incluido el descuido por mencionar un nombre de versión de Adreno o Kryo), todavía pudimos ejecutar una gama de puntos de referencia populares en el Dispositivo de referencia Snapdragon 8 Gen 1. Estos puntos de referencia ayudan a establecer la línea de base de las expectativas de rendimiento para los próximos buques insignia en 2022, lo que nos brinda una cosa más que esperar el próximo año.

En el dispositivo de referencia Snapdragon 8 Gen 1, ejecutamos un punto de referencia holístico (AnTuTu), un punto de referencia centrado en la CPU (Geekbench), un punto de referencia centrado en la GPU (GFXBench) y puntos de referencia MLPerf. Cada punto de referencia se ejecutó tres veces y tomamos el promedio de los tres resultados. Qualcomm había habilitado una opción de "Modo de rendimiento de interfaz de usuario" de forma predeterminada que deshabilitamos, ya que intenta forzar las aplicaciones de evaluación comparativa para ejecutarse en núcleos Prime para obtener una puntuación ligeramente más alta en ciertos puntos de referencia También vale la pena señalar que una vez que tengamos en nuestras manos un dispositivo comercial con Qualcomm Snapdragon 8 Gen 1, volveremos a ejecutar estos puntos de referencia.

Si te interesa leer sobre todas las especificaciones y características del móvil Qualcomm Snapdragon 8 Gen 1 plataforma que la compañía ha puesto a disposición hasta ahora, entonces recomiendo leer nuestro explicativo sobre Qualcomm Snapdragon 8 Gen 1. Para una referencia rápida, preparé un cuadro que compara las especificaciones clave de Qualcomm Snapdragon 8 Dispositivo de referencia Gen 1 en comparación con los otros dos dispositivos de referencia utilizados en esta comparación comparativa. Puede encontrar ese gráfico a continuación antes de los resultados de referencia.

Qualcomm nos proporcionó un conjunto de puntajes de referencia esperados basados ​​en sus propias pruebas. Usamos esto solo como referencia, y hay una tabla disponible en la parte inferior de este artículo que contiene los puntajes de referencia que Qualcomm esperaba que lograra el dispositivo de referencia.

Acerca de este artículo: Qualcomm patrocinó a mi colega, Maderas ricas, para asistir a la Cumbre tecnológica de Snapdragon en Kona, Hawái. La empresa pagó su vuelo y hotel. Sin embargo, Qualcomm no hizo ningún comentario sobre el contenido de este artículo.

Resultados de referencia de Qualcomm Snapdragon 8 Gen 1

Especificaciones del dispositivo de prueba

Descripción general de los puntos de referencia. Haga clic para ampliar.

Descripción general de los puntos de referencia

• AnTuTu: Este es un punto de referencia holístico. AnTuTu prueba el rendimiento de la CPU, la GPU y la memoria, al tiempo que incluye pruebas abstractas y, últimamente, simulaciones de experiencia de usuario identificables (por ejemplo, la subprueba que implica desplazarse a través de una Vista de la lista). La puntuación final se pondera de acuerdo con las consideraciones del diseñador.
• GeekBench: una prueba centrada en la CPU que utiliza varias cargas de trabajo computacionales, incluido el cifrado, la compresión (texto e imágenes), renderizado, simulaciones físicas, visión artificial, trazado de rayos, reconocimiento de voz e inferencia de redes neuronales convolucionales en imágenes. El desglose de la puntuación proporciona métricas específicas. La puntuación final se pondera de acuerdo con las consideraciones del diseñador, poniendo un gran énfasis en el rendimiento de números enteros (65 %), luego el rendimiento flotante (30 %) y finalmente la criptografía (5 %).
• GFXBanco: tiene como objetivo simular la representación de gráficos de videojuegos utilizando las API más recientes. Muchos efectos en pantalla y texturas de alta calidad. Las pruebas más nuevas usan Vulkan mientras que las pruebas heredadas usan OpenGL ES 3.1. Las salidas son marcos durante la prueba y fotogramas por segundo (el otro número dividido por la duración de la prueba, esencialmente), en lugar de una ponderada puntaje.
  • ruinas aztecas: Estas pruebas son las más pesadas desde el punto de vista computacional que ofrece GFXBench. Actualmente, los mejores conjuntos de chips móviles no pueden soportar 30 fotogramas por segundo. Específicamente, la prueba ofrece una geometría de conteo de polígonos realmente alta, teselación de hardware, texturas de alta resolución, iluminación global y mucho mapeo de sombras, abundantes efectos de partículas, así como floración y profundidad de campo efectos La mayoría de estas técnicas pondrán énfasis en las capacidades de cómputo del shader del procesador.
  • Manhattan ES 3.0/3.1: Esta prueba sigue siendo relevante dado que los juegos modernos ya han llegado a la fidelidad gráfica propuesta e implementan el mismo tipo de técnicas. Cuenta con geometría compleja que emplea múltiples objetivos de renderizado, reflejos (mapas cúbicos), renderizado de malla, muchas fuentes de iluminación diferidas, así como floración y profundidad de campo en un pase de posprocesamiento.
• MLPerf móvil: MLPerf Mobile es un punto de referencia de código abierto para probar el rendimiento de la IA móvil. Fue creado por MLCommons, un consorcio de ingeniería abierto sin fines de lucro, para “brindar transparencia y igualdad de condiciones para comparar sistemas, software y ML de aprendizaje automático”. soluciones.” La primera iteración de MLPerf Mobile proporciona un punto de referencia de rendimiento de inferencia para un puñado de visión por computadora y lenguaje natural. tareas de procesamiento. Para obtener más información, consulte el artículo “Evaluación comparativa de inferencia móvil de MLPerf: por qué la evaluación comparativa de IA móvil es difícil y qué hacer al respecto.”
  • Clasificación de imágenes: Esta prueba implica inferir una etiqueta para aplicar a una imagen de entrada. Los casos de uso típicos incluyen búsquedas de fotos o extracción de texto. El modelo de referencia utilizado es MobileNetEdgeTPU con 4M de parámetros, el conjunto de datos es ImageNet 2012 (224×224) y el objetivo de calidad es el 98 % de FP32 (76,19 % Top-1).
  • Segmentación de imagen: Esta prueba consiste en dividir una imagen de entrada en objetos etiquetados. Los casos de uso típicos incluyen la conducción autónoma o la detección remota. El modelo de referencia utilizado es DeepLab v3+ con 2 millones de parámetros, el conjunto de datos es ADE20K (512×512) y el objetivo de calidad es el 93 % de FP32 (0,244 mAP).
  • Detección de objetos: Esta prueba implica dibujar cuadros delimitadores alrededor de los objetos y proporcionar una etiqueta para esos objetos. Los casos de uso típicos involucran la entrada de la cámara, como para la detección de peligros o el análisis del tráfico mientras se conduce. El modelo de referencia es SSD-MobileNet v2 con 17 millones de parámetros, el conjunto de datos es COCO 2017 (300×300) y el objetivo de calidad es el 97 % de FP32 (54,8 % mIoU).
  • Procesamiento del lenguaje: Esta prueba consiste en responder preguntas de manera coloquial. Los casos de uso típicos incluyen motores de búsqueda en línea. El modelo de referencia es MobileBERT con 25M de parámetros, el conjunto de datos es mini Squad (Stanford Question Answering Dataset) v1.1 dev, y el objetivo de calidad es el 93 % de FP32 (93,98 % F1).

leer más

---

Resultados de referencia

AnTuTu

Comenzando con AnTuTu, podemos ver que el dispositivo de referencia Qualcomm Snapdragon 8 Gen 1 anotó sustancialmente más alto que en años anteriores, con un importante aumento interanual de aproximadamente 240.000 puntos. Esta es una mejora bastante importante de aproximadamente el 33%, muy por encima de las promesas de Qualcomm de una mejora de la velocidad del 20%. Esta es solo una prueba, pero AnTuTu es una gran herramienta para comparar la capacidad computacional bruta entre dispositivos, incluso si no todo eso se traduce en uso en el mundo real.

Geekbench

En Geekbench 5.0, sin embargo, es una historia completamente diferente. El Snapdragon 8 Gen 1 demuestra poca o ninguna ganancia sobre el último dispositivo de referencia Snapdragon 888 y, de hecho, incluso retrocede en el rendimiento cuando se trata de multinúcleo. Tampoco es que tuviéramos un fracaso: Qualcomm nos dio una página informativa con puntajes de referencia que esperar del Snapdragon 8 Gen 1, y estos se ajustan a lo que debería esperarse. De hecho, el rendimiento de un solo núcleo fue superior a los límites superiores que nos dio Qualcomm, mientras que el rendimiento de varios núcleos estuvo 20 puntos por debajo de los límites inferiores de lo que se esperaba.

Habiendo dicho eso, creo que está claro que cualquiera que sea la prueba, Qualcomm no ha realizado mejoras. Nuestras otras pruebas muestran mejoras importantes con respecto a los conjuntos de chips de años anteriores.

GFXBanco

Qualcomm no ha revelado mucho sobre la nueva GPU Adreno en Snapdragon 8 Gen 1, por lo que tenemos poco que decir sobre la GPU aparte de sus mejoras en el rendimiento. No sabemos el recuento de núcleos, no sabemos la frecuencia y ni siquiera tenemos un número de versión. En la prueba Manhattan de GFXBench, que usa la API OpenGL ES 3.0 y muestra una escena de 1080p fuera de la pantalla, el Snapdragon 8 Gen 1 tuvo una velocidad de fotogramas promedio de 221 fps, aproximadamente un 31 % y un 75 % más alta que las velocidades de fotogramas alcanzadas por Snapdragon 888 y 865 respectivamente. En la prueba Aztec Ruins de GFXBench, que utiliza la API de gráficos Vulkan y muestra una escena fuera de pantalla de 1080p, el Snapdragon 8 Gen 1 tuvo una velocidad de fotogramas promedio de 41 fps. Sin embargo, hay una advertencia a esto; los resultados anteriores en dispositivos de referencia se probaron en 1080p, mientras que la única prueba de Aztec Ruins a la que tuvimos acceso fue en 1440p. Aumentar a 1080p requiere un 43,75 % más de píxeles para renderizar a la vez, por lo que el rendimiento disminuyó en esta prueba.

Sólo algunos de los muy mejores juegos android requieren una gran cantidad de potencia de GPU, pero el rendimiento de GPU mejorado es útil para algo más que jugar. Habiendo dicho eso, los juegos son definitivamente la razón más importante por la que la gente se preocupará por estos resultados de referencia, y el Snapdragon 8 Gen 1 parece cumplir con su renderizado de gráficos un 35 % más rápido y un 20 % más de eficiencia energética año tras año año. Sin embargo, estos resultados solo demuestran el rendimiento máximo de la GPU, por lo que tendremos que volver a visitar GFXBench: una vez que tengamos en nuestras manos el hardware comercial, para ejecutar el rendimiento a largo plazo del punto de referencia pruebas

MLPerf

Qualcomm ha sido particularmente cauteloso con respecto a los detalles cuando se trata de mejoras de inteligencia artificial. No tenemos cifras de TOPS (Trillion Operations Per Second), aunque sí tenemos información sobre otras mejoras. Está la tercera generación del centro de detección de la compañía, por ejemplo, y también demostró una serie de otras características específicas de SoC en Hawái.

Sin embargo, es difícil para nosotros demostrar cuán significativo es realmente este salto en el rendimiento. Hemos hablado en profundidad sobre las dificultades de la evaluación comparativa de la IA durante nuestras entrevistas con Travis Lanier de Qualcomm, Gary Brotman y Ziad Asghar. La buena noticia es que, desde nuestras conversaciones con los ejecutivos de Qualcomm, ha habido avances significativos en el campo de los puntos de referencia de IA.

Los puntos de referencia más prometedores actualmente disponibles vienen en forma de MLPerf Mobile, que es un Punto de referencia de IA móvil de código abierto respaldado por múltiples proveedores de SoC, proveedores de marco de ML y modelo productores. Su lote inicial de resultados de inferencia móvil es público, así que usamos esos resultados para comparar Snapdragon 8 Gen 1 con Snapdragon 888 en Xiaomi Mix 4, Dimensity 1100 en Vivo S9 5G y Exynos 2100 en Samsung Galaxy S21 Plus. No obtuvimos resultados de latencia, solo cifras de rendimiento, por lo que no trazamos los resultados completos tal como los enviaron los proveedores para que MLCommons los verificara.

En estos puntos de referencia de inferencia de procesamiento de lenguaje natural y visión artificial seleccionados, podemos ver que el dispositivo de referencia Qualcomm Snapdragon 8 Gen 1 logró los puntajes más altos en las cuatro pruebas por lejos. Al Demensity 1100 le fue bastante mal en general. El Snapdragon 888 de Qualcomm aún superó cómodamente a los demás en esta prueba, pero el Snapdragon 8 Gen 1 está en otro nivel en todas estas pruebas.

Será interesante ver qué aplicaciones y características pueden crear los desarrolladores y los OEM utilizando la destreza de IA del Snapdragon 8 Gen 1. La visión por computadora desempeñará un papel especialmente importante en las muchas funciones de videografía mejoradas por IA que presentaremos. es probable que se vea en 2022, mientras que el rendimiento mejorado de NLP también puede afectar los aspectos adyacentes del video, como el audio grabación. Empresas como Google trabajando en Tensor de Google también impulsará a otros proveedores de SoC en este departamento.

Conclusión

La tabla que Qualcomm nos proporcionó con los puntajes de referencia esperados se encuentra a continuación, que puede ver que coincide principalmente con los resultados que obtuvimos anteriormente.

Puntajes de referencia esperados para el diseño de referencia Snapdragon 8 Gen 1 (de Qualcomm)

Punto de referencia	Versión	Método	Rango de puntaje esperado
Sistema	Geekbench ST	v5.4.2	Promedio de 3 iteraciones	~1220 - 1233
Sistema	Geekbench MT	v5.4.2	Promedio de 3 iteraciones	~3770 - 3810
Sistema	AnTuTu	v9.2.1	Promedio de 3 iteraciones	1ra ejecución: ~1mAvg de 3 iteraciones: ~980K
Sistema	Marca de PC	v3.0.4061	Promedio de 3 iteraciones	~17k
Navegador (Chrome v95.0.4638.74 de 64 bits)	chorro de agua	v2.0	Promedio de 3 iteraciones	~135 - 140
Navegador	Velocímetro	v2.0	Promedio de 3 iteraciones	~123 - 126
Navegador	WebXPRT	v3.0	Promedio de 3 iteraciones	~194 - 197
AI	AITuTu	v2.0	Promedio de 3 iteraciones	~2,550,000 - 2,600,000
AI	AIMarca	v3.0	Promedio de 3 iteraciones	~97K
AI	MLPerf (en un QRD separado ya que tarda 30 minutos en ejecutarse)	v1.1	Promedio de 3 iteraciones	Clase de imagen: ~2435 - 2450 Detección de objetos: ~1180 - 1250 Segmento de imagen: ~520 - 540 Comprensión del lenguaje: ~38 - 40 Clase de imagen (fuera de línea): ~3580 - 3650
AI	ETH AIB	v4.0.4	Promedio de 3 iteraciones	~530 - 550k
Gráficos	GFXBench Manhattan 3.0 fuera de pantalla (1080p) (FPS)	v5.0	Promedio de 3 iteraciones	~267 - 268FPS
Gráficos	GFXBench T-Rex - Fuera de pantalla (1080p) (FPS)	v5.0	Promedio de 3 iteraciones	~450 - 452FPS
Gráficos	GFXBench Manhattan 3.1 fuera de pantalla (1080p) (FPS)	v5.0	Promedio de 3 iteraciones	~176FPS
Gráficos	GFXBench Persecución de autos fuera de pantalla (1080p) ES3.1 (FPS)	v5.0	Promedio de 3 iteraciones	~97 - 98FPS
Gráficos	GFXBench Aztec Ruins Vulkan (Nivel alto) Fuera de pantalla (1440p) (FPS)	v5.0	Promedio de 3 iteraciones	~49FPS
Gráficos	GFXBench Aztec Ruins OpenGL (Nivel alto) Fuera de pantalla (1440p) (FPS)	v5.0	Promedio de 3 iteraciones	~43FPS

leer más

El Snapdragon 8 Gen 1 trae un montón de mejoras con respecto al conjunto de chips del año pasado, especialmente cuando se trata de IA. Si bien definitivamente hay algunas rarezas en los resultados vinculados a la CPU de Geekbench, está claro que hay mejoras generales. Si está actualizando desde un dispositivo que es dos años más antiguo (o más), es probable que las mejoras sean notables, aunque es probable que la mayoría de las ganancias masivas en el rendimiento de la IA pasen desapercibidas. Las empresas rara vez aprovechan todo el potencial de la IA cuando se trata de los conjuntos de chips de Qualcomm, y es probable que vuelva a ser lo mismo aquí.

También vale la pena señalar que con la competencia calentándose, podría valer la pena esperar para ver qué hacen Samsung y MediaTek a continuación. El Dimensión 9000 El conjunto de chips tiene el potencial de enfrentarse al Snapdragon 8 Gen 1 en lo que respecta al rendimiento, y todavía no sabemos mucho sobre el próximo Exynos 2200. Personalmente, estoy ansioso por volver a visitar estos puntos de referencia en un dispositivo comercial en el futuro, particularmente en un entorno más controlado.