Comparando o Qualcomm Snapdragon 8 Gen 1: expectativas de desempenho dos carros-chefe de 2022

Na semana passada, vimos o advento do novo Qualcomm Snapdragon 8 Gen 1 no encontro de tecnologia da empresa no Havaí. O chipset mais recente da Qualcomm inclui uma série de melhorias importantes em todos os aspectos, tornando-o um dos dispositivos Qualcomm mais empolgantes em muito tempo. Embora a empresa hesitasse em fornecer detalhes técnicos detalhados em alguns aspectos (incluindo negligenciar para mencionar um nome de versão Adreno ou Kryo), ainda conseguimos executar uma gama de benchmarks populares no Dispositivo de referência Snapdragon 8 Gen 1. Esses benchmarks ajudam a definir a linha de base das expectativas de desempenho para os próximos carros-chefe em 2022, dando-nos mais uma coisa para esperar no próximo ano.

No dispositivo de referência Snapdragon 8 Gen 1, executamos um benchmark holístico (AnTuTu), um benchmark centrado na CPU (Geekbench), um benchmark centrado na GPU (GFXBench) e benchmarks MLPerf. Cada benchmark foi executado três vezes e tiramos a média dos três resultados. A Qualcomm habilitou uma opção "UI Perf Mode" por padrão que desativamos, pois ela tenta efetivamente forçar os aplicativos de benchmarking para rodar em núcleos Prime, a fim de obter uma pontuação um pouco mais alta em certos benchmarks. Também é importante notar que, assim que colocarmos as mãos em um dispositivo comercial com o Qualcomm Snapdragon 8 Gen 1, executaremos novamente esses benchmarks.

Se você estiver interessado em ler todas as especificações e recursos do celular Qualcomm Snapdragon 8 Gen 1 plataforma que a empresa disponibilizou até agora, então recomendo a leitura do nosso explicador sobre o Qualcomm Snapdragon 8 Geração 1. Para referência rápida, montei um gráfico comparando as principais especificações do Qualcomm Snapdragon 8 Gen 1 dispositivo de referência em comparação com os outros dois dispositivos de referência usados ​​nesta comparação de benchmark. Você pode encontrar esse gráfico abaixo antes dos resultados do benchmark.

A Qualcomm nos forneceu um conjunto de pontuações de benchmark esperadas com base em seus próprios testes. Usamos isso apenas para referência e uma tabela está disponível na parte inferior deste artigo contendo as pontuações de benchmark que a Qualcomm esperava que o dispositivo de referência alcançasse.

Sobre este artigo: Qualcomm patrocinou meu colega, Floresta Rica, para participar do Snapdragon Tech Summit em Kona, Havaí. A empresa pagou sua passagem e hotel. No entanto, a Qualcomm não deu nenhuma opinião sobre o conteúdo deste artigo.

Resultados do benchmark Qualcomm Snapdragon 8 Gen 1

Especificações do dispositivo de teste

Visão geral dos benchmarks. Clique para expandir.

Visão geral dos benchmarks

• AnTuTu: esta é uma referência holística. O AnTuTu testa o desempenho da CPU, GPU e memória, incluindo testes abstratos e, ultimamente, simulações de experiência do usuário relacionáveis ​​(por exemplo, o subteste que envolve a rolagem por um Exibição de lista). A pontuação final é ponderada de acordo com as considerações do designer.
• GeekBenchGenericName: Um teste centrado na CPU que usa várias cargas de trabalho computacionais, incluindo criptografia, compactação (texto e imagens), renderização, simulações físicas, visão computacional, traçado de raios, reconhecimento de fala e inferência de rede neural convolucional em imagens. A divisão da pontuação fornece métricas específicas. A pontuação final é ponderada de acordo com as considerações do designer, colocando grande ênfase no desempenho inteiro (65%), depois no desempenho flutuante (30%) e, finalmente, na criptografia (5%).
• GFXBench: visa simular a renderização de gráficos de videogame usando as APIs mais recentes. Muitos efeitos na tela e texturas de alta qualidade. Testes mais recentes usam Vulkan enquanto testes legados usam OpenGL ES 3.1. As saídas são quadros durante o teste e quadros por segundo (o outro número dividido pela duração do teste, essencialmente), em vez de um ponderado pontuação.
  • ruínas astecas: Esses testes são os mais pesados ​​computacionalmente oferecidos pelo GFXBench. Atualmente, os principais chipsets móveis não podem sustentar 30 quadros por segundo. Especificamente, o teste oferece geometria de contagem de polígonos realmente alta, mosaico de hardware, texturas de alta resolução, iluminação global e bastante mapeamento de sombras, efeitos de partículas abundantes, bem como brilho e profundidade de campo efeitos. A maioria dessas técnicas enfatizará os recursos de computação do sombreador do processador.
  • Manhattan ES 3.0/3.1: Este teste continua relevante dado que os jogos modernos já atingiram a fidelidade gráfica proposta e implementam os mesmos tipos de técnicas. Possui geometria complexa que emprega vários alvos de renderização, reflexões (mapas cúbicos), renderização de malha, muitas fontes de iluminação diferidas, bem como brilho e profundidade de campo em uma passagem de pós-processamento.
• MLPerf Móvel: O MLPerf Mobile é um benchmark de código aberto para testar o desempenho de IA móvel. Era criado por MLCommons, um consórcio de engenharia aberto e sem fins lucrativos, para “oferecer transparência e igualdade de condições para comparar sistemas de ML, software e soluções”. A primeira iteração do MLPerf Mobile fornece uma referência de desempenho de inferência para um punhado de visão computacional e linguagem natural tarefas de processamento. Para mais informações, consulte o documento “Benchmark de inferência móvel MLPerf: por que o benchmarking de IA móvel é difícil e o que fazer a respeito.”
  • Classificação da imagem: Este teste envolve inferir um rótulo para aplicar a uma imagem de entrada. Casos de uso típicos incluem pesquisas de fotos ou extração de texto. O modelo de referência usado é MobileNetEdgeTPU com parâmetros de 4M, o conjunto de dados é ImageNet 2012 (224×224) e a meta de qualidade é 98% de FP32 (76,19% Top-1).
  • Segmentação de imagem: Este teste envolve particionar uma imagem de entrada em objetos rotulados. Casos de uso típicos incluem direção autônoma ou sensoriamento remoto. O modelo de referência usado é o DeepLab v3+ com parâmetros de 2M, o conjunto de dados é ADE20K (512 × 512) e a meta de qualidade é 93% de FP32 (0,244 mAP).
  • Detecção de objetos: Este teste envolve desenhar caixas delimitadoras em torno de objetos, bem como fornecer um rótulo para esses objetos. Casos de uso típicos envolvem entrada de câmera, como para detecção de perigo ou análise de tráfego durante a condução. O modelo de referência é SSD-MobileNet v2 com 17 milhões de parâmetros, o conjunto de dados é COCO 2017 (300 × 300) e a meta de qualidade é 97% de FP32 (54,8% mIoU).
  • Processamento de linguagem: Este teste envolve responder a perguntas coloquialmente. Casos de uso típicos incluem mecanismos de pesquisa online. O modelo de referência é MobileBERT com parâmetros de 25M, o conjunto de dados é mini Squad (Stanford Question Answering Dataset) v1.1 dev, e a meta de qualidade é 93% de FP32 (93,98% F1).

consulte Mais informação

---

Resultados de referência

AnTuTu

Começando com o AnTuTu, podemos ver que o dispositivo de referência Qualcomm Snapdragon 8 Gen 1 pontuou substancialmente maior do que nos anos anteriores, com um grande aumento ano a ano de aproximadamente 240.000 pontos. Esta é uma grande melhoria de aproximadamente 33%, bem acima das promessas da Qualcomm de uma melhoria de velocidade de 20%. Este é apenas um teste, mas o AnTuTu é uma ótima ferramenta para comparar a capacidade computacional bruta entre dispositivos, mesmo que nem tudo isso se traduza em uso no mundo real.

Geekbench

No Geekbench 5.0, no entanto, é uma história totalmente diferente. O Snapdragon 8 Gen 1 demonstra pouco ou nenhum ganho em relação ao dispositivo de referência Snapdragon 888 do último e, de fato, até regride no desempenho quando se trata de multi-core. Também não é como se tivéssemos um fracasso - a Qualcomm nos deu uma página informativa com pontuações de benchmark a serem esperadas do Snapdragon 8 Gen 1, e elas estão de acordo com o que deveria ser esperado. Na verdade, o desempenho de núcleo único foi superior aos limites superiores que a Qualcomm nos forneceu, enquanto o desempenho de vários núcleos ficou 20 pontos abaixo dos limites inferiores esperados.

Dito isso, acho que está claro que qualquer que seja o teste, não é um teste onde a Qualcomm fez melhorias. Nossos outros testes mostram grandes melhorias em relação aos chipsets dos anos anteriores.

GFXBench

A Qualcomm não divulgou muito sobre a nova GPU Adreno no Snapdragon 8 Gen 1, então temos pouco a dizer sobre a GPU além de seus ganhos de desempenho. Não sabemos a contagem de núcleos, não sabemos a frequência e nem temos um número de versão. No teste Manhattan do GFXBench, que usa a API OpenGL ES 3.0 e renderiza uma cena 1080p fora da tela, o Snapdragon 8 Gen 1 teve uma taxa de quadros média de 221fps, cerca de 31% e 75% maior do que as taxas de quadros alcançadas pelo Snapdragon 888 e 865 respectivamente. No teste Aztec Ruins da GFXBench, que usa a API gráfica Vulkan e renderiza uma cena 1080p fora da tela, o Snapdragon 8 Gen 1 teve uma taxa de quadros média de 41 fps. Há uma ressalva para isso; os resultados anteriores em dispositivos de referência foram testados em 1080p, enquanto o único teste Aztec Ruins a que tivemos acesso foi em 1440p. Aumentar para 1080p requer 43,75% mais pixels a serem renderizados por vez, e é por isso que o desempenho diminuiu neste teste.

Apenas alguns dos muito melhores jogos Android exigem muita potência da GPU, mas o desempenho aprimorado da GPU é útil para mais do que apenas jogos. Dito isto, o jogo é definitivamente a maior razão pela qual as pessoas se preocupam com esses resultados de benchmark, e o O Snapdragon 8 Gen 1 parece oferecer renderização gráfica 35% mais rápida e eficiência de energia 20% melhor ano após ano ano. Esses resultados demonstram apenas o desempenho máximo da GPU, portanto, teremos que revisitar o GFXBench — assim que colocarmos as mãos no hardware comercial - para executar o desempenho de longo prazo do benchmark testes.

MLPerf

A Qualcomm tem sido particularmente cautelosa sobre detalhes quando se trata de melhorias na inteligência artificial. Não temos números de TOPS (trilhões de operações por segundo), embora tenhamos algumas informações sobre outras melhorias. Há a terceira geração do hub de detecção da empresa, por exemplo, e também demonstrou vários outros recursos específicos do SoC no Havaí.

No entanto, é difícil para nós demonstrar o quão significativo é esse salto no desempenho. Conversamos profundamente sobre as dificuldades do benchmarking de IA durante nossas entrevistas com Travis Lanier da Qualcomm, Gary Brotman e Ziad Asghar. A boa notícia é que, desde nossas discussões com os executivos da Qualcomm, houve avanços significativos no campo dos benchmarks de IA.

Os benchmarks mais promissores atualmente disponíveis vêm na forma de MLPerf Mobile, que é um Benchmark de IA móvel de código aberto apoiado por vários fornecedores de SoC, provedores de estrutura de ML e modelo produtores. Seu lote inicial de resultados de inferência móvel é público, então usamos esses resultados para comparar o Snapdragon 8 Gen 1 com o Snapdragon 888 no Xiaomi Mix 4, o Dimensity 1100 no Vivo S9 5G e o Exynos 2100 no Samsung Galaxy S21 Plus. Não obtivemos resultados de latência - apenas valores de taxa de transferência - portanto, não plotamos os resultados completos enviados pelos fornecedores para verificação pela MLCommons.

Nestes benchmarks selecionados de inferência de visão computacional e processamento de linguagem natural, podemos ver que o dispositivo de referência Qualcomm Snapdragon 8 Gen 1 alcançou as pontuações mais altas em todos os quatro testes por distante. O Demensity 1100 se saiu muito mal no geral. O Snapdragon 888 da Qualcomm ainda superou confortavelmente os demais neste teste, mas o Snapdragon 8 Gen 1 está em outro patamar em todos esses testes.

Será interessante ver quais aplicativos e recursos os desenvolvedores e OEMs podem criar usando as proezas de IA do Snapdragon 8 Gen 1. A visão computacional desempenhará um papel especialmente importante nos muitos recursos de videografia aprimorados por IA que veremos provavelmente veremos em 2022, enquanto o desempenho aprimorado do NLP também pode afetar aspectos adjacentes de vídeo, como áudio gravação. Empresas como o Google trabalhando em Google tensor também impulsionará outros fornecedores de SoC neste departamento.

Conclusão

A tabela que a Qualcomm nos forneceu com as pontuações de benchmark esperadas está abaixo, que você pode ver que está em linha com os resultados que alcançamos acima.

Pontuações de benchmark esperadas para o design de referência do Snapdragon 8 Gen 1 (da Qualcomm)

referência	Versão	Método	Faixa de Pontuação Esperada
Sistema	Geekbench ST	v5.4.2	Média de 3 iterações	~1220 - 1233
Sistema	Geekbench MT	v5.4.2	Média de 3 iterações	~3770 - 3810
Sistema	AnTuTu	v9.2.1	Média de 3 iterações	1ª execução: ~1mAvg de 3 iterações: ~980K
Sistema	PCMark	v3.0.4061	Média de 3 iterações	~17k
Navegador (Chrome v95.0.4638.74 64 bits)	JetStream	v2.0	Média de 3 iterações	~135 - 140
Navegador	Velocímetro	v2.0	Média de 3 iterações	~123 - 126
Navegador	WebXPRT	v3.0	Média de 3 iterações	~194 - 197
IA	AITuTu	v2.0	Média de 3 iterações	~2,550,000 - 2,600,000
IA	AIMark	v3.0	Média de 3 iterações	~97K
IA	MLPerf (em um QRD separado, pois leva 30 minutos para ser executado)	v1.1	Média de 3 iterações	Classe de imagem: ~2435 - 2450 Detecção de objeto: ~1180 - 1250 Segmento de imagem: ~520 - 540 Compreensão do idioma: ~38 - 40 Classe de imagem (off-line): ~3580 - 3650
IA	ETH AIB	v4.0.4	Média de 3 iterações	~530 - 550k
Gráficos	GFXBench Manhattan 3.0 fora da tela (1080p) (FPS)	v5.0	Média de 3 iterações	~267 - 268 FPS
Gráficos	GFXBench T-Rex - Fora da tela (1080p) (FPS)	v5.0	Média de 3 iterações	~450 - 452 FPS
Gráficos	GFXBench Manhattan 3.1 fora da tela (1080p) (FPS)	v5.0	Média de 3 iterações	~176 FPS
Gráficos	GFXBench Car Chase fora da tela (1080p) ES3.1 (FPS)	v5.0	Média de 3 iterações	~97 - 98 FPS
Gráficos	GFXBench Aztec Ruins Vulkan (High Tier) Fora da tela (1440p) (FPS)	v5.0	Média de 3 iterações	~49 FPS
Gráficos	GFXBench Aztec Ruins OpenGL (High Tier) Fora da tela (1440p) (FPS)	v5.0	Média de 3 iterações	~43 FPS

consulte Mais informação

O Snapdragon 8 Gen 1 traz uma tonelada de melhorias em relação ao chipset do ano passado, especialmente quando se trata de IA. Embora haja definitivamente alguma estranheza nos resultados vinculados à CPU do Geekbench, é claro que existem melhorias gerais. Se você estiver atualizando de um dispositivo dois anos mais antigo (ou mais antigo), as melhorias provavelmente serão perceptíveis, embora os ganhos maciços no desempenho da IA ​​provavelmente passem despercebidos pela maioria. As empresas raramente aproveitam todo o potencial da IA ​​quando se trata dos chipsets da Qualcomm, e é provável que seja o mesmo aqui.

Também vale a pena notar que, com o aquecimento da concorrência, pode valer a pena esperar para ver o que a Samsung e a MediaTek farão a seguir. O Dimensão 9000 O chipset tem potencial para enfrentar o Snapdragon 8 Gen 1 quando se trata de desempenho, e ainda não sabemos muito sobre o próximo Exynos 2200. Pessoalmente, estou ansioso para revisitar esses benchmarks em um dispositivo comercial no futuro, principalmente em um ambiente mais controlado.