Aqui estão os resultados de benchmark de CPU, GPU e IA de um dispositivo de referência Qualcomm Snapdragon 888 em testes como Geekbench, AnTuTu e outros.
No início deste mês, a Qualcomm convidou jornalistas para um Snapdragon Tech Summit virtual, onde eles anunciaram o Snapdragon 888 plataforma móvel. O mais recente SoC da série 8 da Qualcomm traz grandes melhorias para processamento de imagem e aprendizado de máquina, mas apenas melhorias incrementais para desempenho de CPU e GPU. Para descobrir o quão mais poderoso é o chipset mais recente da Qualcomm, normalmente temos a oportunidade de executar benchmarks em seu hardware de referência. Devido ao COVID-19, no entanto, a Qualcomm não pôde organizar uma sessão de benchmarking presencial, então, em vez disso, eles enviaram nos um vídeo pré-gravado mostrando um dispositivo de referência Qualcomm Snapdragon 888 executando a gama de populares benchmarks.
No dispositivo de referência Snapdragon 888, a Qualcomm executou um benchmark holístico (AnTuTu), um benchmark centrado na CPU (Geekbench), um benchmark centrado em GPU (GFXBench) e vários benchmarks AI/ML (AIMark, AITuTu, MLPerf e Procion). Cada benchmark foi executado três vezes, então a empresa compartilhou o resultado médio em três iterações. Além disso, a empresa diz que executou cada benchmark usando as configurações padrão no design de referência do Snapdragon 888, o que significa que não habilitou nenhum modo de alto desempenho. No entanto, como as pontuações de referência foram fornecidas para nós, não podemos verificar os resultados ou as condições de teste por nós mesmos. Assim que colocarmos as mãos em um dispositivo comercial com o Qualcomm Snapdragon 888, executaremos novamente esses benchmarks.
Se você estiver interessado em ler todas as especificações e recursos da plataforma móvel Qualcomm Snapdragon 888, recomendo a leitura O excelente explicador de Idrees Patel sobre o Snapdragon 888 publicado no início deste mês. Seu artigo detalha todas as melhorias que a Qualcomm fez na CPU, GPU, modem, subsistema de conectividade, ISP, mecanismo de IA, DSP e tudo mais. Para referência rápida, montei um gráfico comparando as principais especificações do dispositivo de referência Qualcomm Snapdragon 888 em comparação com os outros dois dispositivos usados nesta comparação de benchmark: o dispositivo de referência com Snapdragon 865 e o Pixel 4 com Snapdragon 855 que Eu usei na sessão de benchmarking do ano passado. Você pode encontrar esse gráfico abaixo antes dos resultados do benchmark.
Resultados do benchmark Qualcomm Snapdragon 888
Especificações dos Dispositivos de Teste
Qualcomm Snapdragon 855 (Google Pixel 4) |
Qualcomm Snapdragon 865 (dispositivo de referência Qualcomm) |
Qualcomm Snapdragon 888 (dispositivo de referência Qualcomm) |
|
---|---|---|---|
CPU |
|
|
|
GPU |
Adreno 640 |
Adreno 650 |
Adreno 660 |
Mostrar |
|
|
|
IA |
|
|
|
Memória |
|
|
|
Armazenar |
64GB UFS 2.1 |
128GB UFS 3.0 |
UFS 3.0 de 512 GB |
ISP |
|
|
|
Processo de manufatura |
7nm (TSMC's N7) |
7nm (N7P da TSMC) |
5nm (5LPE da Samsung) |
Versão do software |
Android 10 |
Android 10 |
Android 11 |
Visão geral dos benchmarks
Com entradas de Mário Serrafero
- AnTuTu: esta é uma referência holística. O AnTuTu testa o desempenho da CPU, GPU e memória, incluindo testes abstratos e, ultimamente, simulações de experiência do usuário relacionáveis (por exemplo, o subteste que envolve a rolagem por um Exibição de lista). A pontuação final é ponderada de acordo com as considerações do designer.
- GeekBenchGenericName: Um teste centrado na CPU que usa várias cargas de trabalho computacionais, incluindo criptografia, compactação (texto e imagens), renderização, simulações físicas, visão computacional, traçado de raios, reconhecimento de fala e inferência de rede neural convolucional em imagens. A divisão da pontuação fornece métricas específicas. A pontuação final é ponderada de acordo com as considerações do designer, colocando grande ênfase no desempenho inteiro (65%), depois no desempenho flutuante (30%) e, finalmente, no cripto (5%).
-
GFXBench: visa simular a renderização de gráficos de videogame usando as APIs mais recentes. Muitos efeitos na tela e texturas de alta qualidade. Testes mais recentes usam Vulkan enquanto testes legados usam OpenGL ES 3.1. As saídas são quadros durante o teste e quadros por segundo (o outro número dividido pela duração do teste, essencialmente), em vez de um ponderado pontuação.
- ruínas astecas: Esses testes são os mais pesados computacionalmente oferecidos pelo GFXBench. Atualmente, os principais chipsets móveis não podem sustentar 30 quadros por segundo. Especificamente, o teste oferece geometria de contagem de polígonos realmente alta, mosaico de hardware, texturas de alta resolução, iluminação global e bastante mapeamento de sombras, efeitos de partículas abundantes, bem como brilho e profundidade de campo efeitos. A maioria dessas técnicas enfatizará os recursos de computação do sombreador do processador.
- Manhattan ES 3.0/3.1: Este teste continua relevante dado que os jogos modernos já atingiram a fidelidade gráfica proposta e implementam os mesmos tipos de técnicas. Possui geometria complexa que emprega vários alvos de renderização, reflexões (mapas cúbicos), renderização de malha, muitas fontes de iluminação diferidas, bem como brilho e profundidade de campo em uma passagem de pós-processamento.
-
MLPerf Móvel: O MLPerf Mobile é um benchmark de código aberto para testar o desempenho de IA móvel. Era criado por MLCommons, um consórcio de engenharia aberto e sem fins lucrativos, para "fornecer transparência e igualdade de condições para comparar sistemas de ML, software e soluções." A primeira iteração do MLPerf Mobile fornece uma referência de desempenho de inferência para um punhado de sistemas de visão computacional e linguagem natural tarefas de processamento. Para mais informações, consulte o documento "Benchmark de inferência móvel MLPerf: por que o benchmarking de IA móvel é difícil e o que fazer a respeito."
- Classificação da imagem: Este teste envolve inferir um rótulo para aplicar a uma imagem de entrada. Casos de uso típicos incluem pesquisas de fotos ou extração de texto. O modelo de referência usado é MobileNetEdgeTPU com parâmetros de 4M, o conjunto de dados é ImageNet 2012 (224x224) e a meta de qualidade é 98% de FP32 (76,19% Top-1).
- Segmentação de imagem: Este teste envolve particionar uma imagem de entrada em objetos rotulados. Casos de uso típicos incluem direção autônoma ou sensoriamento remoto. O modelo de referência usado é o DeepLab v3+ com parâmetros de 2M, o conjunto de dados é ADE20K (512x512) e a meta de qualidade é 93% de FP32 (0,244 mAP).
- Detecção de objetos: Este teste envolve desenhar caixas delimitadoras em torno de objetos, bem como fornecer um rótulo para esses objetos. Casos de uso típicos envolvem entrada de câmera, como para detecção de perigo ou análise de tráfego durante a condução. O modelo de referência é SSD-MobileNet v2 com 17 milhões de parâmetros, o conjunto de dados é COCO 2017 (300x300) e a meta de qualidade é 97% de FP32 (54,8% mIoU).
- Processamento de linguagem: Este teste envolve responder a perguntas coloquialmente. Casos de uso típicos incluem mecanismos de pesquisa online. O modelo de referência é MobileBERT com parâmetros de 25M, o conjunto de dados é mini Squad (Stanford Question Answering Dataset) v1.1 dev, e a meta de qualidade é 93% de FP32 (93,98% F1).
Resultados do AnTuTu
Começando com o AnTuTu, podemos ver que o dispositivo de referência Qualcomm Snapdragon 888 marcou quase 17.000 pontos superior ao dispositivo de referência Snapdragon 865 e quase 350.000 pontos superior ao Pixel com processador Snapdragon 855 4. Ao observar as subpontuações de CPU, GPU, memória e UX (não mostradas aqui), podemos ver que as maiores melhorias no desempenho vêm da GPU e da memória. O Snapdragon 888 QRD teve uma pontuação aproximadamente 45,56% maior no subteste de GPU do AnTuTu em comparação com o Snapdragon 865 QRD. Da mesma forma, o Snapdragon 888 QRD obteve uma pontuação cerca de 52,08% maior no subteste de memória do AnTuTu em comparação com o Snapdragon 865 QRD. Comparado com o Pixel 4 equipado com Snapdragon 855, o 888 QRD o superou nos subtestes de GPU e memória em 98,42% e 117,58%, respectivamente.
Enquanto isso, o Snapdragon 888 QRD obteve aproximadamente 30,05% e 90,28% a mais no subteste de CPU do AnTuTu em comparação com o Snapdragon 865 QRD e o Pixel 4 com processador Snapdragon 855, respectivamente. A subpontuação UX é difícil de comparar devido às diferentes versões do sistema operacional Android em cada dispositivo (o Pixel 4 e o Snapdragon 865 QRD estavam executando o Android 10 quando os comparei no ano passado, enquanto o 888 QRD está executando o Android 11.)
O grande aumento no desempenho da memória é bastante interessante. Tanto o 865 QRD quanto o 888 QRD apresentam 12 GB de RAM LPDDR5, embora não saibamos qual é o clock da RAM. Notavelmente, o 865 suporta até 16 GB de RAM LPDDR5 a 2750 MHz, enquanto o 888 suporta até 16 GB de RAM LPDDR5 a 3200 MHz. Os solavancos na CPU e GPU o desempenho aqui está um pouco acima das nossas expectativas, já que a Qualcomm disse que os ganhos de CPU e GPU do Snapdragon 888 são de 25% e 35%, respectivamente ano a ano. Os benchmarks mais centrados em CPU e GPU que seguem mostram ganhos que estão mais de acordo com nossas expectativas.
Resultados do Geekbench
No Geekbench 5.0, o Qualcomm Snapdragon 888 apresenta desempenho 22,17% e 9,97% superior nos testes single-core e multi-core, respectivamente, em comparação com o Snapdragon 865. Comparado ao Snapdragon 855, o 888 tem desempenho cerca de 89,17% e 51,82% melhor, respectivamente.
A Qualcomm diz que o Snapdragon 888 oferece um aumento de 25% no desempenho da CPU em relação ao Snapdragon 865. O único núcleo ARM Cortex-X1 Prime da CPU tem clock conservador de 2,84 GHz - a mesma velocidade de clock do ARM de última geração Núcleo Cortex-A77 Prime - então é possível que veremos uma velocidade de clock de 3+ GHz para o inevitável Snapdragon 888 "Plus" no meio do ano atualizar. Se for esse o caso, podemos esperar que o desempenho da CPU melhore ainda mais, embora agora seja justo dizer que os ganhos são sólidos, mas meramente incrementais.
Portanto, se você estiver atualizando de um carro-chefe de dois anos, o 888 deve trazer grandes melhorias no desempenho da CPU. Se você estiver atualizando de um carro-chefe de um ano, esses ganhos são muito menores. Estou pessoalmente animado para ver como um dispositivo Snapdragon 888 lida com a emulação de console.
Resultados GFXBench
A Qualcomm não divulgou a contagem de núcleos ou a frequência máxima da GPU Adreno 660 no Snapdragon 888, então temos pouco a dizer sobre a GPU além de seus ganhos em desempenho. No teste Manhattan do GFXBench, que usa a API OpenGL ES 3.0 e renderiza uma cena 1080p fora da tela, o Snapdragon 888 teve um taxa de quadros média de 169 fps, cerca de 34,13% e 83,7% superior às taxas de quadros alcançadas pelo Snapdragon 865 e 855 respectivamente. No teste Aztec Ruins da GFXBench, que usa a API gráfica Vulkan e renderiza uma cena 1080p fora da tela, o Snapdragon 888 teve um taxa de quadros média de 86fps, cerca de 38,71% e 95,45% superior às taxas de quadros alcançadas pelo Snapdragon 865 e 855 respectivamente.
Não há muitos jogos que exijam muita potência de GPU (o o impacto recente de Genshin é uma exceção), mas o desempenho aprimorado da GPU é útil para mais do que apenas jogos. Mas os jogos são definitivamente a maior razão pela qual as pessoas se preocupam com esses resultados de benchmark, e o O Snapdragon 888 definitivamente oferece sua renderização gráfica 35% mais rápida e eficiência de energia 20% melhor ano a ano. Esses resultados demonstram apenas o desempenho máximo da GPU, portanto, teremos que revisitar GFXBench - assim que colocarmos as mãos no hardware comercial - para executar o benchmark de longo prazo testes de performance.
Resultados MLPerf
Talvez os ganhos mais interessantes estejam no desempenho da IA. qualcomm geralmente dá grandes saltos no desempenho da IA a cada ano, mas os ganhos deste ano são os mais impressionantes. O mecanismo AI do Snapdragon 888 possui desempenho de 26 TOPS, um aumento do desempenho de 15 TOPS do Snapdragon 865 e desempenho de 7 TOPS do Snapdragon 855. A Qualcomm credita grande parte desse ganho à nova arquitetura de acelerador AI fundido do Hexagon 780 DSP, fundindo o aceleradores escalares, vetoriais e tensoriais para eliminar distâncias físicas e memória de pool para compartilhamento e movimentação de dados eficientemente.
No entanto, é difícil para nós demonstrar o quão significativo é esse salto no desempenho. Conversamos profundamente sobre as dificuldades do benchmarking de IA durante nossas entrevistas com Travis Lanier da Qualcomm, Gary Brotman e Ziad Asghar. A boa notícia é que, desde nossas discussões com os executivos da Qualcomm, houve avanços significativos no campo dos benchmarks de IA.
No início deste artigo, mencionamos que a Qualcomm executou 4 benchmarks de IA diferentes no dispositivo de referência Snapdragon 888: AIMark, AITuTu, MLPerf e Procyon da UL. Talvez o mais promissor desses benchmarks seja o MLPerf Mobile, que será lançado em breve, Benchmark de IA móvel de código aberto apoiado por vários fornecedores de SoC, provedores de estrutura de ML e modelo produtores. Seu lote inicial de resultados de inferência móvel é público, então usamos esses resultados para comparar com o Snapdragon 888. Os resultados abrangem apenas 3 dispositivos: o Xiaomi Redmi 10X 5G com MediaTek Dimensity 820, o ASUS ROG Phone 3 com Qualcomm Snapdragon 865+ e Samsung Galaxy Note 20 com Exynos 990 Ultra 5G. A Qualcomm não forneceu resultados de latência - apenas números de taxa de transferência - portanto, não plotamos os resultados completos como enviado pelos vendedores para verificação por MLCommons.
Nesses benchmarks selecionados de inferência de visão computacional e processamento de linguagem natural, podemos ver que o dispositivo de referência Qualcomm Snapdragon 888 alcançou as pontuações mais altas em todos os quatro testes. Dos 3 chipsets da geração anterior, o Dimensity 820 da MediaTek superou o Snapdragon 865+ e Exynos 990 em detecção de objetos, enquanto o Exynos 990 superou o Snapdragon 865+ e o Dimensity 820 em PNL. O Snapdragon 865+ da Qualcomm foi geralmente competitivo, pontuando no mesmo nível do Dimensity 820 em segmentação de imagem e superando-o em NLP. Nesses testes de inferência específicos com esses modelos e conjuntos de dados específicos, o Snapdragon 888 superou os 3 chipsets de última geração.
Será interessante ver quais aplicativos e recursos os desenvolvedores e OEMs podem criar usando as proezas de IA do Snapdragon 888. A visão computacional desempenhará um papel especialmente importante nos muitos recursos de videografia aprimorados por IA que veremos provável ver em 2021, enquanto o desempenho aprimorado do NLP também pode afetar aspectos adjacentes de vídeo, como áudio gravação.
Devemos notar, no entanto, que os resultados do Snapdragon 888 são não verificado pela MLCommons, pois parte do processo de verificação da organização exige que o dispositivo seja disponível comercialmente (os dispositivos de referência da Qualcomm não são vendidos por meio de uma operadora ou como desbloqueado telefone). Além disso, o desempenho depende de quais modelos de ML, formatos numéricos e estruturas de ML são escolhidos, bem como de quais aceleradores de ML estão disponíveis.
Conclusão
O Snapdragon 888 da Qualcomm mais uma vez traz melhorias incrementais para o desempenho da CPU e GPU, mas grandes melhorias para processamento de imagem e IA. Poucas pessoas que atualizam de um dispositivo de dois anos perceberão as melhorias na CPU e na GPU (a menos que planejem executar emuladores ou jogando jogos como Genshin Impact), mas eles definitivamente notarão os outros avanços que foram feitos em dispositivos móveis tecnologia. Os dispositivos têm exibições com taxa de atualização mais alta, mais câmeras com sensores de imagem de resolução mais alta, suporte para conectividade 5G e muito mais atualmente. Os enormes ganhos no desempenho da IA passarão despercebidos pelo usuário médio, mas as possibilidades que se abriram com o novo chipset da Qualcomm são interessantes de se refletir. Aprimoramentos de vídeo AI em tempo real, streams de várias câmeras e muito mais estão no horizonte no próximo ano, e empresas como o Google continuam a surpreender com os recursos que lançam apoiados pelo aprendizado de máquina de treinamento modelos.
A Qualcomm não é a única empresa a fazer melhorias em sua linha de SoC. Diz-se que o próximo Exynos 2100 da Samsung para o Galaxy S21 trará grandes melhorias de desempenho. Há também o novo HiSilicon Kirin 9000 da Huawei e a crescente linha Dimensity de SoCs móveis da MediaTek. espero revisitar esses benchmarks assim que tivermos pelo menos um aparelho top de linha com Samsung, Huawei e next-gen da MediaTek silício.
Demonstração de benchmark Qualcomm Snapdragon 888
Mencionei no início deste artigo que a Qualcomm compartilhou um vídeo pré-gravado conosco. Se você estiver interessado, enviei esse vídeo para o YouTube. Ele mostra o Snapdragon 888 executando todos os benchmarks que compartilhei acima, bem como os demais benchmarks de IA que não mostrei.
Enquanto isso, aqui está a tabela que a Qualcomm nos forneceu resumindo os resultados de benchmark do Snapdragon 888: