Benchmarks Qualcomm Snapdragon 888: Veja como será o desempenho dos principais telefones 5G de 2021

No início deste mês, a Qualcomm convidou jornalistas para um Snapdragon Tech Summit virtual, onde eles anunciaram o Snapdragon 888 plataforma móvel. O mais recente SoC da série 8 da Qualcomm traz grandes melhorias no processamento de imagens e aprendizado de máquina, mas apenas melhorias incrementais no desempenho da CPU e GPU. Para descobrir o quão mais poderoso é o chipset mais recente da Qualcomm, normalmente temos a oportunidade de executar benchmarks em seu hardware de referência. Devido ao COVID-19, no entanto, a Qualcomm não conseguiu organizar uma sessão de benchmarking presencial, então, em vez disso, eles enviaram nos um vídeo pré-gravado mostrando um dispositivo de referência Qualcomm Snapdragon 888 executando uma gama de populares benchmarks.

No dispositivo de referência Snapdragon 888, a Qualcomm executou um benchmark holístico (AnTuTu), um benchmark centrado na CPU (Geekbench), um benchmark centrado em GPU (GFXBench) e vários benchmarks de AI/ML (AIMark, AITuTu, MLPerf e Procion). Cada benchmark foi executado três vezes, então a empresa compartilhou o resultado médio em três iterações. Além disso, a empresa afirma que executou cada benchmark usando as configurações padrão do design de referência do Snapdragon 888, o que significa que não habilitou nenhum modo de alto desempenho. No entanto, como as pontuações de benchmark foram fornecidas para nós, não podemos verificar os resultados ou as condições de teste por nós mesmos. Assim que tivermos em mãos um dispositivo comercial com o Qualcomm Snapdragon 888, executaremos novamente esses benchmarks.

Se você estiver interessado em ler todas as especificações e recursos da plataforma móvel Qualcomm Snapdragon 888, recomendo a leitura Excelente explicador de Idrees Patel sobre o Snapdragon 888 publicado no início deste mês. Seu artigo detalha todas as melhorias que a Qualcomm fez na CPU, GPU, modem, subsistema de conectividade, ISP, mecanismo de IA, DSP e tudo mais. Para referência rápida, elaborei um gráfico comparando as principais especificações do dispositivo de referência Qualcomm Snapdragon 888 em comparação com os outros dois dispositivos usados ​​nesta comparação de benchmark: o dispositivo de referência com Snapdragon 865 e o Pixel 4 com Snapdragon 855 que Usei na sessão de benchmarking do ano passado. Você pode encontrar o gráfico abaixo, antes dos resultados do benchmark.

Resultados de benchmark do Qualcomm Snapdragon 888

Especificações dos dispositivos de teste

Visão geral dos benchmarks

Com entradas de Mário Serrafero

• AnTuTu: Este é um benchmark holístico. O AnTuTu testa o desempenho da CPU, GPU e memória, incluindo testes abstratos e, recentemente, simulações de experiência do usuário relacionáveis ​​(por exemplo, o subteste que envolve percorrer um Exibição de lista). A pontuação final é ponderada de acordo com as considerações do designer.
• GeekBench: um teste centrado na CPU que usa diversas cargas de trabalho computacionais, incluindo criptografia, compactação (texto e imagens), renderização, simulações de física, visão computacional, traçado de raios, reconhecimento de fala e inferência de rede neural convolucional em imagens. O detalhamento da pontuação fornece métricas específicas. A pontuação final é ponderada de acordo com as considerações do designer, colocando grande ênfase no desempenho inteiro (65%), depois no desempenho flutuante (30%) e, finalmente, na criptografia (5%).
• GFXBench: Tem como objetivo simular a renderização gráfica de videogames usando as APIs mais recentes. Muitos efeitos na tela e texturas de alta qualidade. Os testes mais recentes usam Vulkan, enquanto os testes legados usam OpenGL ES 3.1. As saídas são quadros durante o teste e quadros por segundo (o outro número dividido pela duração do teste, essencialmente), em vez de um peso ponderado pontuação.
  • Ruínas Astecas: Esses testes são os mais pesados ​​computacionalmente oferecidos pelo GFXBench. Atualmente, os principais chipsets móveis não conseguem sustentar 30 quadros por segundo. Especificamente o teste oferece geometria de contagem de polígonos realmente alta tesselação de hardware texturas de alta resolução iluminação global e bastante mapeamento de sombras, muitos efeitos de partículas, bem como brilho e profundidade de campo efeitos. A maioria dessas técnicas enfatizará os recursos de computação do shader do processador.
  • Manhatan ES 3.0/3.1: Este teste continua relevante visto que os jogos modernos já chegaram à fidelidade gráfica proposta e implementam os mesmos tipos de técnicas. Possui geometria complexa empregando múltiplos alvos de renderização, reflexos (mapas cúbicos), renderização de malha, muitas fontes de iluminação diferida, bem como brilho e profundidade de campo em uma passagem de pós-processamento.
• MLPerf Móvel: MLPerf Mobile é um benchmark de código aberto para testar o desempenho de IA móvel. Era criado por MLCommons, um consórcio de engenharia aberto e sem fins lucrativos, para "fornecer transparência e condições equitativas para comparar sistemas de ML, software e soluções." A primeira iteração do MLPerf Mobile fornece uma referência de desempenho de inferência para um punhado de visão computacional e linguagem natural tarefas de processamento. Para mais informações, consulte o artigo "Benchmark de inferência móvel MLPerf: Por que o benchmarking de IA móvel é difícil e o que fazer a respeito."
  • Classificação de imagem: Este teste envolve inferir um rótulo a ser aplicado a uma imagem de entrada. Os casos de uso típicos incluem pesquisas de fotos ou extração de texto. O modelo de referência utilizado é MobileNetEdgeTPU com parâmetros 4M, o conjunto de dados é ImageNet 2012 (224x224) e a meta de qualidade é 98% de FP32 (76,19% Top-1).
  • Segmentação de imagens: Este teste envolve particionar uma imagem de entrada em objetos rotulados. Os casos de uso típicos incluem direção autônoma ou sensoriamento remoto. O modelo de referência utilizado é DeepLab v3+ com parâmetros de 2M, o conjunto de dados é ADE20K (512x512) e a meta de qualidade é 93% de FP32 (0,244 mAP).
  • Detecção de objetos: Este teste envolve desenhar caixas delimitadoras ao redor dos objetos, bem como fornecer um rótulo para esses objetos. Os casos de uso típicos envolvem entrada de câmera, como para detecção de perigos ou análise de tráfego durante a condução. O modelo de referência é SSD-MobileNet v2 com parâmetros de 17M, o conjunto de dados é COCO 2017 (300x300) e a meta de qualidade é 97% de FP32 (54,8% mIoU).
  • Processamento de linguagem: Este teste envolve responder a perguntas coloquialmente. Os casos de uso típicos incluem mecanismos de pesquisa online. O modelo de referência é MobileBERT com parâmetros de 25M, o conjunto de dados é mini Squad (Stanford Question Answering Dataset) v1.1 dev e a meta de qualidade é 93% de FP32 (93,98% F1).

Resultados AnTuTu

Começando pelo AnTuTu, podemos ver que o dispositivo de referência Qualcomm Snapdragon 888 marcou quase 17.000 pontos superior ao dispositivo de referência Snapdragon 865 e quase 350.000 pontos superior ao Pixel com Snapdragon 855 4. Quando você olha para as subpontuações de CPU, GPU, memória e UX (não mostradas aqui), podemos ver que as maiores melhorias no desempenho vêm da GPU e da memória. O Snapdragon 888 QRD obteve pontuação aproximadamente 45,56% maior no subteste de GPU do AnTuTu em comparação com o Snapdragon 865 QRD. Da mesma forma, o Snapdragon 888 QRD obteve pontuação cerca de 52,08% maior no subteste de memória do AnTuTu em comparação com o Snapdragon 865 QRD. Comparado com o Pixel 4 com Snapdragon 855, o 888 QRD superou nos subtestes de GPU e memória em 98,42% e 117,58%, respectivamente.

Enquanto isso, o Snapdragon 888 QRD obteve pontuação aproximadamente 30,05% e 90,28% maior no subteste de CPU do AnTuTu em comparação com o Snapdragon 865 QRD e o Pixel 4 com Snapdragon 855, respectivamente. A subpontuação UX é difícil de comparar devido às diferentes versões do sistema operacional Android que cada dispositivo estava executando (o Pixel 4 e o Snapdragon 865 QRD rodavam Android 10 quando os comparei no ano passado, enquanto o 888 QRD rodava Android 11.)

O grande aumento no desempenho da memória é bastante interessante. Tanto o 865 QRD quanto o 888 QRD apresentam 12 GB de RAM LPDDR5, embora não saibamos qual é a freqüência da RAM. Notavelmente, o 865 suporta até 16 GB de RAM LPDDR5 a 2.750 MHz, enquanto o 888 suporta até 16 GB de RAM LPDDR5 a 3.200 MHz. Os solavancos na CPU e GPU o desempenho aqui está um pouco acima de nossas expectativas, já que a Qualcomm disse que os ganhos de CPU e GPU do Snapdragon 888 são de 25% e 35%, respectivamente ano a ano. Os benchmarks mais centrados em CPU e GPU a seguir mostram ganhos que estão mais alinhados com nossas expectativas.

Resultados do Geekbench

No Geekbench 5.0, o Qualcomm Snapdragon 888 tem desempenho 22,17% e 9,97% superior nos testes single-core e multi-core, respectivamente, em comparação com o Snapdragon 865. Comparado com o Snapdragon 855, o 888 tem desempenho cerca de 89,17% e 51,82% melhor, respectivamente.

A Qualcomm afirma que o Snapdragon 888 oferece um aumento de 25% no desempenho da CPU em relação ao Snapdragon 865. O único núcleo ARM Cortex-X1 Prime da CPU tem uma freqüência conservadora de 2,84 GHz – a mesma velocidade de clock do ARM de última geração Núcleo Cortex-A77 Prime – então é possível que vejamos uma velocidade de clock de 3 + GHz para o inevitável Snapdragon 888 “Plus” do meio do ano atualizar. Se for esse o caso, podemos esperar que o desempenho da CPU melhore ainda mais, embora neste momento seja justo dizer que os ganhos são sólidos, mas meramente incrementais.

Portanto, se você estiver atualizando de um carro-chefe de dois anos, o 888 deverá trazer grandes melhorias no desempenho da CPU. Se você estiver atualizando de um carro-chefe com um ano de idade, esses ganhos serão muito menores. Pessoalmente, estou animado para ver como um dispositivo Snapdragon 888 lida com a emulação de console.

Resultados GFXBench

A Qualcomm não divulgou a contagem de núcleos ou a frequência máxima da GPU Adreno 660 no Snapdragon 888, então temos pouco a dizer sobre a GPU além de seus ganhos de desempenho. No teste Manhattan do GFXBench, que usa a API OpenGL ES 3.0 e renderiza uma cena 1080p fora da tela, o Snapdragon 888 teve um taxa de quadros média de 169fps, cerca de 34,13% e 83,7% maior que as taxas de quadros alcançadas pelo Snapdragon 865 e 855 respectivamente. No teste Aztec Ruins do GFXBench, que usa a API gráfica Vulkan e renderiza uma cena 1080p fora da tela, o Snapdragon 888 teve um taxa de quadros média de 86fps, cerca de 38,71% e 95,45% maior que as taxas de quadros alcançadas pelo Snapdragon 865 e 855 respectivamente.

Não existem muitos jogos que exigem muita potência da GPU (o recente Genshin Impact é uma exceção), mas o desempenho aprimorado da GPU é útil para mais do que apenas jogos. Mas, os jogos são definitivamente a maior razão pela qual as pessoas se importam com esses resultados de benchmark, e o O Snapdragon 888 definitivamente oferece renderização gráfica 35% mais rápida e eficiência energética 20% melhor ano a ano. No entanto, esses resultados demonstram apenas o desempenho máximo da GPU, então teremos que revisitar GFXBench – assim que tivermos em mãos o hardware comercial – para executar o benchmark de longo prazo testes de performance.

Resultados do MLPerf

Talvez os ganhos mais interessantes estejam no desempenho da IA. Qualcomm geralmente dá grandes saltos no desempenho da IA ​​a cada ano, mas os ganhos deste ano são os mais impressionantes. O mecanismo AI do Snapdragon 888 possui desempenho de 26 TOPS, um aumento em relação ao desempenho de 15 TOPS do Snapdragon 865 e desempenho de 7 TOPS do Snapdragon 855. A Qualcomm credita grande parte desse ganho à nova arquitetura de acelerador de IA fundida do Hexagon 780 DSP, fundindo o aceleradores escalares, vetoriais e tensores para eliminar distâncias físicas e agrupar memória para compartilhar e mover dados eficientemente.

No entanto, é-nos difícil demonstrar quão significativo é realmente este salto no desempenho. Falamos detalhadamente sobre as dificuldades do benchmarking de IA durante nossas entrevistas com Travis Lanier da Qualcomm, Gary Brotman e Ziad Asghar. A boa notícia é que, desde as nossas discussões com os executivos da Qualcomm, houve avanços significativos no campo dos benchmarks de IA.

No início deste artigo, mencionamos que a Qualcomm executou 4 benchmarks de IA diferentes no dispositivo de referência Snapdragon 888: AIMark, AITuTu, MLPerf e Procyon da UL. Talvez o mais promissor desses benchmarks seja o MLPerf Mobile, que será lançado em breve, benchmark de IA móvel de código aberto apoiado por vários fornecedores de SoC, provedores de estrutura de ML e modelo produtores. Seu lote inicial de resultados de inferência móvel é público, então usamos esses resultados para comparar com o Snapdragon 888. Os resultados cobrem apenas 3 dispositivos: o Xiaomi Redmi 10X 5G com MediaTek Dimensity 820, o ASUS ROG Phone 3 com Qualcomm Snapdragon 865+ e Samsung Galaxy Note 20 com Exynos 990 Ultra5G. A Qualcomm não forneceu resultados de latência – apenas números de rendimento – por isso não plotamos os resultados completos como enviados pelos vendedores para verificação pelo MLCommons.

Nestes benchmarks selecionados de inferência de visão computacional e processamento de linguagem natural, podemos ver que o dispositivo de referência Qualcomm Snapdragon 888 obteve as pontuações mais altas em todos os quatro testes. Dos 3 chipsets da geração anterior o Dimensity 820 da MediaTek superou o Snapdragon 865+ e Exynos 990 na detecção de objetos, enquanto o Exynos 990 superou o Snapdragon 865+ e o Dimensity 820 em PNL. O Snapdragon 865+ da Qualcomm foi geralmente competitivo, pontuando no mesmo nível do Dimensity 820 em segmentação de imagem e superando-o em PNL. Nestes testes de inferência específicos com estes modelos e conjuntos de dados específicos, o Snapdragon 888 superou os 3 chipsets de última geração.

Será interessante ver quais aplicativos e recursos os desenvolvedores e OEMs podem criar usando as proezas de IA do Snapdragon 888. A visão computacional desempenhará um papel especialmente importante nos muitos recursos de videografia aprimorados por IA que iremos provavelmente veremos em 2021, enquanto o desempenho aprimorado da PNL também pode afetar aspectos adjacentes do vídeo, como áudio gravação.

Devemos notar, no entanto, que os resultados do Snapdragon 888 são não verificado pela MLCommons, já que parte do processo de verificação da organização exige que o dispositivo seja disponível comercialmente (os dispositivos de referência da Qualcomm não são vendidos por meio de uma operadora ou como um dispositivo desbloqueado telefone). Além disso, o desempenho depende de quais modelos de ML, formatos numéricos e estruturas de ML são escolhidos, bem como de quais aceleradores de ML estão disponíveis.

Conclusão

O Snapdragon 888 da Qualcomm mais uma vez traz melhorias incrementais no desempenho da CPU e GPU, mas melhorias massivas no processamento de imagem e IA. Poucas pessoas atualizando de um dispositivo de dois anos notarão as melhorias na CPU e GPU (a menos que planejem executar emuladores ou jogar jogos como Genshin Impact), mas com certeza notarão os outros avanços que foram feitos em dispositivos móveis tecnologia. Os dispositivos têm telas com taxas de atualização mais altas, mais câmeras com sensores de imagem de maior resolução, suporte para conectividade 5G e muito mais atualmente. Os enormes ganhos no desempenho da IA ​​passarão despercebidos pelo usuário médio, mas é emocionante ponderar as possibilidades que se abriram com o novo chipset da Qualcomm. Aprimoramentos de vídeo de IA em tempo real, transmissões multicâmera e muito mais estão no horizonte no próximo ano, e empresas como o Google continuam a surpreender com os recursos que lançam apoiados no treinamento de aprendizado de máquina modelos.

No entanto, a Qualcomm não é a única empresa que está fazendo melhorias em sua linha de SoC. Diz-se que o próximo Exynos 2100 da Samsung para o Galaxy S21 traz grandes melhorias de desempenho. Há também o novo HiSilicon Kirin 9000 da Huawei e a crescente linha de SoCs móveis Dimensity da MediaTek. espero revisitar esses benchmarks assim que tivermos pelo menos um dispositivo top de linha com a próxima geração da Samsung, Huawei e MediaTek silício.

Demonstração de benchmarking do Qualcomm Snapdragon 888

Mencionei no início deste artigo que a Qualcomm compartilhou conosco um vídeo pré-gravado. Se você estiver interessado, carreguei esse vídeo no YouTube. Ele mostra o Snapdragon 888 executando todos os benchmarks que compartilhei acima, bem como os benchmarks de IA restantes que não mostrei.

Enquanto isso, aqui está a tabela que a Qualcomm nos forneceu resumindo os resultados de benchmark do Snapdragon 888: