Um relatório afirma que a Huawei foi encontrada trapaceando em benchmarks. A UL retirou o Huawei P20/P20 Pro, Huawei Nova 3 e Honor Play do 3DMark em resposta.
Os benchmarks sempre foram uma forma popular de medir o desempenho do hardware, tanto no PC quanto no espaço móvel. A trapaça de benchmark ocorre quando um fabricante de dispositivo tenta injustamente burlar um benchmark, fazendo com que a pontuação dos resultados seja melhor do que realmente é. A trapaça pode acontecer em qualquer teste de benchmark, incluindo aqueles que medem o desempenho da CPU, do sistema ou da GPU. O objetivo óbvio de trapacear nos benchmarks é convencer os clientes de que o produto A é melhor que o produto B. Infelizmente, isso significa que as fraquezas subjacentes no hardware são mascaradas pela trapaça. Simplificando, é uma situação em que todos perdem para todas as partes envolvidas na indústria: fornecedores de chips, fabricantes de dispositivos e, acima de tudo, consumidores finais.
A trapaça era generalizada no espaço do PC há mais de uma década, mas, felizmente, a prática praticamente acabou. No mundo móvel, Andrei Frumusanu (agora editor móvel da
AnandTech) descobriu trapaça de benchmark na variante Exynos do Samsung Galaxy S4 em 2013. O AnandTech os editores móveis descobriram então diferentes variedades de trapaças de benchmark feitas por muitos fornecedores de smartphones. Alguns smartphones importantes, como o Galaxy S4 e o Samsung Galaxy Note 3, foram até deslistado dos benchmarks como o 3DMark, já que empresas como a Futuremark optaram por denunciar publicamente os fabricantes de dispositivos.Depois de serem criticados em 2013 por esse comportamento, a maioria dos fabricantes de dispositivos parou de trapacear nos benchmarks. Alguns OEMs como Meizu ainda possuem modos de "Desempenho" em suas interfaces de usuário, mas esses modos são em sua maioria configuráveis pelo usuário. Ano passado, encontramos evidências de que o OnePlus estava trapaceando em alguns benchmarks populares, como o Geekbench. OnePlus parou a prática com o OnePlus 5T e, em geral, a trapaça de benchmark parecia ter se tornado uma coisa do passado.
Um novo desenvolvimento corrigiu esta falsa suposição. AnandTech os editores Andrei Frumusanu e Ian Cutress têm publicou um relatório detalhando casos verificados de trapaça de benchmark feitos em benchmarks de GPU em smartphones Huawei e Honor de 2018, como o Huawei P20, Huawei P20 Pro e Honor Play.
Resumo: telefones Huawei/Honor 2018 pegos trapaceando em benchmarks de GPU
AnandTech observa que em sua revisão, o desempenho do Huawei P20 regrediu em comparação com o Huawei Mate 10 Pro. Naquela época, a publicação foi informada pela Huawei que se tratava de um problema de firmware, mas na realidade não era o caso. Os telefones mais recentes da Huawei e da Honor vinham com um mecanismo de detecção de benchmark isso permite um limite de potência muito mais alto para o SoC com um espaço térmico mais alto.
Como explicado por AnandTech, isso significa que, para determinados aplicativos na lista de permissões, os telefones Huawei e Honor mais recentes têm um desempenho muito superior em comparação com o que os usuários esperam de outros softwares semelhantes não na lista de permissões. Essa prática resulta em maior consumo de energia, menor eficiência e redução da vida útil da bateria.
O resultado líquido é que os números de desempenho são superiores ao que realmente deveriam ser. Esses números não são realistas para qualquer usuário em um cenário de desempenho real. A publicação também afirma que a eficiência do SoC diminui ao fazer isso, pois está sendo “bem empurrado fora de sua janela operacional padrão." Em suma, isso faz com que o SoC pareça pior em prol de um benchmark mais alto números.
AnandTech afirma que o comportamento de referência da Huawei excede tudo o que a publicação já viu no passado. A publicação utilizou edições personalizadas de benchmarks, para que possam testar com modo de detecção ativado e desativado. Nas suas palavras, as enormes diferenças de desempenho entre os benchmarks disponíveis publicamente e as versões internas que utilizam são “absolutamente surpreendentes”.
A resposta da Huawei a AnandTechrelatório do
AnandTech conversou com o Dr. Wang Chenglu, presidente de software do Consumer Business Group da Huawei. Chenglu admitiu que a empresa estava trapaceando no benchmarking porque “outros fazem a mesma coisa, obtêm pontuações altas e a Huawei não pode ficar calada”.
Chenglu afirmou que a Huawei “quer se reunir com outras pessoas na China para encontrar o melhor benchmark de verificação para a experiência do usuário”. Ele apontou outros fabricantes de forma enganosa com seus números, citando um popular fabricante de smartphones não identificado na China como o maior culpado. Segundo ele, a trapaça de benchmark está se tornando “prática comum na China” e, embora a Huawei queira “abrir-se” aos consumidores, eles têm problemas quando os concorrentes “publicam continuamente pontuações irrealistas." A Huawei está tentando enfrentar sua principal concorrência chinesa, uma tarefa que aparentemente se torna difícil quando outros fabricantes de dispositivos produzem pontuações irrealistas. números.
O objetivo da Huawei é a padronização de benchmarks para nivelar o campo de jogo, e eles disseram AnandTech que eles querem que a mídia ajude. Como AnandTech observa, no entanto, que a Huawei está promovendo seu ter pontuações irrealistas por enquanto.
A reação da Huawei ao AnandTech relatório é que a empresa garantirá que os dados de referência futuros em apresentações sejam verificados de forma independente por terceiros no momento do anúncio.
AnandTechas descobertas em detalhes
AnandTech encontraram uma diferença surpreendente nas pontuações produzidas por suas versões internas de benchmarks de GPU em comparação com os benchmarks disponíveis publicamente. A publicação testou o Huawei P20, o Huawei P20 Pro e o Honor Play. Todos os telefones tiveram desempenho quase idêntico no modo de maior consumo de energia porque compartilham o mesmo HiSilicon Kirin 970 SoC. No entanto, o desempenho real dos telefones varia significativamente, pois todos possuem limites térmicos diferentes. Os diferentes limites térmicos se devem aos diferentes designs de chassi/resfriamento, como AnandTech explicou. O Huawei P20 Pro tem as melhores térmicas (porque é maior e mais caro que os outros dois) e pode, portanto, ter melhor desempenho em seu verdadeiro desempenho estado.
Um ponto importante levantado pela publicação é a diferença no método de trapaça de benchmark. Frumusanu declarou:
“No passado, vimos fornecedores aumentarem as frequências do SoC ou bloqueá-las em seus estados máximos, aumentando o desempenho além do que normalmente está disponível para aplicações genéricas. O que a Huawei está fazendo é aumentar as pontuações de benchmark vindo de outra direção – o aplicativos de benchmarking são os únicos casos de uso em que o SoC realmente funciona de acordo com o anunciado velocidades. Enquanto isso, todas as outras aplicações do mundo real são limitadas a um grau significativo abaixo desse estado devido às limitações térmicas do hardware. O que acabamos vendo com desempenho irrestrito é talvez a “verdadeira” forma de um SoC irrestrito, embora isso é completamente acadêmico quando comparado com o que os usuários realmente vivenciam." - Andrei Frumusanu e Ian Cutress, AnandTech
Os gráficos de potência demonstram que os mais recentes telefones da Huawei já atingem 3,5-4,4 W no seu verdadeiro estado de desempenho, enquanto o TDP de 3,5 W é o valor máximo que pode ser sustentado. Por outro lado, o telefone entra em overdrive com TDP ao realizar os benchmarks disponíveis publicamente, com valores de potência acima de 6W e chegando a 8,5W. Como observado por AnandTech, esses números acionam rapidamente uma notificação de superaquecimento no dispositivo, significando a incompatibilidade dos limites térmicos com as expectativas do software.
A conclusão aqui é que os verdadeiros números de desempenho não são estáveis, pois dependem da temperatura do telefone. A Huawei não impede que a GPU atinja seu estado de frequência máxima da GPU. O comportamento padrão é na verdade um "mecanismo severo de aceleração térmica [...] que tentará manter níveis de temperatura do SoC significativamente mais baixos e consumo geral de energia".
O modo normal dos telefones pode atingir os mesmos valores de pico de consumo de energia durante os benchmarks de GPU que os postados pelas variantes sem aceleração. No entanto, esses números rapidamente recuar significativamente, e AnandTech observa que o telefone diminui para 2,2 W em alguns casos, o que tem o efeito de reduzir significativamente o desempenho.
A publicação afirma que o comportamento de trapaça do benchmark aparentemente só foi introduzido nos dispositivos deste ano. Telefones como o Huawei Mate 9 e o Huawei P10 não são afetados, e parece que apenas o EMUI 8.0 e dispositivos mais recentes são afetados. AnandTech também foi informado pela Huawei que esta era “puramente uma implementação de software”, o que corroborou as conclusões da publicação.
AnandTech postou números reais de desempenho da GPU para os telefones afetados com Kirin 970, e a conclusão é que A Huawei está significativamente atrás de seus concorrentes tanto no desempenho quanto na eficiência da GPU.
A publicação também publicou gráficos de comparação de energia para os dispositivos Huawei com Kirin 970 e Kirin 960. Os gráficos mostram que os ajustes de otimização de energia da Huawei são de fato melhores para a experiência do usuário, pois atenuam o problema do maior consumo de energia. AnandTech's os testes do Kirin 960 mostraram que ele tinha “características de potência de GPU horríveis”, enquanto o Kirin Os dispositivos alimentados pelo 970 têm um novo mecanismo de limitação estrito para reduzir o consumo de energia e temperaturas.
AnandTech acrescenta que a nova política de estrangulamento faz sentido quando se considera o fato de que tanto o Kirin 960 quanto o Kirin 970 mostram consumos de energia muito acima de seus níveis sustentáveis para seus respectivos formatos.
Para ser claro, a Huawei não errou ao introduzir o novo mecanismo de aceleração. O grande erro aqui é a exclusão de aplicativos de benchmark populares por meio de uma lista de permissões, o que neste caso é chamado de trapaça de benchmark.
Resposta: declaração oficial da Huawei
A Huawei nos enviou a seguinte declaração sobre trapaça de benchmark:
A Huawei sempre prioriza a experiência do usuário em vez de buscar altas pontuações de benchmark – especialmente porque não há uma conexão direta entre os benchmarks de smartphones e as experiências do usuário. Os smartphones Huawei utilizam tecnologias avançadas como IA para otimizar o desempenho do hardware, incluindo CPU, GPU e NPU.
Quando alguém inicia um aplicativo de fotografia ou joga um jogo com muitos gráficos, o software inteligente da Huawei cria um ambiente suave e estável. experiência do usuário aplicando todos os recursos do hardware e gerenciando simultaneamente a temperatura e a energia do dispositivo eficiência. Para aplicativos que não consomem tanta energia como navegar na web, ele alocará apenas os recursos necessários para fornecer o desempenho necessário.
Em cenários normais de benchmarking, assim que o software da Huawei reconhece uma aplicação de benchmarking, adapta-se de forma inteligente ao “Modo Desempenho” e proporciona um desempenho ideal. A Huawei está planejando fornecer aos usuários acesso ao “Modo Desempenho” para que possam usar a potência máxima de seus dispositivos quando necessário.
A Huawei – como líder do setor – está disposta a trabalhar com parceiros para encontrar os melhores padrões de benchmarking que possam avaliar com precisão a experiência do usuário.
A principal conclusão aqui é que a empresa está planejando fornecer aos usuários acesso ao "Modo Desempenho" (estilo Meizu) para que os usuários possam usar a "potência máxima" de seu dispositivo "quando precisarem."
Resposta: UL remove os telefones Huawei e Honor afetados de seus benchmarks
UL, tendo adquirido a Futuremark (a empresa por trás do PCMark e 3DMark), retirou o Huawei P20, o Huawei P20 Pro, o Huawei Nova 3 e o Honor Play do 3DMark. A empresa verificou fraudes nos benchmarks do Huawei P20 Pro, Huawei Nova 3 e Honor Play. Com base em AnandTech's testes e relatórios, também retirou o Huawei P20 padrão. Os usuários não poderão mais visualizar os resultados de benchmark dos telefones afetados, pois a empresa não deseja hospedar pontuações de benchmark enganadas.
A empresa descobriu que as pontuações do aplicativo público 3DMark foram até 47% mais altas do que as pontuações do aplicativo privado (que não está disponível ao público), apesar de os testes serem idêntico.
No anúncio, a UL acrescentou que estava feliz em ver a Huawei comprometendo-se a adotar uma abordagem mais transparente no futuro. A visão da UL é que modos de desempenho opcionais que podem ser definidos pelo usuário são permitidos de acordo com suas regras atuais desde que estejam desativados por padrão. A empresa afirma: “Um dispositivo deve executar o benchmark como se fosse qualquer outro aplicativo”.
Concluindo, todos os benchmarks de desempenho de GPU da Huawei que foram obtidos usando benchmarks disponíveis publicamente não devem ser considerados uma representação do desempenho real.
Resposta: UL e Huawei emitem uma declaração conjunta
Em resposta à decisão da UL de retirar o Huawei P20, o Huawei P20 Pro, o Huawei Nova 3 e o Honor Play do 3DMark, a Huawei entrou em contato com a UL para discutir as melhores práticas para testes de benchmark. Aqui está a declaração que nos é oferecida:
A Huawei e a UL (criadoras do 3DMark) mantiveram discussões abrangentes sobre práticas de benchmarking esta semana e chegaram a um acordo positivo sobre os próximos passos no trabalho conjunto.
Na discussão, a Huawei explicou que os seus smartphones utilizam um mecanismo de agendamento de recursos com inteligência artificial. Como diferentes cenários têm diferentes necessidades de recursos, os mais recentes aparelhos da Huawei aproveitam tecnologias inovadoras, como a inteligência artificial, para otimizar a alocação de recursos de forma que o hardware possa demonstrar suas capacidades ao máximo, ao mesmo tempo em que atende às demandas do usuário em todos os aspectos cenários.
A UL entende a intenção da abordagem da Huawei, mas se opõe a forçar o uso de um “Modo de Desempenho” por padrão quando um aplicativo de benchmarking é detectado pelo dispositivo. As regras da UL exigem que um dispositivo execute o benchmark como se fosse qualquer outro aplicativo.
A Huawei respeita o direito dos consumidores de escolher o que fazer com os seus dispositivos. Portanto, a Huawei irá disponibilizar aos utilizadores acesso aberto ao “Modo Desempenho” na EMUI 9.0, para que o utilizador possa escolher quando utilizar a potência máxima do seu dispositivo.
A Huawei e a UL também discutiram as atuais metodologias comuns de testes de benchmark em geral. A UL e a Huawei gostariam de participar de um movimento da indústria para desenvolver padrões de benchmarking que melhor atendam às necessidades dos fabricantes, da imprensa e dos consumidores.
Para evitar confusão em torno dos resultados atuais do benchmarking, após discussão, a UL e a Huawei retiraram temporariamente o benchmark pontuações de uma série de dispositivos Huawei e irá restabelecê-los depois que a Huawei conceder a todos os usuários de aparelhos Huawei acesso ao Desempenho Modo.