Huawei P20, Nova 3 og Honor Play blev taget i at snyde ved benchmarks

Benchmarks har altid været en populær måde at måle ydeevnen af ​​hardware på, både på pc'en og mobilområdet. Benchmark snyd opstår, når en enhedsproducent uretfærdigt forsøger at spille et benchmark ved at få resultaterne til at score bedre, end de faktisk er. Snyd kan forekomme i alle benchmark-tests, inklusive dem, der måler CPU-, system- eller GPU-ydelsen. Det åbenlyse mål med at snyde ved benchmarks er, at kunderne bliver overbevist om, at produkt A er bedre end produkt B. Det betyder desværre, at underliggende svagheder i hardware maskeres af snyd. Kort sagt er det en tab-tab-situation for alle involverede parter i industrien: chipleverandører, enhedsproducenter og mest af alt slutforbrugere.

Snyd var udbredt i pc-området for mere end ti år siden, men heldigvis er praksis for det meste afsluttet. I den mobile verden er Andrei Frumusanu (nu mobilredaktør på

AnandTech) opdagede benchmark snyd på Exynos-varianten af ​​Samsung Galaxy S4 i 2013. Det AnandTech mobilredaktører opdagede derefter forskellige varianter af benchmark-snyd, der blev udført af mange smartphone-leverandører. En hel del store smartphones som Galaxy S4 og Samsung Galaxy Note 3 var lige afnoteret fra benchmarks ligesom 3DMark, da virksomheder som Futuremark valgte at offentligt kalde enhedsproducenterne ud.

Efter at være blevet kaldt ud i 2013 for denne adfærd, er de fleste enhedsproducenter holdt op med deres benchmark-snyd. Nogle OEM'er kan lide Meizu har stadig "Performance"-tilstande i deres brugergrænseflader, men sådanne tilstande er for det meste bruger-konfigurerbare. Sidste år, vi fandt beviser for, at OnePlus var utro i nogle populære benchmarks såsom Geekbench. OnePlus stoppede øvelsen med OnePlus 5T, og i det store og hele set benchmark-snyd ud til at være blevet fortid.

En ny udvikling har korrigeret denne falske antagelse. AnandTech redaktører Andrei Frumusanu og Ian Cutress har udgivet en rapport detaljering af verificerede tilfælde af benchmark-snyd udført i GPU-benchmarks af 2018 Huawei og Honor-smartphones såsom Huawei P20, Huawei P20 Pro og Honor Play.

Resumé: Huawei/Honor-telefoner fra 2018 blev fanget i at snyde i GPU-benchmarks

AnandTech bemærker, at i deres anmeldelse, var Huawei P20s ydeevne faldet i forhold til Huawei Mate 10 Pro. På det tidspunkt fik udgivelsen at vide af Huawei, at det var et firmwareproblem, men i virkeligheden var det ikke tilfældet. Huawei og Honors nyere telefoner kom med en benchmark detektionsmekanisme som muliggør en meget højere effektgrænse for SoC'en med en højere termisk frihøjde.

Som forklaret af AnandTech, betyder det, at for visse hvidlistede applikationer yder de seneste Huawei- og Honor-telefoner meget højere sammenlignet med, hvad brugerne vil forvente af anden lignende ikke-hvidlistet software. Denne praksis resulterer i højere forbrugt strøm, lavere effektivitet og reduceret batterilevetid.

Nettoresultatet er, at præstationstal er højere end hvad de egentlig burde være. Disse tal er urealistiske at opnå for enhver bruger i et ægte præstationsscenarie. Publikationen angiver også, at effektiviteten af ​​SoC falder, når man gør dette, da det bliver "skubbet godt" uden for dets standard driftsvindue." Alt i alt får det SoC til at se dårligere ud af hensyn til højere benchmark tal.

AnandTech oplyser, at Huaweis benchmark-adfærd overstiger noget, som publikationen har set tidligere. Publikationen brugte tilpassede udgaver af benchmarks, så de kan teste med registreringstilstand til og fra. Med deres ord er de massive forskelle i ydeevne mellem de offentligt tilgængelige benchmarks og de interne versioner, som de bruger, "helt forbløffende."

Huaweis svar på AnandTech's rapport

AnandTech talte med Dr. Wang Chenglu, President for Software hos Huaweis Consumer Business Group. Dr. Chenglu indrømmede, at virksomheden snyder med benchmarking, fordi "andre gør det samme, får høje scores, og Huawei kan ikke forblive tavs."

Dr. Chenglu udtalte, at Huawei "ønsker at komme sammen med andre i Kina for at finde det bedste verifikationsbenchmark for brugeroplevelse." Han pegede på andre producenter af vildledende med deres tal og citerede en unavngiven populær smartphone-producent i Kina som den største synderen. Ifølge ham er benchmark-snyd ved at blive "almindelig praksis i Kina", og mens Huawei ønsker at "åbne op" for forbrugerne, har de problemer, når konkurrenterne "kontinuerligt poster" urealistiske resultater." Huawei forsøger at møde sin store kinesiske konkurrence, en opgave, der tilsyneladende bliver vanskelig, når andre enhedsproducenter producerer urealistiske resultater tal.

Huaweis mål er at standardisere benchmarks for at udjævne vilkårene, og de fortalte AnandTech at de vil have medierne til at hjælpe. Som AnandTech bemærker dog, at Huawei promoverer sin egen urealistiske resultater for nu.

Huaweis reaktion på AnandTech rapporten er det selskabet vil sikre, at fremtidige benchmarkdata i præsentationer er uafhængigt verificeret af tredjeparter på tidspunktet for meddelelsen.

AnandTech's resultater i detaljer

AnandTech fandt en overraskende forskel i scoren produceret af deres interne versioner af GPU-benchmarks sammenlignet med de offentligt tilgængelige benchmarks. Publikationen testede Huawei P20, Huawei P20 Pro og Honor Play. Alle telefoner fungerede næsten identisk i højere strømtilstand, fordi de deler det samme HiSilicon Kirin 970 SoC. Telefonernes reelle ydeevne varierer dog betydeligt, da de alle har forskellige termiske grænser. De forskellige termiske grænser er på grund af deres forskellige chassis/køledesign, f.eks AnandTech forklaret. Huawei P20 Pro har den bedste termik (fordi den er større og dyrere end de to andre), og den kan derfor præstere bedre i sin ægte præstation stat.

Et vigtigt punkt rejst af publikationen er forskellen i metoden til benchmarksnyd. Mr. Frumusanu udtalte:

"Tidligere har vi set leverandører faktisk hæve SoC-frekvenserne eller låse dem til deres maksimale tilstande, hvilket øger ydeevnen ud over, hvad der normalt er tilgængeligt for generiske applikationer. Hvad Huawei i stedet gør, er at øge benchmark-scores ved at komme til det fra den anden retning - den benchmarking-applikationer er de eneste use-cases, hvor SoC'en rent faktisk klarer sig i forhold til dets annoncerede hastigheder. I mellemtiden er alle andre applikationer i den virkelige verden formindsket i betydelig grad under denne tilstand på grund af hardwarens termiske begrænsninger. Det, vi ender med at se med ukontrolleret ydeevne, er måske den 'sande' form for en ubegrænset SoC, selvom dette er fuldstændig akademisk sammenlignet med, hvad brugerne faktisk oplever." - Andrei Frumusanu og Ian Cutress, AnandTech

Effektgraferne viser, at Huaweis nyeste telefoner allerede når 3,5-4,4W i deres sande ydeevne, mens 3,5W TDP er den maksimale mængde, der kan opretholdes. På den anden side går telefonen i overdrive med TDP, når den udfører de offentligt tilgængelige benchmarks, med effekttal, der går over 6W og topper på 8,5W. Som bemærket af AnandTech, udløser disse tal hurtigt en meddelelse om overophedning på enheden, hvilket indikerer manglende overensstemmelse mellem termiske grænser og softwareforventninger.

Takeaway her er, at de sande ydelsestal ikke er stabile, da de afhænger af telefonens temperatur. Huawei blokerer ikke GPU'en i at nå dens højeste GPU-frekvenstilstand. Standardadfærden er faktisk en "hård termisk drosselmekanisme [...], der vil forsøge at opretholde væsentligt lavere SoC-temperaturniveauer og det samlede strømforbrug."

Telefonernes normale tilstand kan nå de samme peak-strømforbrugstal under GPU-benchmarks som dem, der er opslået af de ukontrollerede varianter. Dog disse tal hurtigt falde betydeligt tilbage, og AnandTech bemærker, at telefonen drosler ned til 2,2W i nogle tilfælde, hvilket har den effekt, at ydelsen reduceres markant.

Publikationen fastslår, at benchmark snyd adfærd tilsyneladende har kun blevet introduceret i dette års enheder. Telefoner som Huawei Mate 9 og Huawei P10 er ikke berørt, og det ser ud til, at kun EMUI 8.0 og nyere enheder er berørt. AnandTech blev også fortalt af Huawei, at dette var "rent en softwareimplementering", hvilket bekræftede publikationens resultater.

AnandTech udsendte sande tal for GPU-ydeevnen for de berørte Kirin 970-drevne telefoner, og konklusionen er, at Huawei er betydeligt bagefter sine konkurrenter, både hvad angår GPU-ydelse og effektivitet.

Publikationen postede også effektsammenligningsgrafer for Kirin 970 og Kirin 960-drevne Huawei-enheder. Graferne viser, at Huaweis strømreguleringsjusteringer faktisk er bedre for brugeroplevelsen, da de afbøder problemet med højere strømforbrug. AnandTech's test af Kirin 960 viste, at den havde "forfærdelige GPU-kraftegenskaber", mens Kirin 970-drevne enheder har en ny streng drosselmekanisme for at nedbringe strømforbruget og temperaturer.

AnandTech tilføjer, at den nye drosselpolitik giver mening, når man tager i betragtning, at både Kirin 960 og Kirin 970 viser power draws, der er meget over deres bæredygtige niveauer for deres respektive formfaktorer.

For at være klar, har Huawei ikke gjort forkert ved at introducere den nye drosselmekanisme. Den store fejl her er udelukkelsen af ​​populære benchmark-applikationer via en hvidliste, hvilket er det, der omtales som benchmark-snyd i dette tilfælde.

Svar: Huaweis officielle erklæring

Huawei sendte følgende erklæring til os om benchmark snyd:

Huawei prioriterer altid brugeroplevelsen frem for at forfølge høje benchmark-scores – især da der ikke er en direkte forbindelse mellem smartphone-benchmarks og brugeroplevelser. Huawei smartphones bruger avancerede teknologier såsom AI til at optimere ydeevnen af ​​hardware, herunder CPU, GPU og NPU.

Når nogen lancerer en fotograferingsapp eller spiller et grafisk-intensivt spil, skaber Huaweis intelligente software en jævn og stabil brugeroplevelse ved at anvende hardwarens fulde egenskaber og samtidig styre enhedens temperatur og strøm effektivitet. For applikationer, der ikke er så strømkrævende som at surfe på nettet, vil den kun tildele de nødvendige ressourcer til at levere den ydeevne, der er nødvendig.

I normale benchmarking-scenarier, når Huaweis software genkender en benchmarking-applikation, tilpasser den sig intelligent til "Performance Mode" og leverer optimal ydeevne. Huawei planlægger at give brugerne adgang til "Performance Mode", så de kan bruge den maksimale effekt af deres enhed, når de har brug for det.

Huawei - som brancheleder - er villig til at arbejde sammen med partnere for at finde de bedste benchmarking-standarder, der nøjagtigt kan evaluere brugeroplevelsen.

Den vigtigste takeaway her er, at virksomheden er planlægger at give brugere adgang til "Performance Mode" (Meizu-stil), så brugerne kan bruge den "maksimale effekt" af deres enhed "når de skal."

Svar: UL fjerner de berørte Huawei- og Honor-telefoner i sine benchmarks

UL, efter at have købt Futuremark (virksomheden bag PCMark og 3DMark), har afnoteret Huawei P20, Huawei P20 Pro, Huawei Nova 3 og Honor Play fra 3DMark. Virksomheden har verificeret benchmark-snyd på Huawei P20 Pro, Huawei Nova 3 og Honor Play. På grundlag af AnandTech's test og rapportering, har den også afnoteret standard Huawei P20. Brugere vil ikke længere være i stand til at se benchmarkresultaterne for de berørte telefoner, da virksomheden ikke ønsker at være vært for snydt benchmarkscore.

Virksomheden fandt ud af, at resultaterne fra den offentlige 3DMark-app var op til 47 % højere end resultaterne fra den private app (som ikke er tilgængelig for offentligheden), på trods af at testene er identisk.

I meddelelsen tilføjede UL, at det var glad for at se Huawei forpligte sig til at vedtage en mere gennemsigtig tilgang i fremtiden. UL's opfattelse er, at valgfrie ydeevnetilstande, som kan indstilles af brugeren, er tilladt under dets nuværende regler så længe de er deaktiveret som standard. Selskabet oplyser: "En enhed skal køre benchmark, som om det var en hvilken som helst anden applikation."

Som konklusion bør alle Huawei GPU-ydeevnebenchmarks, der blev taget ved hjælp af offentligt tilgængelige benchmarks, ikke tages som en repræsentation af den faktiske ydeevne.

Svar: UL og Huawei udsender en fælles erklæring

Som svar på UL's beslutning om at afnotere Huawei P20, Huawei P20 Pro, Huawei Nova 3 og Honor Play fra 3DMark kontaktede Huawei UL for at diskutere bedste praksis for benchmark-test. Her er erklæringen, der tilbydes os:

Huawei og UL (skaberne af 3DMark) har holdt omfattende diskussioner om benchmarking-praksis i denne uge og er nået til en positiv aftale om de næste skridt i samarbejdet.

I diskussionen forklarede Huawei, at deres smartphones bruger en kunstig intelligent ressourceplanlægningsmekanisme. Fordi forskellige scenarier har forskellige ressourcebehov, udnytter de nyeste Huawei-telefoner innovative teknologier såsom kunstig intelligens til optimere ressourceallokeringen på en måde, så hardwaren kan demonstrere sine muligheder i videst muligt omfang, samtidig med at den opfylder brugernes krav på tværs af alle scenarier.

UL forstår hensigten med Huaweis tilgang, men er imod at tvinge brugen af ​​en "Performance Mode" som standard, når en benchmarking-applikation detekteres af enheden. UL-regler kræver, at en enhed kører benchmark, som om det var en hvilken som helst anden applikation.

Huawei respekterer forbrugernes ret til at vælge, hvad de vil gøre med deres enheder. Derfor vil Huawei give brugerne åben adgang til "Performance Mode" i EMUI 9.0, så brugeren kan vælge, hvornår de vil bruge den maksimale effekt af deres enhed.

Huawei og UL har også diskuteret nuværende almindelige benchmark-testmetoder generelt. UL og Huawei vil gerne deltage i en industribevægelse for at udvikle benchmarking-standarder, der bedst opfylder producenternes, pressens og forbrugernes behov.

For at forhindre forvirring omkring aktuelle benchmarkingresultater har UL og Huawei efter diskussion midlertidigt fjernet benchmarken snesevis af en række Huawei-enheder og vil genindsætte dem, efter Huawei har givet alle brugere af Huawei-telefoner adgang til ydeevnen Mode.