Huawei P20, Nova 3 och Honor Play ertappades med att fuska vid benchmarks

Benchmarks har alltid varit ett populärt sätt att mäta hårdvarans prestanda, både i PC och mobilutrymme. Benchmarkfusk uppstår när en enhetstillverkare orättvist försöker spela ett benchmark genom att få resultaten att få bättre resultat än de faktiskt är. Fusk kan hända i alla benchmark-tester, inklusive de som mäter CPU-, system- eller GPU-prestanda. Det uppenbara målet med att fuska vid benchmarks är att kunderna ska vara övertygade om att produkt A är bättre än produkt B. Tyvärr innebär detta att underliggande svagheter i hårdvara maskeras av fusk. Enkelt uttryckt är det en förlust-förlust-situation för alla parter som är inblandade i branschen: chipleverantörer, enhetstillverkare och framför allt slutkonsumenter.

Fusk florerade i PC-utrymmet för mer än ett decennium sedan, men tack och lov har praktiken för det mesta tagit slut. I den mobila världen, Andrei Frumusanu (nu mobilredaktör på

AnandTech) upptäckt benchmark fusk på Exynos-varianten av Samsung Galaxy S4 2013. De AnandTech mobilredaktörer upptäckte sedan olika varianter av benchmarkfusk som utfördes av många smartphoneleverantörer. En hel del stora smartphones som Galaxy S4 och Samsung Galaxy Note 3 var jämna avnoteras från benchmarks som 3DMark, eftersom företag som Futuremark valde att offentligt kalla ut enhetstillverkare.

Efter att ha blivit utropad 2013 för detta beteende har de flesta enhetstillverkare upphört med sitt benchmarkfusk. Vissa OEM-tillverkare gillar Meizu har fortfarande "Prestanda"-lägen i sina användargränssnitt, men sådana lägen är oftast användarkonfigurerbara. Förra året, vi hittade bevis för att OnePlus fuskade i några populära benchmarks som Geekbench. OnePlus slutade praktiken med OnePlus 5T, och i det stora hela verkade benchmarkfusk ha blivit ett minne blott.

En ny utveckling har korrigerat detta felaktiga antagande. AnandTech redaktörerna Andrei Frumusanu och Ian Cutress har publicerade en rapport beskriver verifierade fall av benchmarkfusk som gjorts i GPU-riktmärken av 2018 Huawei och Honor-smarttelefoner som Huawei P20, Huawei P20 Pro och Honor Play.

Sammanfattning: 2018 Huawei/Honor-telefoner fångade fusk i GPU-riktmärken

AnandTech noterar att i deras recension, Huawei P20:s prestanda hade gått tillbaka jämfört med Huawei Mate 10 Pro. Vid den tiden fick publikationen veta av Huawei att det var ett problem med den fasta programvaran, men i verkligheten var det inte fallet. Huawei och Honors nyare telefoner kom med en benchmark-detekteringsmekanism som möjliggör en mycket högre effektgräns för SoC med ett högre termiskt utrymme.

Som förklarat av AnandTech, betyder detta att för vissa vitlistade applikationer presterar de senaste Huawei- och Honor-telefonerna mycket högre jämfört med vad användare förväntar sig av andra liknande icke-vitlistade program. Denna praxis resulterar i högre förbrukad ström, lägre effektivitet och minskad batteritid.

Nettoresultatet är att prestationssiffrorna är högre än vad de egentligen borde vara. Dessa siffror är orealistiska att uppnå för alla användare i ett verkligt prestandascenario. Publikationen säger också att effektiviteten hos SoC minskar när man gör detta, eftersom det "drivs väl utanför sitt standardoperativa fönster." Sammantaget gör det att SoC ser sämre ut för att få högre benchmark tal.

AnandTech uppger att Huaweis benchmarkbeteende överstiger allt som publikationen har sett tidigare. Publikationen använde anpassade utgåvor av benchmarks, så att de kan testa med detektionsläge på och av. Med deras ord är de enorma skillnaderna i prestanda mellan de offentligt tillgängliga riktmärkena och de interna versionerna som de använder "helt häpnadsväckande."

Huaweis svar på AnandTechs rapport

AnandTech pratade med Dr Wang Chenglu, VD för mjukvara på Huaweis Consumer Business Group. Dr. Chenglu medgav att företaget fuskade med benchmarking eftersom "andra gör samma sak, får höga poäng och Huawei kan inte hålla tyst."

Dr. Chenglu sa att Huawei "vill komma tillsammans med andra i Kina för att hitta det bästa verifieringsriktmärket för användarupplevelsen." han pekade på andra tillverkare av vilseledande med sina siffror och citerade en icke namngiven populär smartphonetillverkare i Kina som den största brottsling. Enligt honom håller benchmarkfusk på att bli "vanlig praxis i Kina", och medan Huawei vill "öppna upp" för konsumenter har de problem när konkurrenterna "ständigt postar" orealistiska poäng." Huawei försöker möta sin stora kinesiska konkurrens, en uppgift som till synes blir svår när andra enhetstillverkare producerar orealistiska poäng tal.

Huaweis mål är att standardisera riktmärken för att jämna ut spelplanen, och de berättade AnandTech att de vill att media ska hjälpa till. Som AnandTech noterar dock att Huawei marknadsför sin egen orealistiska poäng för tillfället.

Huaweis reaktion på AnandTech rapporten är det företaget kommer att säkerställa att framtida benchmarkdata i presentationer verifieras oberoende av tredje part vid tidpunkten för tillkännagivandet.

AnandTechfynd i detalj

AnandTech fann en överraskande skillnad i poängen som produceras av deras interna versioner av GPU-riktmärken jämfört med de allmänt tillgängliga riktmärkena. Publikationen testade Huawei P20, Huawei P20 Pro och Honor Play. Alla telefoner presterade nästan identiskt i högre effektläge eftersom de delar samma HiSilicon Kirin 970 SoC. Den verkliga prestandan hos telefonerna varierar dock avsevärt då de alla har olika termiska gränser. De olika termiska gränserna beror på deras olika chassi/kyldesign, som AnandTech förklarade. Huawei P20 Pro har den bästa termiken (eftersom den är större och dyrare än de andra två), och den kan därför prestera bättre i sin verklig prestation stat.

En viktig punkt som tas upp av publikationen är skillnaden i metoden för benchmarkfusk. Mr. Frumusanu sa:

"Tidigare har vi sett leverantörer faktiskt höja SoC-frekvenserna, eller låsa dem till sina maximala tillstånd, vilket höjer prestandan utöver vad som vanligtvis är tillgängligt för generiska applikationer. Vad Huawei istället gör är att öka benchmarkpoängen genom att komma åt det från andra hållet - benchmarking-applikationer är de enda användningsfallen där SoC faktiskt presterar som det annonseras hastigheter. Samtidigt stryps alla andra verkliga applikationer till en betydande grad under det tillståndet på grund av hårdvarans termiska begränsningar. Det vi i slutändan ser med okontrollerad prestanda är kanske den "sanna" formen av en oinskränkt SoC, även om det här är helt akademiskt jämfört med vad användarna faktiskt upplever." - Andrei Frumusanu och Ian Cutress, AnandTech

Effektgraferna visar att Huaweis nyaste telefoner redan når 3,5-4,4W i sitt verkliga prestandatillstånd, medan 3,5W TDP är den maximala mängden som kan hållas. Å andra sidan går telefonen i överväxel med TDP när den utför de allmänt tillgängliga riktmärkena, med effektsiffror som går över 6W och toppar på 8,5W. Som noterat av AnandTech, utlöser dessa siffror snabbt ett meddelande om överhettning på enheten, vilket indikerar att termiska gränser inte överensstämmer med programvarans förväntningar.

Uttaget här är att de verkliga prestandasiffrorna inte är stabila eftersom de beror på telefonens temperatur. Huawei blockerar inte GPU: n från att nå sitt högsta GPU-frekvenstillstånd. Standardbeteendet är faktiskt en "hård termisk strypmekanism [...] som kommer att försöka bibehålla betydligt lägre SoC-temperaturnivåer och total strömförbrukning."

Telefonernas normala läge kan nå samma toppströmförbrukningssiffror under GPU-riktmärkena som de som lagts upp av de okontrollerade varianterna. Men dessa siffror snabbt falla tillbaka betydligt, och AnandTech konstaterar att telefonen stryper ner till 2,2W i vissa fall, vilket har effekten att prestandan minskar avsevärt.

Publikationen uppger att riktmärket fusk beteende har till synes endast introducerats i årets enheter. Telefoner som Huawei Mate 9 och Huawei P10 påverkas inte, och det verkar som att endast EMUI 8.0 och nyare enheter påverkas. AnandTech fick också veta av Huawei att detta var "rent en mjukvaruimplementering", vilket bekräftade publikationens resultat.

AnandTech publicerade sanna siffror för GPU-prestanda för de drabbade Kirin 970-drivna telefonerna, och slutsatsen är att Huawei ligger betydligt efter sina konkurrenter i både GPU-prestanda och effektivitet.

Publikationen publicerade också kraftjämförelsegrafer för Kirin 970 och Kirin 960-drivna Huawei-enheter. Graferna visar att Huaweis justeringar av effekttrottning faktiskt är bättre för användarupplevelsen eftersom de mildrar problemet med högre strömförbrukning. AnandTechs testning av Kirin 960 visade att den hade "hemska GPU-kraftegenskaper", medan Kirin 970-drivna enheter har en ny strikt strypmekanism för att få ner strömförbrukningen och temperaturer.

AnandTech tillägger att den nya strypningspolicyn är vettig med tanke på det faktum att både Kirin 960 och Kirin 970 visar kraftdragningar som ligger mycket över deras hållbara nivåer för sina respektive formfaktorer.

För att vara tydlig har Huawei inte gjort fel när de introducerade den nya gasspjällsmekanismen. Det stora misstaget här är uteslutningen av populära benchmark-applikationer via en vitlista, vilket är vad som kallas benchmark-fusk i det här fallet.

Svar: Huaweis officiella uttalande

Huawei skickade följande uttalande till oss om benchmarkfusk:

Huawei prioriterar alltid användarupplevelsen snarare än att eftersträva höga riktmärken – särskilt eftersom det inte finns en direkt koppling mellan smartphone-riktmärken och användarupplevelser. Huaweis smartphones använder avancerad teknik som AI för att optimera prestandan hos hårdvaran, inklusive CPU, GPU och NPU.

När någon startar en fotoapp eller spelar ett grafiskt intensivt spel skapar Huaweis intelligenta mjukvara en smidig och stabil användarupplevelse genom att använda alla funktioner i hårdvaran, samtidigt som enhetens temperatur och effekt hanteras effektivitet. För applikationer som inte är lika energikrävande som att surfa på webben kommer den bara att tilldela de resurser som krävs för att leverera den prestanda som behövs.

I normala benchmarking-scenarier, när Huaweis programvara känner igen en benchmarking-applikation, anpassar den sig intelligent till "Performance Mode" och levererar optimal prestanda. Huawei planerar att ge användarna tillgång till "Prestandaläge" så att de kan använda maximal kraft från sin enhet när de behöver.

Huawei – som branschledare – är villiga att arbeta med partners för att hitta de bästa benchmarking-standarderna som exakt kan utvärdera användarupplevelsen.

Det viktigaste här är att företaget är det planerar att ge användarna tillgång till "Performance Mode" (Meizu-stil) så att användarna kan använda "maximal kraft" på sin enhet "när de behöver."

Svar: UL tar bort de berörda Huawei- och Honor-telefonerna i sina riktmärken

UL, efter att ha förvärvat Futuremark (företaget bakom PCMark och 3DMark), har tagit bort Huawei P20, Huawei P20 Pro, Huawei Nova 3 och Honor Play från 3DMark. Företaget har verifierat benchmarkfusk på Huawei P20 Pro, Huawei Nova 3 och Honor Play. Baserat på AnandTechs testning och rapportering har den också tagit bort standard Huawei P20. Användare kommer inte längre att kunna se benchmarkresultaten för de berörda telefonerna eftersom företaget inte vill ha fuskade benchmarkpoäng.

Företaget fann att poängen från den offentliga 3DMark-appen var upp till 47 % högre än poängen från den privata appen (som inte är tillgänglig för allmänheten), trots att testerna är det identisk.

I tillkännagivandet tillade UL att det var glada att se Huawei åta sig att anta ett mer transparent tillvägagångssätt i framtiden. UL: s uppfattning är att valfria prestandalägen som kan ställas in av användaren är tillåtna enligt dess nuvarande regler så länge de är inaktiverade som standard. Företaget uppger: "En enhet måste köra riktmärket som om det vore någon annan applikation."

Sammanfattningsvis bör alla Huawei GPU-prestandariktmärken som togs med allmänt tillgängliga riktmärken inte tas som en representation av faktisk prestanda.

Svar: UL och Huawei gör ett gemensamt uttalande

Som svar på UL: s beslut att ta bort Huawei P20, Huawei P20 Pro, Huawei Nova 3 och Honor Play från 3DMark, kontaktade Huawei UL för att diskutera de bästa metoderna för benchmarktestning. Här är uttalandet som erbjuds oss:

Huawei och UL (skaparna av 3DMark) har fört omfattande diskussioner om benchmarkingpraxis denna vecka och har nått en positiv överenskommelse om nästa steg i samarbetet.

I diskussionen förklarade Huawei att deras smartphones använder en artificiell intelligent resursschemaläggningsmekanism. Eftersom olika scenarier har olika resursbehov, använder de senaste Huawei-telefonerna innovativ teknik som artificiell intelligens för att optimera resursallokeringen på ett sätt så att hårdvaran kan demonstrera sin förmåga till fullo, samtidigt som den uppfyller användarnas krav på alla scenarier.

UL förstår avsikten med Huaweis tillvägagångssätt, men är emot att tvinga användningen av ett "prestandaläge" som standard när en benchmarking-applikation upptäcks av enheten. UL-regler kräver att en enhet kör riktmärket som om det vore någon annan applikation.

Huawei respekterar konsumenternas rätt att välja vad de ska göra med sina enheter. Därför kommer Huawei att ge användarna öppen åtkomst till "Performance Mode" i EMUI 9.0, så att användaren kan välja när de ska använda maximal effekt på sin enhet.

Huawei och UL har också diskuterat nuvarande vanliga benchmark-testmetoder i allmänhet. UL och Huawei skulle vilja delta i en industrirörelse för att utveckla benchmarking-standarder som bäst tillgodoser behoven hos tillverkare, press och konsumenter.

För att förhindra förvirring kring aktuella benchmarkingresultat, efter diskussion, har UL och Huawei tillfälligt tagit bort riktmärket mängder av en rad Huawei-enheter och kommer att återställa dem efter att Huawei har gett alla användare av Huawei-telefoner tillgång till Prestanda Läge.