Huawei P20, Nova 3 ja Honor Play jäivät kiinni pettämisestä vertailuarvoissa

Vertailuarvot ovat aina olleet suosittu tapa mitata laitteiston suorituskykyä sekä PC- että mobiilitilassa. Vertailuarvojen huijaaminen tapahtuu, kun laitevalmistaja yrittää epäreilusti pelata vertailuarvoa tekemällä tulokset paremmat kuin ne todellisuudessa ovat. Huijaamista voi tapahtua missä tahansa vertailutestissä, mukaan lukien suorittimen, järjestelmän tai grafiikkasuorittimen suorituskykyä mittaavat testit. Vertailuarvojen huijaamisen ilmeinen tavoite on, että asiakkaat ovat vakuuttuneita siitä, että tuote A on parempi kuin tuote B. Valitettavasti tämä tarkoittaa, että laitteiston taustalla olevat heikkoudet peitetään huijauksella. Yksinkertaisesti sanottuna se on tappio-tilanne kaikille alan osapuolille: sirujen myyjille, laitevalmistajille ja ennen kaikkea loppukäyttäjille.

Huijaaminen oli rehottavaa PC-avaruudessa yli kymmenen vuotta sitten, mutta onneksi käytäntö on pääosin päättynyt. Mobiilimaailmassa Andrei Frumusanu (nyt mobiilieditori osoitteessa

AnandTech) havaitsi benchmark-huijauksen Samsung Galaxy S4:n Exynos-versiossa vuonna 2013. The AnandTech Mobiilieditorit löysivät sitten erilaisia ​​​​benchmark-huijauksia, joita monet älypuhelinvalmistajat tekevät. Useat suuret älypuhelimet, kuten Galaxy S4 ja Samsung Galaxy Note 3, olivat tasaisia poistettiin vertailuarvoista kuten 3DMark, koska Futuremarkin kaltaiset yritykset päättivät kutsua laitteen valmistajat julkisesti esiin.

Suurin osa laitevalmistajista on lopettanut huijaamisen vuonna 2013. Jotkut OEM-valmistajat, kuten Meizu käyttöliittymissä on edelleen "Performance"-tiloja, mutta tällaiset tilat ovat useimmiten käyttäjän määritettävissä. Viime vuonna, Löysimme todisteita siitä, että OnePlus pettää joissakin suosituissa vertailuissa, kuten Geekbench. OnePlus lopetti harjoituksen kanssa OnePlus 5T, ja yleisesti ottaen vertailuhuijaamisesta näytti olevan tullut menneisyyttä.

Uusi kehitys on korjannut tämän väärän oletuksen. AnandTech toimittajat Andrei Frumusanu ja Ian Cutress ovat tehneet julkaisi raportin yksityiskohtaisesti todistetut tapaukset vertailuhuijauksista, jotka on tehty vuoden 2018 Huawei- ja Honor-älypuhelimissa, kuten Huawei P20, Huawei P20 Pro ja Honor Play GPU-vertailuissa.

Yhteenveto: 2018 Huawei/Honor-puhelimet jäivät kiinni huijauksesta GPU-vertailuissa

AnandTech huomauttaa, että sisään heidän arvostelunsa, Huawei P20:n suorituskyky oli heikentynyt Huawei Mate 10 Prohun verrattuna. Tuolloin Huawei kertoi julkaisulle, että kyseessä oli laiteohjelmistoongelma, mutta todellisuudessa niin ei ollut. Huawein ja Honorin uudempien puhelimien mukana tuli a benchmark-tunnistusmekanismi mikä mahdollistaa paljon korkeamman tehorajan SoC: lle suuremmalla lämpökorkeudella.

Kuten selitti AnandTech, tämä tarkoittaa, että tietyissä sallittujen luettelossa olevissa sovelluksissa uusimmat Huawei- ja Honor-puhelimet toimivat paljon paremmin verrattuna siihen, mitä käyttäjät odottavat muilta vastaavilta ei-sallittuilta ohjelmistoilta. Tämä käytäntö johtaa enemmän virrankulutukseen, alhaisempaan tehokkuuteen ja lyhentyneeseen akun käyttöikään.

Nettotulos on, että suorituskykyluvut ovat korkeammat kuin mitä niiden todellisuudessa pitäisi olla. Nämä luvut ovat epärealistisia kenenkään käyttäjän saavuttamiseksi todellisessa suorituskyvyssä. Julkaisussa todetaan myös, että SoC: n tehokkuus laskee tätä tehtäessä, koska sitä "työnnetään hyvin sen normaalin käyttöikkunan ulkopuolella." Kaiken kaikkiaan se saa SoC: n näyttämään huonommalta korkeamman vertailuarvon vuoksi numeroita.

AnandTech toteaa, että Huawein vertailukäyttäytyminen ylittää kaiken, mitä julkaisu on nähnyt aiemmin. Julkaisussa käytettiin vertailuarvojen mukautettuja versioita, jotta niitä voidaan testata tunnistustilan ollessa päällä ja pois päältä. Heidän sanojensa mukaan massiiviset erot julkisesti saatavilla olevien vertailuarvojen ja heidän käyttämiensä sisäisten versioiden välillä ovat "täysin hämmästyttäviä".

Huawein vastaus AnandTechn raportti

AnandTech puhui tohtori Wang Chenglulle, Huawein Consumer Business Groupin ohjelmistojohtajalle. Tohtori Chenglu myönsi, että yritys petti vertailussa, koska "toiset tekevät samaa, saavat korkeita pisteitä, eikä Huawei voi olla hiljaa".

Tohtori Chenglu totesi, että Huawei "haluaa tulla yhdessä muiden kiinalaisten kanssa löytääkseen parhaan käyttökokemuksen varmennusvertailun." Hän viittasi muihin valmistajiin, jotka johtaivat harhaan numeroillaan ja mainitsi nimettömän suositun älypuhelinvalmistajan Kiinassa suurimpana syyllinen. Hänen mukaansa benchmark-huijaamisesta on tulossa "yleinen käytäntö Kiinassa", ja vaikka Huawei haluaa "avautua" kuluttajille, heillä on ongelmia, kun kilpailijat "jatkuvasti julkaisevat epärealistiset pisteet." Huawei yrittää kohdata suurta kiinalaista kilpailuaan, mikä näyttää olevan vaikeaa, kun muut laitevalmistajat tuottavat epärealistisia tuloksia numeroita.

Huawein tavoitteena on standardisoida vertailuarvot tasaamaan pelikenttää, ja he kertoivat AnandTech että he haluavat median auttavan. Kuten AnandTech huomauttaa kuitenkin, että Huawei mainostaa sen oma epärealistiset pisteet toistaiseksi.

Huawein reaktio AnandTech raportti on se Yhtiö varmistaa, että kolmannet osapuolet tarkastavat riippumattomasti esityksissä olevat vertailutiedot tiedotushetkellä.

AnandTechhavainnot yksityiskohtaisesti

AnandTech havaitsivat yllättävän eron GPU-vertailuarvojen sisäisten versioiden tuottamissa pisteissä verrattuna julkisesti saatavilla oleviin vertailuarvoihin. Julkaisussa testattiin Huawei P20, Huawei P20 Pro ja Honor Play. Kaikki puhelimet toimivat lähes identtisesti suuremmalla teholla, koska niillä on sama HiSilicon Kirin 970 SoC. Kuitenkin puhelimien todellinen suorituskyky vaihtelee huomattavasti, koska niillä kaikilla on erilaiset lämpörajat. Erilaiset lämpörajat johtuvat niiden erilaisista runko-/jäähdytysmalleista, kuten AnandTech selitti. Huawei P20 Prossa on parhaat lämpöpatterit (koska se on suurempi ja kalliimpi kuin kaksi muuta), ja se voi siksi toimia paremmin todellinen suoritus osavaltio.

Tärkeä julkaisun esille ottama seikka on vertailuhuijausmenetelmän ero. Mr. Frumusanu sanoi:

"Aiemmin olemme nähneet toimittajan itse asiassa nostavan SoC-taajuuksia tai lukitsevan ne maksimitiloihinsa, mikä nostaa suorituskykyä yleissovelluksille tavallisesti saatavilla olevaa suorituskykyä pidemmälle. Huawei sen sijaan tekee vertailupisteiden parantamista lähestymällä sitä toisesta suunnasta – benchmarking-sovellukset ovat ainoita käyttötapauksia, joissa SoC todella toimii mainostensa mukaisesti nopeudet. Samaan aikaan kaikki muut todelliset sovellukset kuristetaan huomattavasti tämän tilan alapuolelle laitteiston lämpörajoitusten vuoksi. Se mitä päädymme näkemään rajoittamattomalla suorituskyvyllä, on ehkä rajoittamattoman SoC: n "todellinen" muoto, vaikka tämä on täysin akateemista verrattuna siihen, mitä käyttäjät todella kokevat." - Andrei Frumusanu ja Ian Cutress, AnandTech

Tehokäyrät osoittavat, että Huawein uusimmat puhelimet saavuttavat jo 3,5–4,4 W tehon todellisessa suorituskykytilassaan, kun taas 3,5 W TDP on suurin kestokyky. Toisaalta puhelin menee ylikierrokselle TDP: n kanssa suorittaessaan julkisesti saatavilla olevia vertailuarvoja, jolloin teholuvut ylittävät 6W ja huippunsa 8,5W. Kuten huomautti AnandTech, nämä luvut laukaisevat nopeasti ylikuumenemisilmoituksen laitteessa, mikä tarkoittaa, että lämpörajat eivät vastaa ohjelmiston odotuksia.

Tässä on huomioitu se, että todelliset suorituskykyluvut eivät ole vakaita, koska ne riippuvat puhelimen lämpötilasta. Huawei ei estä GPU: ta saavuttamasta huipputason GPU-taajuutta. Oletuskäyttäytyminen on itse asiassa "kova lämpökuristusmekanismi [...], joka yrittää ylläpitää huomattavasti alhaisempia SoC-lämpötilatasoja ja yleistä virrankulutusta".

Puhelinten normaalitila voi saavuttaa samat huippuvirrankulutusluvut GPU-testien aikana kuin säätämättömien varianttien julkaisemat. Nämä luvut kuitenkin putoaa nopeasti huomattavasti, ja AnandTech toteaa, että puhelin kaasuttaa joissakin tapauksissa 2,2 W: iin, mikä heikentää suorituskykyä merkittävästi.

Julkaisussa todetaan, että huijaamiskäyttäytymisellä on näennäisesti otettiin käyttöön vasta tämän vuoden laitteissa. Puhelimet, kuten Huawei Mate 9 ja Huawei P10, eivät vaikuta, ja vaikuttaa siltä, ​​että vain EMUI 8.0 ja uudemmat laitteet vaikuttavat. AnandTech Huawei kertoi hänelle myös, että tämä oli "puhtaasti ohjelmistototeutus", mikä vahvisti julkaisun havainnot.

AnandTech julkaisi GPU-suorituskykyä koskevat todelliset luvut vaikutuksen alaisena olevista Kirin 970 -käyttöisistä puhelimista, ja johtopäätös on, että Huawei on huomattavasti kilpailijoitaan jäljessä sekä GPU-suorituskyvyn että tehokkuuden suhteen.

Julkaisu julkaisi myös tehovertailukaaviot Kirin 970- ja Kirin 960 -käyttöisistä Huawei-laitteista. Kaaviot osoittavat, että Huawein tehon kuristussäädöt ovat itse asiassa parempia käyttökokemuksen kannalta, koska ne vähentävät suuremman virrankulutuksen ongelmaa. AnandTechin Kirin 960:n testaus osoitti, että sillä oli "hirveät GPU-tehoominaisuudet", kun taas Kirinissä 970-käyttöisissä laitteissa on uusi tiukka kuristusmekanismi, joka vähentää virrankulutusta ja lämpötilat.

AnandTech lisää, että uusi kuristuskäytäntö on järkevä, kun otetaan huomioon se tosiasia, että sekä Kirin 960 että Kirin 970 näyttää tehonkulutuksen, joka ylittää huomattavasti niiden kestävän tason vastaavalla tavalla.

Selvyyden vuoksi todettakoon, että Huawei ei ole tehnyt väärin ottaessaan käyttöön uuden kuristusmekanismin. Suuri virhe tässä on suosittujen vertailusovellusten poissulkeminen sallittujen luettelon kautta, jota kutsutaan tässä tapauksessa benchmark-huijaukseksi.

Vastaus: Huawein virallinen lausunto

Huawei lähetti meille seuraavan lausunnon benchmark-huijauksesta:

Huawei asettaa aina etusijalle käyttökokemuksen korkeiden vertailupisteiden sijaan – varsinkin kun älypuhelinten vertailuarvojen ja käyttökokemusten välillä ei ole suoraa yhteyttä. Huawei-älypuhelimet käyttävät kehittyneitä teknologioita, kuten tekoälyä, optimoimaan laitteiston, mukaan lukien CPU, GPU ja NPU, suorituskykyä.

Kun joku käynnistää valokuvaussovelluksen tai pelaa graafisesti intensiivistä peliä, Huawein älykäs ohjelmisto luo sujuvan ja vakaan käyttökokemusta hyödyntämällä laitteiston kaikkia ominaisuuksia, samalla kun hallitset laitteen lämpötilaa ja tehoa tehokkuutta. Sovelluksille, jotka eivät vaadi yhtä paljon tehoa kuin verkon selaaminen, se varaa vain tarvittavan suorituskyvyn tuottamiseen tarvittavat resurssit.

Normaalissa vertailussa, kun Huawein ohjelmisto tunnistaa vertailusovelluksen, se mukautuu älykkäästi "Performance Mode" -tilaan ja tarjoaa optimaalisen suorituskyvyn. Huawei aikoo tarjota käyttäjille pääsyn "Performance Mode" -tilaan, jotta he voivat käyttää laitteensa maksimitehoa tarvittaessa.

Huawei – alan johtavana yrityksenä – on valmis työskentelemään kumppaneiden kanssa löytääkseen parhaat vertailustandardit, jotka voivat arvioida tarkasti käyttökokemuksen.

Tärkeintä tässä on, että yritys on aikoo tarjota käyttäjille pääsyn "Performance Mode" -tilaan (Meizu-tyyli), jotta käyttäjät voivat käyttää laitteensa "maksimitehoa" silloin, kun he tarvitsevat."

Vastaus: UL poistaa asianomaiset Huawei- ja Honor-puhelimet vertailuarvoistaan

UL, joka on ostanut Futuremarkin (PCMarkin ja 3DMarkin takana oleva yritys), on poistanut Huawei P20:n, Huawei P20 Pron, Huawei Nova 3:n ja Honor Playn 3DMarkista. Yritys on vahvistanut huijaamisen Huawei P20 Prossa, Huawei Nova 3:ssa ja Honor Playssa. Perusteella AnandTechin testaus ja raportointi, se on myös poistanut standardi Huawei P20. Käyttäjät eivät voi enää tarkastella vaikutusten kohteena olevien puhelimien vertailutuloksia, koska yritys ei halua isännöidä huijattuja vertailupisteitä.

Yhtiö havaitsi, että julkisen 3DMark-sovelluksen pisteet olivat jopa 47 % korkeammat kuin pisteet. yksityisestä sovelluksesta (joka ei ole julkisesti saatavilla), huolimatta siitä, että testit ovat identtinen.

Ilmoituksessa UL lisäsi, että se oli iloinen nähdessään Huawein sitoutuvan omaksumaan avoimemman lähestymistavan tulevaisuudessa. UL: n näkemys on, että valinnaiset suorituskykytilat, jotka käyttäjä voi asettaa, ovat sen nykyisten sääntöjen mukaan sallittuja niin kauan kuin ne ovat oletuksena pois käytöstä. Yhtiö ilmoittaa: "Laitteen on suoritettava vertailuarvo ikään kuin se olisi mikä tahansa muu sovellus."

Yhteenvetona voidaan todeta, että kaikkia Huawein GPU-suorituskyvyn vertailuarvoja, jotka on otettu käyttämällä julkisesti saatavilla olevia vertailuarvoja, ei pidä pitää todellisen suorituskyvyn esityksenä.

Vastaus: UL ja Huawei antavat yhteisen lausunnon

Vastauksena UL: n päätökseen poistaa Huawei P20, Huawei P20 Pro, Huawei Nova 3 ja Honor Play 3DMarkista Huawei otti yhteyttä UL: ään keskustellakseen vertailutestauksen parhaista käytännöistä. Tässä on meille tarjottu lausunto:

Huawei ja UL (3DMarkin luojat) ovat käyneet kattavia keskusteluja benchmarking-käytännöistä tällä viikolla ja ovat päässeet positiiviseen sopimukseen yhteistyön seuraavista vaiheista.

Keskustelussa Huawei selitti, että sen älypuhelimet käyttävät keinotekoista älykästä resurssien ajoitusmekanismia. Koska eri skenaarioissa on erilaiset resurssitarpeet, uusimmat Huawei-puhelimet hyödyntävät innovatiivisia teknologioita, kuten tekoälyä. optimoida resurssien allokointi siten, että laitteisto voi osoittaa kykynsä parhaalla mahdollisella tavalla ja täyttää samalla käyttäjien vaatimukset kaikilla skenaarioita.

UL ymmärtää Huawein lähestymistavan tarkoituksen, mutta vastustaa oletuksena "Performance Mode" -tilan pakottamista, kun laite havaitsee vertailusovelluksen. UL-säännöt edellyttävät, että laite suorittaa vertailuarvoa ikään kuin se olisi mikä tahansa muu sovellus.

Huawei kunnioittaa kuluttajien oikeutta valita, mitä he tekevät laitteilleen. Siksi Huawei tarjoaa käyttäjille avoimen pääsyn "Performance Mode" -tilaan EMUI 9.0:ssa, jotta käyttäjä voi valita, milloin käyttää laitteensa maksimitehoa.

Huawei ja UL ovat myös keskustelleet nykyisistä yleisistä vertailutestausmenetelmistä yleisesti. UL ja Huawei haluavat osallistua alan liikkeeseen kehittääkseen benchmarking-standardeja, jotka palvelevat parhaiten valmistajien, lehdistön ja kuluttajien tarpeita.

Estääkseen sekaannuksen nykyisistä vertailutuloksista keskustelun jälkeen UL ja Huawei ovat väliaikaisesti poistaneet vertailuarvon useita Huawei-laitteita ja palauttaa ne käyttöön sen jälkeen, kun Huawei on myöntänyt kaikille Huawei-puhelimien käyttäjille pääsyn Performanceen tila.