Huawei P20, Nova 3 ja Honor Play tabati katsetel petmiselt

Võrdlusuuringud on alati olnud populaarne viis riistvara jõudluse mõõtmiseks nii arvutis kui ka mobiilses ruumis. Võrdlusnäitajate petmine toimub siis, kui seadme valmistaja üritab ebaõiglaselt võrrelda võrdlusalust, muutes tulemused tegelikust paremaks. Petmine võib juhtuda mis tahes võrdlustestides, sealhulgas sellistes, mis mõõdavad protsessori, süsteemi või GPU jõudlust. Võrdlusaluste petmise ilmselge eesmärk on see, et kliendid oleksid veendunud, et toode A on parem kui toode B. Kahjuks tähendab see, et riistvara nõrkused on varjatud petmisega. Lihtsamalt öeldes on see kaotuse ja kaotuse olukord kõigile tööstuses osalevatele osapooltele: kiibimüüjatele, seadmetootjatele ja ennekõike lõpptarbijatele.

Petmine levis arvutiruumis rohkem kui kümme aastat tagasi, kuid õnneks on see praktika enamasti lõppenud. Mobiilimaailmas Andrei Frumusanu (nüüd mobiilitoimetaja aadressil

AnandTech) avastas etalonpetmise Samsung Galaxy S4 Exynose variandil 2013. aastal. The AnandTech Seejärel avastasid mobiilitoimetajad, et paljud nutitelefonide müüjad teevad erinevaid etalonpettusi. Päris mitmed suuremad nutitelefonid, nagu Galaxy S4 ja Samsung Galaxy Note 3, olid võrdsed võrdlusaluste hulgast eemaldatud nagu 3DMark, kuna sellised ettevõtted nagu Futuremark otsustasid seadmetootjad avalikult välja kutsuda.

Pärast seda, kui neile 2013. aastal selle käitumise pärast välja kutsuti, on enamik seadmetootjaid oma etalonpetmise lõpetanud. Mõned originaalseadmete tootjad nagu Meizu kasutajaliidestes on endiselt "Performance" režiimid, kuid sellised režiimid on enamasti kasutaja poolt seadistatavad. Eelmisel aastal, leidsime tõendeid selle kohta, et OnePlus pettis mõnes populaarses võrdlusaluses, näiteks Geekbenchis. OnePlus lõpetas harjutuse OnePlus 5T ja üldiselt tundus, et etalonpetmine on jäänud minevikku.

Uus areng on selle vale oletuse parandanud. AnandTech toimetajad Andrei Frumusanu ja Ian Cutress avaldas raporti kirjeldatakse 2018. aasta Huawei ja Honori nutitelefonide (nt Huawei P20, Huawei P20 Pro ja Honor Play) GPU võrdlusalustes tehtud kontrollitud pettuse juhtumeid.

Kokkuvõte: 2018. aasta Huawei/Honori telefonid tabati GPU võrdlusnäitajates pettusega

AnandTech märgib, et sisse nende ülevaade, oli Huawei P20 jõudlus võrreldes Huawei Mate 10 Pro-ga taandunud. Sel ajal teatas Huawei väljaandele, et tegemist on püsivara probleemiga, kuid tegelikkuses see nii ei olnud. Huawei ja Honori uuemad telefonid tulid koos a etalonide tuvastamise mehhanism mis võimaldab SoC-le palju kõrgemat võimsuspiirangut suurema termilise kõrgusega.

Nagu selgitas AnandTech, tähendab see, et teatud valgesse nimekirja kantud rakenduste puhul toimivad uusimad Huawei ja Honori telefonid palju kõrgemalt, võrreldes sellega, mida kasutajad ootavad muult sarnaselt lubatud loendisse mitte kuuluvalt tarkvaralt. Selle praktika tulemuseks on suurem tarbitav võimsus, väiksem tõhusus ja aku tööiga.

Tulemuseks on see, et jõudlusnäitajad on kõrgemad, kui need tegelikult peaksid olema. Neid numbreid on tegeliku toimivuse korral ühegi kasutaja jaoks ebareaalne saavutada. Väljaandes öeldakse ka, et seda tehes väheneb SoC tõhusus, kuna seda "surutakse hästi väljaspool selle standardset tööakent." Kokkuvõttes muudab see SoC kõrgema võrdlusaluse huvides halvemaks numbrid.

AnandTech väidab, et Huawei võrdluskäitumine ületab kõik, mida väljaanne on varem näinud. Väljaanne kasutas võrdlusaluste kohandatud väljaandeid, nii et neid saab testida tuvastusrežiimi sisse- ja väljalülitamisega. Nende sõnul on tohutud erinevused avalikult kättesaadavate võrdlusnäitajate ja nende kasutatavate siseversioonide vahel "täiesti hämmastavad".

Huawei vastus sellele AnandTecharuanne

AnandTech rääkis Huawei tarbijaärigrupi tarkvara presidendi dr Wang Chengluga. Dr Chenglu tunnistas, et ettevõte pettis võrdlusuuringus, sest "teised teevad sama asja, saavad kõrgeid tulemusi ja Huawei ei saa vaikida."

Dr Chenglu väitis, et Huawei "soovib teistega Hiinas kokku tulla, et leida kasutajakogemuse jaoks parim kinnituse võrdlusalus". Tema osutas teistele tootjatele, kes eksitavad oma numbritega, nimetades suurimaks nimetamata populaarset nutitelefonide tootjat Hiinas süüdlane. Tema sõnul on etalonpetmisest saamas "Hiinas levinud praktika" ja kuigi Huawei soovib tarbijatele "avada", on neil probleeme, kui konkurendid "pidevalt postitavad". ebareaalsed tulemused." Huawei üritab seista vastu oma suurele Hiina konkurentsile – ülesanne, mis näib olevat raskendatud, kui teised seadmetootjad toovad ebareaalseid tulemusi numbrid.

Huawei eesmärk on võrdlusaluste standardimine, et mängutingimused oleksid võrdsed, ja nad ütlesid AnandTech et nad tahavad, et meedia aitaks. Nagu AnandTech märgib aga, et Huawei reklaamib oma oma praegu ebareaalsed tulemused.

Huawei reaktsioon sellele AnandTech aruanne on see Ettevõte tagab, et tulevased võrdlusandmed esitlustes on sõltumatult kinnitatud kolmandate osapoolte poolt väljakuulutamise ajal.

AnandTechleiud üksikasjalikult

AnandTech avastasid üllatava erinevuse nende sisemiste GPU etalonide skoorides võrreldes avalikult kättesaadavate etalonidega. Väljaanne testis Huawei P20, Huawei P20 Pro ja Honor Play. Kõik telefonid töötasid suurema võimsusega režiimis peaaegu identselt, kuna neil on sama HiSilicon Kirin 970 SoC. Telefonide tegelik jõudlus varieerub aga oluliselt, kuna neil kõigil on erinevad soojuspiirangud. Erinevad soojuspiirangud tulenevad nende erinevast šassii/jahutuskonstruktsioonist, nagu AnandTech selgitas. Huawei P20 Pro-l on parimad termid (kuna see on suurem ja kallim kui ülejäänud kaks) ning seetõttu suudab see oma töös paremini toimida. tõeline esitus olek.

Väljaande tõstatatud oluliseks punktiks on võrdlusaluse petmise meetodi erinevus. Hr Frumusanu ütles:

"Varem oleme näinud, et müüjad tõstavad tegelikult SoC sagedusi või lukustavad need maksimaalsesse olekusse, suurendades jõudlust tavaliste rakenduste jaoks tavapärasest kõrgemale. See, mida Huawei selle asemel teeb, on etalonskooride tõstmine, vaadates seda teisest suunast – Võrdlusuuringu rakendused on ainsad kasutusjuhud, kus SoC tegelikult reklaamitavale vastab kiirused. Samal ajal on riistvara termiliste piirangute tõttu kõik teised reaalmaailma rakendused sellest olekust märkimisväärselt madalamad. See, mida me pidurdamatu jõudluse korral lõpuks näeme, on võib-olla piiramatu SoC „tõeline” vorm, kuigi see on täiesti akadeemiline, võrreldes sellega, mida kasutajad tegelikult kogevad." - Andrei Frumusanu ja Ian Cutress, AnandTech

Võimsusgraafikud näitavad, et Huawei uusimate telefonide tegelik jõudlus on juba 3,5–4,4 W, samas kui 3,5 W TDP on maksimaalne vastupidavus. Teisest küljest läheb telefon avalikult kättesaadavate võrdlusnäitajate täitmisel TDP-ga ülekäigukasti, kusjuures võimsusnäitajad tõusevad üle 6 W ja saavutavad 8,5 W. Nagu märkis AnandTech, käivitavad need arvud kiiresti seadme ülekuumenemise teatise, mis näitab termiliste piirangute mittevastavust tarkvara ootustele.

Siin on oluline, et tegelikud jõudlusnäitajad ei ole stabiilsed, kuna need sõltuvad telefoni temperatuurist. Huawei ei blokeeri GPU-l saavutamast GPU tippsageduse olekut. Vaikimisi käitumine on tegelikult "karm termiline drosselmehhanism [...], mis püüab säilitada oluliselt madalamat SoC temperatuuritaset ja üldist energiatarbimist."

Telefonide tavarežiim võib graafikaprotsessori võrdlusnäitajate ajal jõuda samadele tippvõimsuse tarbimise näitajatele, nagu need, mis on postitatud gaasivabade variantide puhul. Need numbrid aga langeb kiiresti oluliselt tagasi, ja AnandTech märgib, et mõnel juhul langeb telefon 2,2 W-ni, mis vähendab oluliselt jõudlust.

Väljaanne väidab, et näiliselt on petmiskäitumise võrdlusalusel kasutusele võetud ainult selle aasta seadmetes. Telefone nagu Huawei Mate 9 ja Huawei P10 see ei mõjuta ning tundub, et mõjutatud on ainult EMUI 8.0 ja uuemad seadmed. AnandTech Samuti ütles Huawei, et see oli "puhtalt tarkvararakendus", mis kinnitas väljaande järeldusi.

AnandTech avaldas mõjutatud Kirin 970 toega telefonide GPU jõudluse tegelikud arvud ja järeldus on, et Huawei jääb konkurentidest oluliselt maha nii GPU jõudluse kui ka tõhususe poolest.

Väljaanne postitas ka Kirin 970 ja Kirin 960 toitega Huawei seadmete võimsuse võrdlusgraafikud. Graafikud näitavad, et Huawei võimsuse reguleerimise reguleerimised on kasutajakogemuse jaoks tegelikult paremad, kuna need leevendavad suurema energiatarbimise probleemi. AnandTechi oma Kirin 960 testimine näitas, et sellel on "kohutavad GPU võimsusomadused", samas kui Kirin 970 toitega seadmetel on uus range drosselmehhanism, et vähendada energiatarbimist ja temperatuurid.

AnandTech lisab, et uus drosselpoliitika on mõttekas, kui võtta arvesse asjaolu, et nii Kirin 960 kui ka Kirin 970 näitab võimsust, mis ületab nende vastavate vormitegurite jätkusuutlikkuse taseme.

Et olla selge, ei ole Huawei uue drosselmehhanismi tutvustamisel valesti teinud. Siin on suur viga populaarsete etalonrakenduste välistamine valge nimekirja kaudu, mida antud juhul nimetatakse võrdlusaluse petmiseks.

Vastus: Huawei ametlik avaldus

Huawei saatis meile võrdlusaluse petmise kohta järgmise avalduse:

Huawei seab alati esikohale kasutajakogemuse, selle asemel, et taotleda kõrgeid võrdlusaluseid – eriti kuna nutitelefonide võrdlusnäitajate ja kasutajakogemuse vahel pole otsest seost. Huawei nutitelefonid kasutavad riistvara (sh CPU, GPU ja NPU) jõudluse optimeerimiseks täiustatud tehnoloogiaid, nagu AI.

Kui keegi käivitab fotograafiarakenduse või mängib graafiliselt intensiivset mängu, loob Huawei intelligentne tarkvara sujuva ja stabiilse kasutajakogemus, rakendades riistvara kõiki võimalusi, haldades samal ajal seadme temperatuuri ja võimsust tõhusust. Rakenduste jaoks, mis ei ole nii energiamahukad, nagu veebi sirvimine, eraldab see ainult vajalikud ressursid, et tagada vajaliku jõudluse.

Tavaliste võrdlusuuringute stsenaariumide korral kohandub Huawei tarkvara intelligentselt jõudlusrežiimiga ja tagab optimaalse jõudluse, kui Huawei tarkvara tuvastab võrdlusuuringu rakenduse. Huawei kavatseb pakkuda kasutajatele juurdepääsu jõudlusrežiimile, et nad saaksid vajaduse korral kasutada oma seadme maksimaalset võimsust.

Huawei – valdkonna liider – on valmis tegema koostööd partneritega, et leida parimad võrdlusuuringu standardid, mis suudavad kasutajakogemust täpselt hinnata.

Võtmesõna siin on see, et ettevõte on kavatseb pakkuda kasutajatele juurdepääsu jõudlusrežiimile (Meizu stiilis), et kasutajad saaksid kasutada oma seadme "maksimaalset võimsust", "kui neil on vaja."

Vastus: UL eemaldab mõjutatud Huawei ja Honori telefonid oma võrdlusalustest

UL, olles omandanud Futuremarki (PCMarki ja 3DMarki taga olev ettevõte), eemaldas 3DMarki loendist Huawei P20, Huawei P20 Pro, Huawei Nova 3 ja Honor Play. Ettevõte on kontrollinud Huawei P20 Pro, Huawei Nova 3 ja Honor Play petmist. Põhjal AnandTechi oma testimisel ja aruandlusel on see ka standardse Huawei P20 nimekirjast eemaldanud. Kasutajad ei saa enam vaadata mõjutatud telefonide võrdlusaluste tulemusi, kuna ettevõte ei soovi petta etalontulemusi.

Ettevõte leidis, et avaliku 3DMarki rakenduse tulemused olid kuni 47% kõrgemad kui tulemused privaatsest rakendusest (mis pole avalikkusele kättesaadav), hoolimata asjaolust, et testid on identsed.

Teates lisas UL, et tal on hea meel näha, et Huawei kohustub tulevikus kasutama läbipaistvamat lähenemisviisi. UL-i seisukoht on, et valikulised jõudlusrežiimid, mida kasutaja saab määrata, on praeguste reeglite kohaselt lubatud seni, kuni need on vaikimisi keelatud. Ettevõte teatab: "Seade peab töötama võrdlusalusena nii, nagu oleks see mis tahes muu rakendus."

Kokkuvõtteks võib öelda, et kõiki Huawei GPU jõudluse näitajaid, mis võeti avalikult kättesaadavate võrdlusaluste abil, ei tohiks võtta tegeliku jõudluse esitusena.

Vastus: UL ja Huawei esitavad ühisavalduse

Vastuseks UL-i otsusele eemaldada 3DMarkist Huawei P20, Huawei P20 Pro, Huawei Nova 3 ja Honor Play, võttis Huawei ühendust UL-iga, et arutada võrdlustestimise parimaid tavasid. Siin on meile pakutud avaldus:

Huawei ja UL (3DMarki loojad) on sel nädalal pidanud põhjalikke arutelusid võrdlusuuringute tavade üle ning jõudnud positiivsele kokkuleppele koostöös järgmiste sammude osas.

Arutelus selgitas Huawei, et tema nutitelefonid kasutavad kunstlikku intelligentset ressursside ajastamise mehhanismi. Kuna erinevatel stsenaariumidel on erinevad ressursivajadused, kasutavad uusimad Huawei telefonid uuenduslikke tehnoloogiaid, näiteks tehisintellekti. optimeerida ressursside jaotamist nii, et riistvara saaks oma võimeid täiel määral demonstreerida, täites samal ajal kasutajate nõudmisi stsenaariumid.

UL mõistab Huawei lähenemisviisi eesmärki, kuid on vastu vaikimisi jõudlusrežiimi sundimisele, kui seade tuvastab võrdlusuuringu rakenduse. UL-i reeglid nõuavad, et seade käitaks võrdlusuuringut nii, nagu oleks see mis tahes muu rakendus.

Huawei austab tarbijate õigust valida, mida oma seadmetega teha. Seetõttu pakub Huawei kasutajatele avatud juurdepääsu EMUI 9.0 jõudlusrežiimile, et kasutaja saaks valida, millal oma seadme maksimaalset võimsust kasutada.

Huawei ja UL on ka üldiselt arutanud praegusi levinud võrdlustestimise metoodikaid. UL ja Huawei soovivad osaleda tööstuse liikumises, et töötada välja võrdlusuuringu standardid, mis kõige paremini teenindavad tootjate, ajakirjanduse ja tarbijate vajadusi.

Et vältida segadust praeguste võrdlusuuringute tulemuste ümber, eemaldasid UL ja Huawei pärast arutelu ajutiselt võrdlusaluse. hulga Huawei seadmeid ja taastab need pärast seda, kui Huawei annab kõigile Huawei telefonide kasutajatele juurdepääsu Performance'ile. Režiim.