Huawei P20, Nova 3 in Honor Play so bili ujeti pri goljufanju pri merilih uspešnosti

Primerjalna merila so bila vedno priljubljen način za merjenje zmogljivosti strojne opreme, tako v osebnem računalniku kot v mobilnem prostoru. Do goljufanja pri merilih uspešnosti pride, ko izdelovalec naprav nepošteno poskuša izigrati merila uspešnosti tako, da doseže rezultate, ki so boljši, kot dejansko so. Goljufanje se lahko zgodi pri vseh primerjalnih testih, vključno s tistimi, ki merijo zmogljivost procesorja, sistema ali grafičnega procesorja. Očiten cilj goljufanja pri merilih uspešnosti je, da bodo kupci prepričani, da je izdelek A boljši od izdelka B. Na žalost to pomeni, da so osnovne slabosti strojne opreme prikrite z goljufanjem. Preprosto povedano, to je izgubljena situacija za vse strani, vključene v industrijo: prodajalce čipov, izdelovalce naprav in predvsem končne potrošnike.

Goljufanje je bilo na področju osebnih računalnikov razširjeno pred več kot desetletjem, a na srečo se je ta praksa večinoma končala. V mobilnem svetu Andrei Frumusanu (zdaj mobilni urednik pri

AnandTech) odkrili goljufanje meril na različici Exynos za Samsung Galaxy S4 leta 2013. The AnandTech mobilni uredniki so nato odkrili različne različice goljufanja pri merilih uspešnosti, ki jih izvajajo številni prodajalci pametnih telefonov. Kar nekaj večjih pametnih telefonov, kot sta Galaxy S4 in Samsung Galaxy Note 3, je bilo celo črtano iz primerjalnih vrednosti kot je 3DMark, saj so se podjetja, kot je Futuremark, odločila, da bodo javno pozvala proizvajalce naprav.

Potem ko so bili leta 2013 poklicani zaradi tega vedenja, je večina proizvajalcev naprav prenehala z goljufanjem pri merilih uspešnosti. Nekateri proizvajalci originalne opreme, kot je Meizu še vedno imajo načine "Performance" v svojih uporabniških vmesnikih, vendar so takšni načini večinoma uporabniško nastavljivi. Lansko leto, našli smo dokaze, da je OnePlus goljufal pri nekaterih priljubljenih merilih uspešnosti, kot je Geekbench. OnePlus prekinil prakso s OnePlus 5T in na splošno se je zdelo, da je goljufanje meril postala stvar preteklosti.

Nov razvoj je popravil to napačno predpostavko. AnandTech urednika Andrei Frumusanu in Ian Cutress sta objavil poročilo s podrobnostmi o preverjenih primerih goljufanja pri merilih uspešnosti GPE s pametnimi telefoni Huawei in Honor iz leta 2018, kot so Huawei P20, Huawei P20 Pro in Honor Play.

Povzetek: telefoni Huawei/Honor iz leta 2018 so bili ujeti pri goljufanju pri merilih uspešnosti GPE

AnandTech ugotavlja, da v njihov pregled, je zmogljivost Huawei P20 nazadovala v primerjavi s Huawei Mate 10 Pro. Takrat je Huawei za publikacijo povedal, da gre za težavo z vdelano programsko opremo, vendar v resnici ni bilo tako. Novejši telefoni Huawei in Honor so prihajali z a mehanizem za odkrivanje primerjalnih vrednosti ki omogoča veliko višjo mejo moči za SoC z večjo toplotno višino.

Kot je pojasnil AnandTech, to pomeni, da so najnovejši telefoni Huawei in Honor pri nekaterih aplikacijah na seznamu dovoljenih veliko boljši v primerjavi s tistim, kar bodo uporabniki pričakovali od druge podobne programske opreme, ki ni na seznamu dovoljenih. Ta praksa ima za posledico večjo porabo energije, manjšo učinkovitost in krajšo življenjsko dobo baterije.

Končni rezultat je, da so številke uspešnosti višje od tistih, ki bi dejansko morale biti. Te številke je nerealno doseči za katerega koli uporabnika v scenariju resnične zmogljivosti. Publikacija tudi navaja, da se učinkovitost SoC pri tem zmanjša, saj je "dobro potisnjen zunaj svojega standardnega operacijskega okna." Skratka, SoC zaradi višjega merila uspešnosti izgleda slabše številke.

AnandTech navaja, da Huaweijevo primerjalno vedenje presega vse, kar je publikacija videla v preteklosti. Publikacija je uporabila prilagojene izdaje meril uspešnosti, tako da lahko testirajo z vklopljenim in izklopljenim načinom zaznavanja. Po njihovih besedah ​​so velike razlike v uspešnosti med javno dostopnimi merili uspešnosti in internimi različicami, ki jih uporabljajo, "popolnoma osupljive."

Huaweijev odgovor na AnandTechporočilo

AnandTech govoril z dr. Wang Chenglujem, predsednikom programske opreme pri Huaweijevi poslovni skupini Consumer Business Group. Dr. Chenglu je priznal, da je podjetje goljufalo pri primerjalni analizi, ker "drugi delajo enako, dobivajo visoke ocene in Huawei ne more ostati tiho."

Dr. Chenglu je izjavil, da se Huawei "želi združiti z drugimi na Kitajskem, da bi našli najboljše merilo uspešnosti preverjanja uporabniške izkušnje." On opozoril na druge proizvajalce, ki zavajajo s svojimi številkami, pri čemer je kot največjega navedel neimenovanega priljubljenega proizvajalca pametnih telefonov na Kitajskem. krivec. Po njegovih besedah ​​postaja goljufanje meril uspešnosti "običajna praksa na Kitajskem" in medtem ko se Huawei želi "odpreti" potrošnikom, imajo težave, ko konkurenti "nenehno objavljajo nerealni rezultati." Huawei se poskuša soočiti s svojo glavno kitajsko konkurenco, kar je na videz oteženo, ko drugi proizvajalci naprav ustvarijo nerealne rezultate številke.

Huaweijev cilj je standardizacija meril uspešnosti za izenačenje konkurenčnih pogojev, in povedali so AnandTech da želijo, da bi mediji pomagali. Kot AnandTech ugotavlja, da Huawei promovira svoje lasten za zdaj nerealni rezultati.

Odziv Huaweija na AnandTech poročilo je to podjetje bo zagotovilo, da bodo prihodnje primerjalne podatke v predstavitvah neodvisno preverile tretje osebe v času objave.

AnandTechpodrobne ugotovitve

AnandTech ugotovili presenetljivo razliko v rezultatih, ki jih ustvarijo njihove interne različice primerjalnih testov GPU, v primerjavi z javno dostopnimi merili uspešnosti. Publikacija je testirala Huawei P20, Huawei P20 Pro in Honor Play. Vsi telefoni so delovali skoraj enako v načinu večje porabe energije, ker imajo isti HiSilicon Kirin 970 SoC. Vendar se dejanska zmogljivost telefonov močno razlikuje, saj imajo vsi različne toplotne meje. Različne toplotne omejitve so posledica različnih zasnov ohišja/hlajenja, npr AnandTech pojasnil. Huawei P20 Pro ima najboljše toplotne lastnosti (ker je večji in dražji od ostalih dveh), zato se lahko bolje obnese v svojem resnično delovanje država.

Pomembna točka, ki jo je izpostavila objava, je razlika v metodi goljufanja primerjalne vrednosti. G. Frumusanu je izjavil:

"V preteklosti smo videli, da so prodajalci dejansko dvignili frekvence SoC ali jih zaklenili na njihova najvišja stanja, s čimer so dvignili zmogljivost, ki presega tisto, kar je običajno na voljo za generične aplikacije. Huawei namesto tega izboljšuje primerjalne rezultate tako, da prihaja iz druge smeri – iz Primerjalne aplikacije so edini primeri uporabe, kjer SoC dejansko ustreza oglaševanemu hitrosti. Medtem je vsaka druga aplikacija v resničnem svetu zaradi toplotnih omejitev strojne opreme zmanjšana do znatne stopnje pod to stanje. Kar na koncu vidimo pri nezmanjšani zmogljivosti, je morda "prava" oblika neomejenega SoC, čeprav to je popolnoma akademsko v primerjavi s tem, kar uporabniki dejansko izkusijo." - Andrei Frumusanu in Ian Cutress, AnandTech

Grafi moči kažejo, da Huaweijevi najnovejši telefoni že dosegajo 3,5-4,4 W v stanju dejanske zmogljivosti, medtem ko je 3,5 W TDP največja količina, ki jo je mogoče vzdrževati. Po drugi strani pa telefon prehitri TDP pri izvajanju javno dostopnih meril uspešnosti, pri čemer se vrednosti moči dvignejo nad 6 W in dosežejo vrh pri 8,5 W. Kot ugotavlja AnandTech, te številke hitro sprožijo obvestilo o pregrevanju na napravi, kar pomeni neusklajenost toplotnih omejitev s pričakovanji programske opreme.

Zaključek je, da dejanske številke o zmogljivosti niso stabilne, saj so odvisne od temperature telefona. Huawei ne blokira GPE-ja, da bi dosegel stanje najvišje frekvence GPE-ja. Privzeto vedenje je pravzaprav "oster toplotni dušilni mehanizem [...], ki bo poskušal vzdrževati bistveno nižje ravni temperature SoC in skupno porabo energije."

Običajni način telefonov lahko doseže enake številke najvišje porabe energije med primerjalnimi preizkusi GPU kot tiste, ki jih objavijo nezmanjšane različice. Vendar te številke hitro znatno pade nazaj, in AnandTech ugotavlja, da se telefon v nekaterih primerih zmanjša na 2,2 W, kar ima za posledico znatno zmanjšanje zmogljivosti.

Publikacija navaja, da je merilo goljufanja navidezno predstavljen šele v letošnjih napravah. To ne vpliva na telefone, kot sta Huawei Mate 9 in Huawei P10, in zdi se, da so prizadete le naprave EMUI 8.0 in novejše. AnandTech Huawei je prav tako povedal, da je to "zgolj programska implementacija", kar je potrdilo ugotovitve publikacije.

AnandTech objavil dejanske podatke o zmogljivosti GPE za prizadete telefone, ki jih poganja Kirin 970, in sklep je, da Huawei močno zaostaja za svojimi konkurenti tako v zmogljivosti GPE kot učinkovitosti.

Publikacija je objavila tudi primerjalne grafe moči za naprave Huawei, ki jih poganja Kirin 970 in Kirin 960. Grafi kažejo, da so Huaweijeve prilagoditve dušenja moči dejansko boljše za uporabniško izkušnjo, saj ublažijo problem večje porabe energije. AnandTech's testiranje Kirin 960 je pokazalo, da ima "grozne lastnosti GPU moči," medtem ko Kirin Naprave s pogonom 970 imajo nov mehanizem strogega dušenja za zmanjšanje porabe energije in temperature.

AnandTech dodaja, da je nova politika omejevanja smiselna, če upoštevamo dejstvo, da tako Kirin 960 kot Kirin 970 kaže porabo energije, ki je veliko nad njihovimi trajnostnimi ravnmi za njihove posamezne faktorje oblike.

Če želimo biti jasni, Huawei ni naredil napake, ko je uvedel nov mehanizem za dušenje. Velika napaka pri tem je izključitev priljubljenih primerjalnih aplikacij prek seznama dovoljenih, kar se v tem primeru imenuje goljufanje pri primerjalnem preizkusu.

Odgovor: Huaweijeva uradna izjava

Huawei nam je poslal naslednjo izjavo o goljufanju meril uspešnosti:

Huawei vedno daje prednost uporabniški izkušnji, namesto da bi si prizadeval za visoke primerjalne rezultate – še posebej, ker ni neposredne povezave med merili pametnih telefonov in uporabniško izkušnjo. Pametni telefoni Huawei uporabljajo napredne tehnologije, kot je AI, za optimizacijo delovanja strojne opreme, vključno s CPE, GPE in NPE.

Ko nekdo zažene fotografsko aplikacijo ali igra grafično zahtevno igro, Huaweijeva inteligentna programska oprema ustvari gladko in stabilno uporabniško izkušnjo z uporabo vseh zmožnosti strojne opreme, ob hkratnem upravljanju temperature in moči naprave učinkovitost. Za aplikacije, ki niso tako porabe energije, kot je brskanje po spletu, bo dodelil samo vire, ki so potrebni za zagotavljanje potrebne zmogljivosti.

V običajnih scenarijih primerjalnega preizkušanja se Huaweijeva programska oprema, ko prepozna aplikacijo za primerjalno preizkušanje, inteligentno prilagodi »Performance Mode« in zagotavlja optimalno delovanje. Huawei namerava uporabnikom omogočiti dostop do »Performance Mode«, da bodo lahko uporabili največjo moč svoje naprave, ko bodo to potrebovali.

Huawei – kot vodilni v industriji – je pripravljen sodelovati s partnerji pri iskanju najboljših standardov primerjalne analize, ki lahko natančno ocenijo uporabniško izkušnjo.

Ključni zaključek pri tem je, da je podjetje namerava uporabnikom zagotoviti dostop do "Performance Mode" (v slogu Meizu), tako da lahko uporabniki uporabljajo "največjo moč" svoje naprave, "ko potrebujejo."

Odgovor: UL črta prizadeta telefona Huawei in Honor v svojih merilih uspešnosti

UL, ki je kupil Futuremark (podjetje, ki stoji za PCMark in 3DMark), je telefone Huawei P20, Huawei P20 Pro, Huawei Nova 3 in Honor Play odstranil s seznama 3DMark. Podjetje je potrdilo primerjalno goljufanje pri Huawei P20 Pro, Huawei Nova 3 in Honor Play. Na podlagi AnandTech's testiranja in poročanja je tudi umaknila standardni Huawei P20. Uporabniki si ne bodo mogli več ogledati rezultatov primerjalnih testov prizadetih telefonov, saj podjetje ne želi gostiti goljufanih rezultatov primerjalnih testov.

Podjetje je ugotovilo, da so bili rezultati javne aplikacije 3DMark do 47 % višji od rezultatov iz zasebne aplikacije (ki ni na voljo javnosti), kljub temu, da so testi enaka.

V objavi je UL dodala, da je vesela, da se je Huawei zavezal k bolj preglednemu pristopu v prihodnosti. Stališče UL je, da so neobvezni načini delovanja, ki jih lahko nastavi uporabnik, dovoljeni v skladu s trenutnimi pravili dokler so privzeto onemogočeni. Podjetje navaja: "Naprava mora izvajati merilo uspešnosti, kot da bi bila katera koli druga aplikacija."

Skratka, vseh meril uspešnosti GPU Huawei, ki so bili narejeni z uporabo javno dostopnih meril uspešnosti, ne bi smeli jemati kot predstavitev dejanske zmogljivosti.

Odgovor: UL in Huawei izdata skupno izjavo

V odgovor na odločitev UL, da Huawei P20, Huawei P20 Pro, Huawei Nova 3 in Honor Play odstrani iz 3DMark, se je Huawei obrnil na UL, da bi razpravljal o najboljših praksah za primerjalno testiranje. Tukaj je ponujena izjava:

Huawei in UL (ustvarjalca 3DMark) sta ta teden opravila obsežne razprave o praksah primerjalne analize in dosegla pozitiven dogovor o naslednjih korakih pri sodelovanju.

V razpravi je Huawei pojasnil, da njegovi pametni telefoni uporabljajo mehanizem za umetno inteligentno razporejanje virov. Ker imajo različni scenariji različne potrebe po virih, najnovejši telefoni Huawei izkoriščajo inovativne tehnologije, kot je umetna inteligenca za optimizirati dodeljevanje virov na način, da lahko strojna oprema v največji možni meri pokaže svoje zmogljivosti, hkrati pa izpolnjuje zahteve uporabnikov v vseh scenariji.

UL razume namen Huaweijevega pristopa, vendar nasprotuje vsiljevanju privzete uporabe »Performance Mode«, ko naprava zazna aplikacijo za primerjalno analizo. Pravila UL zahtevajo, da naprava zažene merilo uspešnosti, kot da bi bila katera koli druga aplikacija.

Huawei spoštuje pravico potrošnikov, da izberejo, kaj bodo počeli s svojimi napravami. Zato bo Huawei uporabnikom omogočil odprt dostop do »Performance Mode« v EMUI 9.0, tako da lahko uporabnik izbere, kdaj bo uporabil največjo moč svoje naprave.

Huawei in UL sta na splošno razpravljala tudi o trenutnih skupnih metodologijah testiranja uspešnosti. UL in Huawei želita sodelovati v industrijskem gibanju za razvoj primerjalnih standardov, ki najbolje ustrezajo potrebam proizvajalcev, tiska in potrošnikov.

Da bi preprečili zmedo glede trenutnih rezultatov primerjalne analize, sta UL in Huawei po razpravi začasno umaknila merilo uspešnosti. številne vrste naprav Huawei in jih bo znova vzpostavil, potem ko bo Huawei vsem uporabnikom telefonov Huawei omogočil dostop do Performance Način.