Huawei P20, Nova 3 i Honor Play uhvaćeni su u varanju na mjerilima

Referentne vrijednosti oduvijek su bile popularan način mjerenja performansi hardvera, kako u PC tako iu mobilnom prostoru. Varanje na referentnoj razini događa se kada proizvođač uređaja nepošteno pokušava izigrati referentnu vrijednost tako da rezultati budu bolji nego što zapravo jesu. Varanje se može dogoditi u svim referentnim testovima, uključujući one koji mjere performanse CPU-a, sustava ili GPU-a. Očigledan cilj varanja na referentnim vrijednostima je da kupci budu uvjereni da je proizvod A bolji od proizvoda B. Nažalost, to znači da su temeljne slabosti hardvera maskirane varanjem. Pojednostavljeno rečeno, to je gubitnička situacija za sve strane uključene u industriju: prodavače čipova, proizvođače uređaja i ponajviše krajnje potrošače.

Varanje je bilo rašireno u PC prostoru prije više od deset godina, ali srećom, praksa je uglavnom prestala. U mobilnom svijetu, Andrei Frumusanu (sada mobilni urednik na

AnandTech) otkrio benchmark varanje na Exynos varijanti Samsung Galaxy S4 2013. The AnandTech uređivači mobilnih uređaja tada su otkrili različite vrste varanja mjerila koje rade mnogi prodavači pametnih telefona. Dosta velikih pametnih telefona kao što su Galaxy S4 i Samsung Galaxy Note 3 bili su jednaki isključeno iz referentnih vrijednosti poput 3DMarka, budući da su se tvrtke poput Futuremarka odlučile javno prozvati proizvođače uređaja.

Nakon što su 2013. prozvani zbog ovakvog ponašanja, većina proizvođača uređaja prestala je varati referentne vrijednosti. Neki proizvođači originalne opreme poput Meizua još uvijek imaju načine rada "Performance" u svojim korisničkim sučeljima, ali takve načine rada uglavnom može konfigurirati korisnik. Prošle godine, pronašli smo dokaze da je OnePlus varao u nekim popularnim mjerilima kao što je Geekbench. OnePlus prekinuo praksu sa OnePlus 5T, i sve u svemu, činilo se da je varanje referentnih vrijednosti postalo stvar prošlosti.

Novi razvoj ispravio je ovu pogrešnu pretpostavku. AnandTech urednici Andrei Frumusanu i Ian Cutress imaju objavio izvješće koji detaljno opisuju provjerene slučajeve varanja u referentnim vrijednostima u GPU referentnim vrijednostima od strane pametnih telefona Huawei i Honor iz 2018., kao što su Huawei P20, Huawei P20 Pro i Honor Play.

Sažetak: Huawei/Honor telefoni iz 2018. uhvaćeni u varanju GPU benchmarka

AnandTech napominje da u njihov pregled, performanse Huawei P20 su nazadovale u usporedbi s Huawei Mate 10 Pro. Huawei je u to vrijeme publikaciji rekao da se radi o problemu s firmverom, ali u stvarnosti to nije bio slučaj. Noviji telefoni Huaweija i Honora dolazili su s a mehanizam detekcije mjerila to omogućuje puno veće ograničenje snage za SoC s većim toplinskim prostorom.

Kako je objasnio AnandTech, to znači da za određene aplikacije s popisa dopuštenih, najnoviji telefoni Huawei i Honor imaju mnogo bolje performanse u usporedbi s onim što korisnici očekuju od drugog sličnog softvera koji nije na popisu dopuštenih. Ova praksa rezultira većom potrošnjom energije, manjom učinkovitošću i kraćim trajanjem baterije.

Konačni rezultat je da su brojke izvedbe veće od onoga što bi zapravo trebale biti. Ove brojeve je nerealno postići za bilo kojeg korisnika u stvarnom scenariju performansi. Publikacija također navodi da se učinkovitost SoC-a smanjuje kada se to radi jer se "dobro gura izvan svog standardnog operativnog prozora." Sve u svemu, zbog toga SoC izgleda lošije radi višeg benchmarka brojevima.

AnandTech navodi da Huaweijevo referentno ponašanje premašuje sve što je publikacija vidjela u prošlosti. Publikacija je koristila prilagođena izdanja mjerila, tako da mogu testirati s uključenim i isključenim načinom otkrivanja. Prema njihovim riječima, ogromne razlike u izvedbi između javno dostupnih mjerila i internih verzija koje koriste su "apsolutno zapanjujuće".

Huaweijev odgovor na AnandTechizvješće

AnandTech razgovarao s dr. Wang Chengluom, predsjednikom softvera u Huawei Consumer Business Group. Dr. Chenglu je priznao da tvrtka vara u benchmarkingu jer "drugi rade istu stvar, dobivaju visoke ocjene, a Huawei ne može šutjeti."

Dr. Chenglu je izjavio da Huawei "želi udružiti snage s drugima u Kini kako bi pronašli najbolje mjerilo za provjeru korisničkog iskustva." On ukazao na druge proizvođače koji su doveli u zabludu svojim brojkama, navodeći neimenovanog popularnog proizvođača pametnih telefona u Kini kao najvećeg krivac. Prema njegovim riječima, varanje referentnih vrijednosti postaje "uobičajena praksa u Kini", a dok se Huawei želi "otvoriti" potrošačima, imaju problema kada konkurencija "stalno objavljuje nerealni rezultati." Huawei se pokušava suočiti sa svojom glavnom kineskom konkurencijom, zadatak koji je naizgled otežan kada drugi proizvođači uređaja daju nerealne rezultate brojevima.

Huaweijev cilj je standardizacija mjerila kako bi se izjednačili uvjeti, a rekli su AnandTech da žele pomoć medija. Kao AnandTech napominje, međutim, Huawei promovira svoje vlastiti nerealni rezultati za sada.

Huaweijeva reakcija na AnandTech izvješće je to tvrtka će osigurati da buduće referentne podatke u prezentacijama neovisno provjeravaju treće strane u vrijeme objave.

AnandTechnalazi detaljno

AnandTech otkrili su iznenađujuću razliku u rezultatima koje su proizvele njihove interne verzije GPU referentnih vrijednosti u usporedbi s javno dostupnim referentnim vrijednostima. Publikacija je testirala Huawei P20, Huawei P20 Pro i Honor Play. Svi telefoni radili su gotovo identično u načinu rada veće snage jer dijele isti HiSilicon Kirin 970 SoC. Međutim, stvarna izvedba telefona značajno varira jer svi imaju različita toplinska ograničenja. Različita toplinska ograničenja su zbog različitih dizajna kućišta/hlađenja, npr AnandTech objasnio. Huawei P20 Pro ima najbolju toplinu (jer je veći i skuplji od druga dva), i stoga može bolje raditi u svom pravi učinak država.

Važna točka koju je pokrenula publikacija je razlika u metodi varanja mjerila. G. Frumusanu je izjavio:

"U prošlosti smo vidjeli kako dobavljači zapravo podižu frekvencije SoC-a ili ih zaključavaju na njihova maksimalna stanja, podižući performanse iznad onoga što je obično dostupno generičkim aplikacijama. Ono što Huawei umjesto toga radi je povećanje referentnih rezultata tako što dolazi iz drugog smjera – iz aplikacije za benchmarking jedini su slučajevi upotrebe u kojima SoC stvarno radi prema reklamiranom brzine. U međuvremenu je svaka druga aplikacija u stvarnom svijetu prigušena do značajnog stupnja ispod tog stanja zbog toplinskih ograničenja hardvera. Ono što na kraju vidimo s neugušenim performansama možda je 'pravi' oblik neograničenog SoC-a, iako ovo je potpuno akademsko u usporedbi s onim što korisnici stvarno doživljavaju." - Andrei Frumusanu i Ian Cutress, AnandTech

Grafikoni snage pokazuju da Huaweijevi najnoviji telefoni već postižu 3,5-4,4 W u stvarnom stanju performansi, dok je 3,5 W TDP maksimalni iznos koji se može održati. S druge strane, telefon ubrzava s TDP-om kada izvodi javno dostupna mjerila, s brojkama snage iznad 6 W i najvišom od 8,5 W. Kako je primijetio AnandTech, te brojke brzo pokreću obavijest o pregrijavanju na uređaju, što označava neusklađenost toplinskih ograničenja s očekivanjima softvera.

Zaključak je da stvarne brojke performansi nisu stabilne jer ovise o temperaturi telefona. Huawei ne blokira GPU da dostigne svoje vršno stanje GPU frekvencije. Zadano ponašanje zapravo je "oštar termalni mehanizam za prigušivanje [...] koji će pokušati održati znatno niže razine temperature SoC-a i ukupne potrošnje energije."

Normalni način rada telefona može doseći iste brojke vršne potrošnje energije tijekom GPU benchmarkova kao one koje objavljuju neusporene varijante. Međutim, ove brojke brzo značajno nazadovati, i AnandTech primjećuje da se telefon u nekim slučajevima smanjuje na 2,2 W, što ima učinak značajnog smanjenja performansi.

Publikacija navodi da je referentno ponašanje varanja naizgled predstavljen samo u ovogodišnjim uređajima. Telefoni poput Huawei Mate 9 i Huawei P10 nisu zahvaćeni, a čini se da su zahvaćeni samo EMUI 8.0 i noviji uređaji. AnandTech Huawei je također rekao da je ovo "čisto softverska implementacija", što je potvrdilo nalaze publikacije.

AnandTech objavio stvarne podatke o performansama GPU-a za pogođene telefone s Kirin 970, a zaključak je da Huawei značajno zaostaje za svojim konkurentima u GPU performansama i učinkovitosti.

Publikacija je također objavila grafikone usporedbe snage za Huawei uređaje s Kirin 970 i Kirin 960. Grafikoni pokazuju da su Huaweijeve prilagodbe smanjenja snage zapravo bolje za korisničko iskustvo jer ublažavaju problem veće potrošnje energije. AnandTech-a testiranje Kirina 960 pokazalo je da ima "užasne karakteristike snage GPU-a", dok je Kirin Uređaji s pogonom 970 imaju novi strogi mehanizam prigušenja za smanjenje potrošnje energije i temperature.

AnandTech dodaje da nova politika prigušivanja ima smisla s obzirom na činjenicu da i Kirin 960 i Kirin 970 pokazuje potrošnju energije koja je mnogo iznad njihove održive razine za njihove faktore oblika.

Da budemo jasni, Huawei nije pogriješio uvođenjem novog mehanizma za prigušivanje. Velika je pogreška ovdje isključivanje popularnih benchmark aplikacija putem popisa dopuštenih, što se u ovom slučaju naziva benchmark varanje.

Odgovor: službena izjava Huaweija

Huawei nam je poslao sljedeću izjavu o varanju referentnih vrijednosti:

Huawei uvijek daje prednost korisničkom iskustvu, a ne traženju visokih referentnih rezultata – pogotovo jer ne postoji izravna veza između referentnih vrijednosti pametnih telefona i korisničkog iskustva. Huawei pametni telefoni koriste napredne tehnologije kao što je AI za optimizaciju performansi hardvera, uključujući CPU, GPU i NPU.

Kada netko pokrene aplikaciju za fotografiranje ili igra grafički intenzivnu igricu, Huaweijev inteligentni softver stvara glatku i stabilnu korisničko iskustvo primjenom svih mogućnosti hardvera, uz istovremeno upravljanje temperaturom i snagom uređaja učinkovitost. Za aplikacije koje ne troše toliko energije kao što je pregledavanje weba, dodijelit će samo resurse potrebne za isporuku potrebne izvedbe.

U normalnim scenarijima benchmarkinga, kada Huaweijev softver prepozna aplikaciju za benchmarking, inteligentno se prilagođava "Performance Mode" i pruža optimalne performanse. Huawei planira omogućiti korisnicima pristup "Performance Modeu" kako bi mogli koristiti maksimalnu snagu svog uređaja kada im je to potrebno.

Huawei – kao vodeći u industriji – voljan je surađivati ​​s partnerima kako bi pronašao najbolje standarde usporedbe koji mogu točno procijeniti korisničko iskustvo.

Ključni zaključak ovdje je da je tvrtka planiranje pružanja korisnicima pristupa "Performance Mode" (u stilu Meizu) kako bi korisnici mogli koristiti "maksimalnu snagu" svog uređaja "kada trebaju."

Odgovor: UL uklanja zahvaćene telefone Huawei i Honor u svojim referentnim vrijednostima

UL, kupnjom Futuremarka (tvrtke koja stoji iza PCMarka i 3DMarka), uklonio Huawei P20, Huawei P20 Pro, Huawei Nova 3 i Honor Play s 3DMarka. Tvrtka je potvrdila benchmark varanje na Huawei P20 Pro, Huawei Nova 3 i Honor Play. Temeljem AnandTech-a testiranja i izvješćivanja, također je uklonio standardni Huawei P20. Korisnici više neće moći vidjeti rezultate benchmarka zahvaćenih telefona jer tvrtka ne želi ugostiti prevarene rezultate benchmarka.

Tvrtka je otkrila da su rezultati iz javne aplikacije 3DMark bili do 47% viši od rezultata iz privatne aplikacije (koja nije dostupna javnosti), unatoč činjenici da testovi jesu identičan.

U priopćenju je UL dodao da je sretan što se Huawei obvezao usvojiti transparentniji pristup u budućnosti. Stav UL-a je da su neobavezni načini izvedbe koje može postaviti korisnik dopušteni prema njegovim trenutnim pravilima sve dok su prema zadanim postavkama onemogućeni. Tvrtka navodi: "Uređaj mora pokrenuti benchmark kao da je bilo koja druga aplikacija."

Zaključno, sva mjerila performansi Huawei GPU-a koja su uzeta pomoću javno dostupnih mjerila ne bi se trebala uzeti kao prikaz stvarnih performansi.

Odgovor: UL i Huawei izdaju zajedničku izjavu

Kao odgovor na odluku UL-a da ukloni Huawei P20, Huawei P20 Pro, Huawei Nova 3 i Honor Play s 3DMarka, Huawei se obratio UL-u kako bi raspravio najbolje prakse za testiranje benchmarka. Evo izjave koja nam je ponuđena:

Huawei i UL (kreatori 3DMarka) održali su opsežne rasprave o praksi usporedne analize ovaj tjedan i postigli pozitivan dogovor o sljedećim koracima u zajedničkom radu.

U raspravi je Huawei objasnio da njegovi pametni telefoni koriste mehanizam za raspoređivanje resursa umjetne inteligencije. Budući da različiti scenariji imaju različite potrebe za resursima, najnoviji Huawei uređaji koriste inovativne tehnologije kao što je umjetna inteligencija za optimizirati raspodjelu resursa na način da hardver može pokazati svoje mogućnosti u najvećoj mjeri, dok ispunjava zahtjeve korisnika u svim scenariji.

UL razumije namjeru Huaweijeva pristupa, ali se protivi forsiranju upotrebe "Performance Mode" prema zadanim postavkama kada uređaj detektira aplikaciju za usporedbu. UL pravila zahtijevaju da uređaj pokreće referentnu vrijednost kao da se radi o bilo kojoj drugoj aplikaciji.

Huawei poštuje pravo potrošača da izaberu što će učiniti sa svojim uređajima. Stoga će Huawei korisnicima omogućiti otvoreni pristup “Performance Mode” u EMUI 9.0, tako da korisnik može odabrati kada će koristiti maksimalnu snagu svog uređaja.

Huawei i UL također su raspravljali o trenutačnim zajedničkim metodologijama testiranja referentnih vrijednosti općenito. UL i Huawei željeli bi sudjelovati u industrijskom pokretu za razvoj standarda usporedbe koji najbolje služe potrebama proizvođača, medija i potrošača.

Kako bi spriječili zabunu oko trenutnih rezultata usporedne analize, nakon rasprave, UL i Huawei su privremeno uklonili referentnu vrijednost mnoštvo niza Huawei uređaja te će ih ponovno aktivirati nakon što Huawei svim korisnicima Huawei uređaja odobri pristup Performance Način rada.