Egy jelentés szerint a Huaweit csalásról találták a benchmarkokban. Az UL válaszul eltávolította a Huawei P20/P20 Pro, a Huawei Nova 3 és a Honor Play készülékeket a 3DMark kínálatából.
A benchmark mindig is népszerű módszer volt a hardver teljesítményének mérésére, mind a PC-n, mind a mobilterületen. A benchmark csalás akkor következik be, amikor egy eszközgyártó tisztességtelenül megpróbálja kijátszani a benchmarkot azáltal, hogy az eredményeket a ténylegesnél jobb eredményre állítja. Csalás történhet bármely benchmark tesztben, beleértve azokat is, amelyek a CPU, a rendszer vagy a GPU teljesítményét mérik. A benchmarkoknál történő csalás nyilvánvaló célja, hogy a vásárlók meggyőződjenek arról, hogy az A termék jobb, mint a B. Sajnos ez azt jelenti, hogy a hardver mögöttes gyengeségeit csalás takarja el. Leegyszerűsítve, ez egy vesztes helyzet az iparág összes szereplője számára: a chipgyártók, az eszközgyártók és legfőképpen a végfelhasználók számára.
A csalás már több mint egy évtizede elterjedt a PC-s világban, de szerencsére a gyakorlat többnyire véget ért. A mobil világban Andrei Frumusanu (jelenleg mobilszerkesztő a címen
AnandTech) benchmark csalást fedezett fel a Samsung Galaxy S4 Exynos változatán 2013-ban. A AnandTech A mobilszerkesztők ezt követően felfedezték a benchmark csalás különböző fajtáit, amelyeket sok okostelefon-gyártó végez. Jó néhány nagyobb okostelefon, mint például a Galaxy S4 és a Samsung Galaxy Note 3 páros volt lekerült a benchmarkokról mint a 3DMark, mivel az olyan cégek, mint a Futuremark, úgy döntöttek, hogy nyilvánosan felhívják az eszközgyártókat.Miután 2013-ban felszólították őket ezért a viselkedésért, a legtöbb eszközgyártó felhagyott a benchmark csalással. Néhány eredeti gyártó, mint a Meizu felhasználói felületükön továbbra is vannak "Teljesítmény" módok, de ezek a módok többnyire a felhasználó által konfigurálhatók. Tavaly, bizonyítékot találtunk arra, hogy a OnePlus csal néhány népszerű benchmarkban, például a Geekbenchben. OnePlus -val abbahagyta a gyakorlatot a OnePlus 5T, és nagyjából úgy tűnt, hogy a benchmark csalás a múlté lett.
Egy új fejlemény korrigálta ezt a téves feltételezést. AnandTech Andrei Frumusanu és Ian Cutress szerkesztők jelentést tett közzé részletezi a 2018-as Huawei és Honor okostelefonok, például a Huawei P20, a Huawei P20 Pro és a Honor Play GPU-benchmarkokban végrehajtott benchmark csalások ellenőrzött eseteit.
Összegzés: A 2018-as Huawei/Honor telefonokat csaláson kapták a GPU-benchmarkokban
AnandTech megjegyzi, hogy be áttekintésük, a Huawei P20 teljesítménye visszaesett a Huawei Mate 10 Pro-hoz képest. Ekkor a Huawei azt mondta a kiadványnak, hogy firmware-problémáról van szó, de a valóságban ez nem így volt. A Huawei és a Honor újabb telefonjai a benchmark észlelési mechanizmus ami sokkal magasabb teljesítményhatárt tesz lehetővé az SoC számára, nagyobb hőmagassággal.
Amint azt kifejtette AnandTech, ez azt jelenti, hogy bizonyos engedélyezési listán szereplő alkalmazások esetében a legújabb Huawei és Honor telefonok sokkal jobban teljesítenek, mint amit a felhasználók más hasonló, nem engedélyezőlistán szereplő szoftverektől elvárnak. Ez a gyakorlat nagyobb energiafogyasztást, alacsonyabb hatékonyságot és csökkentett akkumulátor-élettartamot eredményez.
A nettó eredmény az, hogy a teljesítményszámok magasabbak, mint amennyinek valójában lennie kellene. Ezeket a számokat valós teljesítmény forgatókönyve esetén egyetlen felhasználó számára sem lehet elérni. A kiadvány azt is leszögezi, hogy az SoC hatékonysága csökken, mivel ezt "jól nyomják". a normál működési ablakon kívül." Mindent összevetve, a magasabb benchmark kedvéért rosszabbul néz ki az SoC számok.
AnandTech kijelenti, hogy a Huawei benchmark viselkedése felülmúl minden, amit a kiadvány a múltban látott. A kiadvány a benchmarkok egyedi kiadásait használta, így tesztelhetik az észlelési mód be- és kikapcsolásával. Szavaik szerint a nyilvánosan elérhető benchmarkok és az általuk használt belső verziók közötti hatalmas teljesítménybeli különbségek "teljesen elképesztőek".
A Huawei válasza erre AnandTechjelentését
AnandTech beszélt Dr. Wang Chengluval, a Huawei fogyasztói üzletágának szoftver részlegének elnökével. Dr. Chenglu elismerte, hogy a vállalat csal a benchmarking során, mert "mások is ugyanezt teszik, magas pontszámokat kapnak, és a Huawei nem tud hallgatni".
Dr. Chenglu kijelentette, hogy a Huawei "együtt akar jönni másokkal Kínában, hogy megtalálja a legjobb ellenőrzési referenciaértéket a felhasználói élményhez". Ő más gyártókra mutatott rá, akik számukkal félrevezetnek, és egy meg nem nevezett népszerű kínai okostelefon-gyártót említett a legnagyobb gyártónak. tettes. Elmondása szerint a benchmark csalás „elterjedt gyakorlattá válik Kínában”, és bár a Huawei szeretne „nyitni” a fogyasztók felé, gondjaik vannak, amikor a versenytársak „folyamatosan posztolnak” irreális pontszámok." A Huawei megpróbál szembeszállni nagy kínai versenytársával, amely feladat látszólag megnehezül, amikor más készülékgyártók irreális pontszámot adnak számok.
A Huawei célja a referenciaértékek szabványosítása az egyenlő versenyfeltételek megteremtése érdekében, és elmondták AnandTech hogy azt akarják, hogy a média segítsen. Mint AnandTech megjegyzi, azonban a Huawei népszerűsíti azt saját egyelőre irreális pontszámok.
A Huawei reakciója a AnandTech jelentés az a társaság gondoskodik arról, hogy a prezentációk jövőbeni benchmark adatait a bejelentés időpontjában harmadik felek függetlenül ellenőrizzék.
AnandTechmegállapításait részletesen
AnandTech meglepő különbséget találtak a GPU-benchmarkok belső verziói által elért pontszámokban a nyilvánosan elérhető benchmarkokhoz képest. A kiadvány a Huawei P20-at, a Huawei P20 Pro-t és a Honor Play-t tesztelte. Az összes telefon közel azonos teljesítményt nyújtott nagyobb fogyasztású üzemmódban, mivel ugyanazt a HiSilicont használják Kirin 970 SoC. A telefonok valós teljesítménye azonban jelentősen eltér, mivel mindegyiknek más-más hőkorlátja van. A különböző termikus határértékek az eltérő alváz/hűtés kialakításukból adódnak, mint pl AnandTech magyarázta. A Huawei P20 Pro rendelkezik a legjobb hővel (mert nagyobb és drágább, mint a másik kettő), ezért jobban teljesít. igazi teljesítmény állapot.
A kiadvány által felvetett fontos szempont a benchmark csalás módszerének különbsége. Frumusanu úr kijelentette:
„A múltban azt láttuk, hogy a gyártók ténylegesen megemelték az SoC-frekvenciákat, vagy a maximális állapotukra zárták azokat, ami az általános alkalmazásoknál általában elérhető teljesítményt meghaladó teljesítményt eredményezett. Ehelyett a Huawei a benchmark pontszámok növelését teszi azáltal, hogy a másik irányból közelíti meg a benchmarking alkalmazások az egyetlen olyan használati eset, ahol az SoC ténylegesen teljesíti a hirdetett sebességek. Eközben minden más valós alkalmazás jelentős mértékben le van zárva ezen állapot alá a hardver termikus korlátai miatt. Amit végül a féktelen teljesítmény mellett látunk, az talán a korlátlan SoC „igazi” formája, bár ez teljesen akadémikus ahhoz képest, amit a felhasználók ténylegesen tapasztalnak." - Andrei Frumusanu és Ian Cutress, AnandTech
A teljesítménygrafikonok azt mutatják, hogy a Huawei legújabb telefonjai valódi teljesítményükben már elérik a 3,5-4,4 W-ot, míg a 3,5 W TDP a maximálisan eltartható mennyiség. Másrészt a telefon túlpörög a TDP-vel, amikor teljesíti a nyilvánosan elérhető benchmarkokat, a teljesítményadatok 6 W fölé emelkednek, és 8,5 W-on érik el a csúcsot. Amint azt megjegyezte AnandTech, ezek a számok gyorsan túlmelegedési értesítést váltanak ki az eszközön, jelezve a termikus határértékek és a szoftveres elvárások közötti eltérést.
A lényeg az, hogy a valódi teljesítményadatok nem stabilak, mivel a telefon hőmérsékletétől függenek. A Huawei nem akadályozza meg a GPU-t abban, hogy elérje a GPU csúcsfrekvenciájának állapotát. Az alapértelmezett viselkedés valójában egy "durva termikus fojtómechanizmus [...], amely megpróbálja fenntartani a lényegesen alacsonyabb SoC hőmérsékleti szintet és az általános energiafogyasztást".
A telefonok normál üzemmódja ugyanazokat a csúcsfogyasztási értékeket érheti el a GPU benchmarkok során, mint a nem fojtolható változatok. Azonban ezek a számok gyorsan jelentősen visszaesik, és AnandTech megjegyzi, hogy a telefon bizonyos esetekben 2,2 W-ra csökkent, ami jelentősen csökkenti a teljesítményt.
A kiadvány azt állítja, hogy a benchmark csalási magatartás látszólag megvan csak az idei készülékekben került bevezetésre. Az olyan telefonokat, mint a Huawei Mate 9 és a Huawei P10 nem érinti, és úgy tűnik, hogy csak az EMUI 8.0 és újabb eszközöket érinti. AnandTech A Huawei azt is közölte vele, hogy ez "tisztán szoftveres megvalósítás", ami megerősítette a kiadvány megállapításait.
AnandTech valós GPU-teljesítményadatokat tett közzé az érintett Kirin 970-es telefonok esetében, és a következtetés az, hogy A Huawei jelentősen lemaradt versenytársaitól mind GPU teljesítményben, mind hatékonyságban.
A kiadvány teljesítmény-összehasonlító grafikonokat is közzétett a Kirin 970 és Kirin 960 hajtású Huawei eszközökhöz. A grafikonok azt mutatják, hogy a Huawei teljesítményfokozási beállításai valójában jobbak a felhasználói élmény szempontjából, mivel enyhítik a magasabb energiafogyasztás problémáját. AnandTech A Kirin 960 tesztelése kimutatta, hogy "borzasztó GPU teljesítményjellemzői" vannak, míg a Kirin A 970-es teljesítményű készülékek új, szigorú fojtómechanizmussal rendelkeznek az energiafogyasztás csökkentésére és hőmérsékletek.
AnandTech hozzáteszi, hogy az új fojtószabályozásnak van értelme, ha figyelembe vesszük azt a tényt, hogy mind a Kirin 960, mind a A Kirin 970 olyan teljesítményfelvételt mutat, amely jóval meghaladja a fenntartható szintjüket a megfelelő formájukhoz képest.
Hogy egyértelmű legyen, a Huawei nem hibázott az új fojtómechanizmus bevezetésével. A nagy hiba itt a népszerű benchmark alkalmazások kizárása az engedélyezési listán keresztül, amit ebben az esetben benchmark csalásnak nevezünk.
Válasz: a Huawei hivatalos nyilatkozata
A Huawei a következő nyilatkozatot küldte nekünk a benchmark csalással kapcsolatban:
A Huawei mindig a felhasználói élményt helyezi előtérbe a magas benchmark pontszámok elérése helyett – különösen azért, mert nincs közvetlen kapcsolat az okostelefonok referenciaértékei és a felhasználói élmény között. A Huawei okostelefonok fejlett technológiákat, például mesterséges intelligenciát használnak a hardver teljesítményének optimalizálására, beleértve a CPU-t, a GPU-t és az NPU-t.
Amikor valaki elindít egy fotóalkalmazást vagy játszik egy intenzív grafikai játékot, a Huawei intelligens szoftvere sima és stabil felhasználói élményt a hardver teljes képességének alkalmazásával, miközben egyidejűleg kezeli az eszköz hőmérsékletét és teljesítményét hatékonyság. Az olyan alkalmazások esetében, amelyek nem olyan energiaigényesek, mint az internetes böngészés, csak a szükséges teljesítmény biztosításához szükséges erőforrásokat osztja ki.
Normál benchmarking forgatókönyvek esetén, ha a Huawei szoftvere felismer egy benchmark alkalmazást, intelligensen alkalmazkodik a „Teljesítmény módhoz”, és optimális teljesítményt nyújt. A Huawei azt tervezi, hogy hozzáférést biztosít a felhasználóknak a „Teljesítmény mód”-hoz, hogy szükség esetén a lehető legtöbb energiát használhassák készülékükhöz.
A Huawei – mint iparági vezető – hajlandó együttműködni partnereivel, hogy megtalálják a legjobb benchmarking szabványokat, amelyek pontosan tudják értékelni a felhasználói élményt.
A legfontosabb dolog itt az, hogy a cég az azt tervezi, hogy hozzáférést biztosít a felhasználóknak a „Teljesítmény módhoz” (Meizu-stílus), hogy a felhasználók a készülékük „maximális teljesítményét” használhassák, „amikor."
Válasz: Az UL eltávolítja az érintett Huawei és Honor telefonokat a referenciaértékei közül
Az UL, miután megvásárolta a Futuremarkot (a PCMark és a 3DMark mögött álló cég), eltávolította a Huawei P20-at, a Huawei P20 Pro-t, a Huawei Nova 3-at és a Honor Play-t a 3DMark-ról. A vállalat a Huawei P20 Pro, a Huawei Nova 3 és a Honor Play benchmark csalását igazolta. Alapján a AnandTech tesztelés és jelentéskészítés során a szabványos Huawei P20-at is eltávolította a listáról. A felhasználók a továbbiakban nem tekinthetik meg az érintett telefonok benchmark eredményeit, mivel a vállalat nem kíván csalt benchmark pontszámokat tárolni.
A vállalat megállapította, hogy a nyilvános 3DMark alkalmazás pontszámai akár 47%-kal magasabbak voltak, mint a pontszámok a privát alkalmazásból (ami nem nyilvános), annak ellenére, hogy a tesztek igen azonos.
A közleményben az UL hozzátette, hogy örömmel látja, hogy a Huawei elkötelezi magát egy átláthatóbb megközelítés mellett a jövőben. Az UL véleménye szerint a felhasználó által beállítható opcionális teljesítménymódok a jelenlegi szabályok szerint megengedettek mindaddig, amíg alapértelmezés szerint le vannak tiltva. A cég kijelenti: "Az eszköznek úgy kell futtatnia a benchmarkt, mintha bármely más alkalmazás lenne."
Összefoglalva, a Huawei GPU teljesítményre vonatkozó, nyilvánosan elérhető benchmarkok alapján készült teljesítménymutatói nem tekinthetők a tényleges teljesítmény reprezentációjának.
Válasz: Az UL és a Huawei közös nyilatkozatot ad ki
Az UL azon döntésére válaszul, hogy eltávolítja a Huawei P20-at, a Huawei P20 Pro-t, a Huawei Nova 3-at és a Honor Play-t a 3DMark-ról, a Huawei megkereste az UL-t, hogy megvitassák a benchmark tesztelés legjobb gyakorlatait. Íme a nekünk felajánlott nyilatkozat:
A Huawei és az UL (a 3DMark megalkotói) ezen a héten átfogó megbeszéléseket folytattak a benchmarking gyakorlatokról, és pozitív megállapodásra jutottak a közös munka következő lépéseiről.
A beszélgetés során a Huawei kifejtette, hogy okostelefonjai mesterséges intelligens erőforrás-ütemezési mechanizmust használnak. Mivel a különböző forgatókönyvek eltérő erőforrásigényekkel rendelkeznek, a legújabb Huawei készülékek innovatív technológiákat, például mesterséges intelligenciát alkalmaznak. optimalizálja az erőforrások elosztását oly módon, hogy a hardver a lehető legteljesebb mértékben demonstrálhassa képességeit, miközben mindenhol kielégíti a felhasználói igényeket forgatókönyvek.
Az UL megérti a Huawei megközelítésének szándékát, de ellenzi a „Teljesítménymód” alapértelmezés szerinti használatának kikényszerítését, amikor az eszköz egy benchmarking alkalmazást észlel. Az UL szabályok megkövetelik, hogy az eszköz úgy futtassa a referenciaértéket, mintha bármely más alkalmazás lenne.
A Huawei tiszteletben tartja a fogyasztók azon jogát, hogy megválasszák, mit kezdjenek eszközeikkel. Ezért a Huawei nyílt hozzáférést biztosít a felhasználóknak a „Teljesítmény módhoz” az EMUI 9.0-ban, így a felhasználó kiválaszthatja, mikor használja eszköze maximális teljesítményét.
A Huawei és az UL általánosságban is megvitatta a jelenlegi általános benchmark tesztelési módszereket. Az UL és a Huawei szeretne részt venni egy iparági mozgalomban, amelynek célja a benchmarking szabványok kidolgozása, amelyek a legjobban szolgálják a gyártók, a sajtó és a fogyasztók igényeit.
A jelenlegi teljesítményértékelési eredmények körüli félreértés elkerülése érdekében az UL és a Huawei a megbeszélést követően ideiglenesen eltávolította a referenciaértéket. számos Huawei készüléket, és visszaállítja azokat, miután a Huawei hozzáférést biztosít a Huawei készülékek minden felhasználójának a Performance-hoz. Mód.