Huawei P20, Nova 3 a Honor Play byly přistiženy při podvádění v benchmarcích

Benchmarky byly vždy oblíbeným způsobem měření výkonu hardwaru, a to jak v PC, tak v mobilním prostoru. K podvádění srovnávacích testů dochází, když se výrobce zařízení nečestně pokusí hrát s benchmarkem tím, že výsledky budou lepší, než ve skutečnosti jsou. K podvádění může dojít v jakýchkoli srovnávacích testech, včetně těch, které měří výkon CPU, systému nebo GPU. Zřejmým cílem podvádění při srovnávacích testech je, aby byli zákazníci přesvědčeni, že produkt A je lepší než produkt B. Bohužel to znamená, že základní slabiny hardwaru jsou maskovány podváděním. Zjednodušeně řečeno, je to ztráta-prohra pro všechny zúčastněné strany v tomto odvětví: pro prodejce čipů, výrobce zařízení a především pro koncové spotřebitele.

Podvádění bylo na poli počítačů nekontrolovatelné před více než deseti lety, ale naštěstí tato praxe většinou skončila. V mobilním světě Andrei Frumusanu (nyní mobilní editor na adrese

AnandTech) objevil benchmark podvádění na Exynos variantě Samsung Galaxy S4 v roce 2013. The AnandTech mobilní redaktoři pak objevili různé varianty benchmarkového podvádění, které provádí mnoho prodejců chytrých telefonů. Poměrně několik velkých smartphonů, jako je Galaxy S4 a Samsung Galaxy Note 3, bylo dokonce vyřazeny z benchmarků jako 3DMark, protože společnosti jako Futuremark se rozhodly veřejně vyzvat výrobce zařízení.

Poté, co byli v roce 2013 za toto chování vyzváni, většina výrobců zařízení přestala s podváděním srovnávacích testů. Někteří OEM jako Meizu stále mají ve svých uživatelských rozhraních režimy „Performance“, ale tyto režimy jsou většinou uživatelsky konfigurovatelné. Minulý rok, našli jsme důkazy, že OnePlus podváděl v některých populárních benchmarcích, jako je Geekbench. OnePlus ukončil cvičení s OnePlus 5T a celkově se zdálo, že podvádění benchmarků se stalo minulostí.

Nový vývoj tento mylný předpoklad napravil. AnandTech redaktoři Andrei Frumusanu a Ian Cutress mají zveřejnil zprávu podrobně popisuje ověřené případy podvádění srovnávacích testů provedené v testech GPU smartphony Huawei a Honor z roku 2018, jako jsou Huawei P20, Huawei P20 Pro a Honor Play.

Shrnutí: Telefony Huawei/Honor 2018 přistiženy při podvádění v benchmarcích GPU

AnandTech poznamenává, že v jejich recenzi, výkon Huawei P20 se ve srovnání s Huawei Mate 10 Pro zhoršil. V té době bylo zveřejnění oznámeno společností Huawei, že se jedná o problém s firmwarem, ale ve skutečnosti tomu tak nebylo. Novější telefony Huawei a Honor přicházely s a benchmarkový detekční mechanismus což umožňuje mnohem vyšší limit výkonu pro SoC s vyšší tepelnou výškou.

Jak vysvětlil AnandTech, to znamená, že u určitých aplikací na seznamu povolených mají nejnovější telefony Huawei a Honor mnohem vyšší výkon ve srovnání s tím, co uživatelé očekávají od jiného podobného softwaru, který není na seznamu povolených. Tato praxe má za následek vyšší spotřebu energie, nižší účinnost a sníženou životnost baterie.

Čistým výsledkem je, že čísla výkonu jsou vyšší, než by ve skutečnosti měla být. Těchto čísel je nereálné dosáhnout pro každého uživatele ve scénáři skutečného výkonu. Publikace také uvádí, že účinnost SoC se při tom snižuje, protože je „dobře tlačena mimo své standardní provozní okno." Celkově vzato to dělá SoC horší kvůli vyššímu benchmarku čísla.

AnandTech uvádí, že chování Huawei v benchmarku přesahuje vše, co publikace viděla v minulosti. Publikace používala vlastní edice benchmarků, takže mohou testovat se zapnutým a vypnutým režimem detekce. Podle jejich slov jsou obrovské rozdíly ve výkonu mezi veřejně dostupnými benchmarky a interními verzemi, které používají, „naprosto udivující“.

Reakce Huawei na AnandTech's report

AnandTech mluvil s Dr. Wangem Chenglu, prezidentem softwaru v Huawei's Consumer Business Group. Dr. Chenglu připustil, že společnost podváděla při srovnávání, protože „ostatní dělají totéž, dostávají vysoké skóre a Huawei nemůže mlčet“.

Dr. Chenglu uvedl, že Huawei „chce spolupracovat s ostatními v Číně, aby našli nejlepší ověřovací měřítko pro uživatelskou zkušenost“. On poukázal na ostatní výrobce na zavádějící svými čísly a jako největšího uvedl nejmenovaného populárního výrobce smartphonů v Číně viník. Podle něj se podvádění s benchmarkem stává „běžnou praxí v Číně“, a ačkoli se Huawei chce „otevřít“ spotřebitelům, mají potíže, když konkurenti „neustále zveřejňují nerealistická skóre." Huawei se snaží čelit své velké čínské konkurenci, což je úkol, který je zdánlivě ztížen, když ostatní výrobci zařízení vytvářejí nerealistické skóre. čísla.

Cílem Huawei je standardizace benchmarků, aby se vyrovnaly podmínky, a řekli AnandTech že chtějí, aby média pomohla. Tak jako AnandTech poznamenává, že Huawei propaguje své vlastní prozatím nereálné skóre.

Reakce Huawei na AnandTech zpráva je taková společnost zajistí, aby budoucí benchmarková data v prezentacích byla v době oznámení nezávisle ověřena třetími stranami.

AnandTechpodrobná zjištění

AnandTech našli překvapivý rozdíl ve skóre vytvořeném jejich interními verzemi benchmarků GPU ve srovnání s veřejně dostupnými benchmarky. Publikace testovala Huawei P20, Huawei P20 Pro a Honor Play. Všechny telefony fungovaly téměř identicky v režimu vyšší spotřeby, protože sdílejí stejný HiSilicon Kirin 970 SoC. Skutečný výkon telefonů se však výrazně liší, protože všechny mají různé tepelné limity. Rozdílné teplotní limity jsou způsobeny jejich různými konstrukcemi podvozku/chlazení, as AnandTech vysvětlil. Huawei P20 Pro má nejlepší termovizi (protože je větší a dražší než ostatní dva), a proto může fungovat lépe. skutečný výkon Stát.

Důležitým bodem, na který publikace upozornila, je rozdíl v metodě podvádění benchmarků. Pan Frumusanu uvedl:

„V minulosti jsme byli svědky toho, že dodavatelé skutečně zvýšili frekvence SoC nebo je uzamkli na jejich maximální stavy, čímž zvýšili výkon nad rámec toho, co je obvykle dostupné pro generické aplikace. Huawei místo toho dělá, že zvyšuje skóre benchmarků tím, že na to přichází z jiného směru – z srovnávací aplikace jsou jedinými případy použití, kdy SoC skutečně funguje tak, jak je inzerováno rychlosti. Mezitím je každá další aplikace v reálném světě omezena výrazně pod tento stav kvůli teplotním omezením hardwaru. To, co nakonec vidíme s neomezeným výkonem, je možná „pravá“ forma neomezeného SoC, i když to je zcela akademické ve srovnání s tím, co uživatelé skutečně zažívají." - Andrei Frumusanu a Ian Cutress, AnandTech

Grafy výkonu ukazují, že nejnovější telefony Huawei již dosahují 3,5–4,4 W ve svém skutečném stavu výkonu, zatímco 3,5 W TDP je maximální hodnota, kterou lze udržet. Na druhou stranu se telefon při provádění veřejně dostupných benchmarků přepne s TDP, přičemž hodnoty výkonu jdou nad 6 W a vrcholí na 8,5 W. Jak poznamenal AnandTechTyto údaje rychle spustí upozornění na přehřátí na zařízení, což znamená nesoulad teplotních limitů s očekáváním softwaru.

Závěrem je, že skutečné hodnoty výkonu nejsou stabilní, protože závisí na teplotě telefonu. Huawei neblokuje GPU v dosažení maximálního stavu frekvence GPU. Výchozí chování je ve skutečnosti "drsný tepelný škrtící mechanismus [...], který se bude snažit udržet výrazně nižší úrovně teploty SoC a celkovou spotřebu energie."

Normální režim telefonů může dosáhnout stejných hodnot špičkové spotřeby energie během testů GPU jako ty, které zveřejnily varianty bez omezení. Nicméně tato čísla rychle výrazně ustoupit, a AnandTech poznamenává, že telefon v některých případech sníží výkon až na 2,2 W, což má za následek výrazné snížení výkonu.

Publikace uvádí, že benchmarkové podvádění má zdánlivě byl představen pouze v letošních zařízeních. Telefony jako Huawei Mate 9 a Huawei P10 nejsou ovlivněny a zdá se, že se to týká pouze zařízení EMUI 8.0 a novějších. AnandTech Huawei také řekl, že se jedná o „čistě softwarovou implementaci“, což potvrdilo zjištění publikace.

AnandTech zveřejnili skutečné hodnoty výkonu GPU pro dotčené telefony s Kirin 970 a závěr je takový Huawei výrazně zaostává za svými konkurenty jak ve výkonu GPU, tak v efektivitě.

Publikace také zveřejnila grafy srovnání výkonu pro zařízení Huawei s Kirin 970 a Kirin 960. Grafy ukazují, že úpravy omezení výkonu od Huawei jsou ve skutečnosti lepší pro uživatelskou zkušenost, protože zmírňují problém vyšší spotřeby energie. AnandTech's testování Kirinu 960 ukázalo, že má „příšerné výkonové charakteristiky GPU“, zatímco Kirin Zařízení napájená 970 mají nový přísný škrtící mechanismus, který snižuje spotřebu energie a teploty.

AnandTech dodává, že nová politika omezení dává smysl, když vezmeme v úvahu skutečnost, že Kirin 960 i Kirin 970 vykazují odběry energie, které jsou mnohem vyšší než jejich udržitelné úrovně pro jejich příslušné tvarové faktory.

Aby bylo jasno, Huawei při zavádění nového škrtícího mechanismu neudělal chybu. Velkou chybou je zde vyloučení oblíbených benchmarkových aplikací prostřednictvím whitelistu, což je v tomto případě označováno jako benchmark podvádění.

Odpověď: Oficiální prohlášení Huawei

Společnost Huawei nám zaslala následující prohlášení o podvádění s benchmarkem:

Huawei vždy upřednostňuje uživatelskou zkušenost spíše než sledování vysokých srovnávacích skóre – zejména proto, že neexistuje přímé spojení mezi srovnávacími testy smartphonů a uživatelskými zkušenostmi. Smartphony Huawei využívají pokročilé technologie, jako je AI, k optimalizaci výkonu hardwaru, včetně CPU, GPU a NPU.

Když někdo spustí aplikaci pro fotografování nebo hraje graficky náročnou hru, inteligentní software Huawei vytvoří plynulé a stabilní uživatelskou zkušenost s využitím všech možností hardwaru při současném řízení teploty a výkonu zařízení účinnost. U aplikací, které nejsou tak náročné na energii, jako je procházení webu, přidělí pouze zdroje nezbytné k poskytování výkonu, který je potřeba.

V běžných scénářích srovnávání, jakmile software společnosti Huawei rozpozná srovnávací aplikaci, inteligentně se přizpůsobí „režimu výkonu“ a poskytne optimální výkon. Huawei plánuje poskytnout uživatelům přístup k „Performance Mode“, aby mohli využívat maximální výkon svého zařízení, když to potřebují.

Huawei – jako lídr v oboru – je ochoten spolupracovat s partnery na nalezení nejlepších standardů benchmarkingu, které mohou přesně vyhodnotit uživatelskou zkušenost.

Klíčovým přínosem zde je, že společnost je plánuje poskytnout uživatelům přístup k „Performance Mode“ (ve stylu Meizu), aby uživatelé mohli využívat „maximální výkon“ svého zařízení, „když to potřebují."

Odpověď: UL vyřadí dotčené telefony Huawei a Honor ze svých benchmarků

UL, která získala Futuremark (společnost stojící za PCMark a 3DMark), vyřadila Huawei P20, Huawei P20 Pro, Huawei Nova 3 a Honor Play z 3DMark. Společnost ověřila podvádění srovnávacích testů na Huawei P20 Pro, Huawei Nova 3 a Honor Play. Na základě AnandTech's testování a hlášení také vyřadila standardní Huawei P20. Uživatelé již nebudou moci prohlížet výsledky benchmarků dotčených telefonů, protože společnost si nepřeje hostit podvedená srovnávací hodnocení.

Společnost zjistila, že skóre z veřejné aplikace 3DMark bylo až o 47 % vyšší než skóre ze soukromé aplikace (která není dostupná veřejnosti), navzdory skutečnosti, že testy jsou identické.

V oznámení UL dodal, že je rád, že se Huawei zavázal v budoucnu přijmout transparentnější přístup. Názor UL je takový, že volitelné režimy výkonu, které může uživatel nastavit, jsou podle jejích současných pravidel povoleny pokud jsou ve výchozím nastavení zakázány. Společnost uvádí: "Zařízení musí spustit benchmark, jako by to byla jakákoli jiná aplikace."

Závěrem lze říci, že všechny výkonnostní benchmarky Huawei GPU, které byly pořízeny pomocí veřejně dostupných benchmarků, by neměly být považovány za reprezentaci skutečného výkonu.

Odpověď: UL a Huawei vydávají společné prohlášení

V reakci na rozhodnutí UL odstranit Huawei P20, Huawei P20 Pro, Huawei Nova 3 a Honor Play z 3DMark se Huawei obrátil na UL, aby prodiskutoval osvědčené postupy pro srovnávací testování. Zde je prohlášení, které se nám nabízí:

Huawei a UL (tvůrci 3DMark) vedli tento týden komplexní diskuse o postupech benchmarkingu a dosáhli pozitivní dohody o dalších krocích ve spolupráci.

Huawei v diskusi vysvětlil, že jeho smartphony využívají mechanismus umělého inteligentního plánování zdrojů. Protože různé scénáře mají různé potřeby zdrojů, nejnovější telefony Huawei využívají inovativní technologie, jako je umělá inteligence optimalizovat alokaci zdrojů tak, aby hardware mohl prokázat své schopnosti v plném rozsahu a zároveň splnit požadavky uživatelů napříč všemi scénáře.

UL rozumí záměru přístupu Huawei, ale je proti vynucení použití „režimu výkonu“ ve výchozím nastavení, když zařízení detekuje srovnávací aplikaci. Pravidla UL vyžadují, aby zařízení spouštělo benchmark, jako by to byla jakákoli jiná aplikace.

Huawei respektuje právo spotřebitelů vybrat si, co se svými zařízeními udělá. Huawei proto uživatelům poskytne otevřený přístup k „Performance Mode“ v EMUI 9.0, aby si uživatel mohl vybrat, kdy využije maximální výkon svého zařízení.

Huawei a UL také obecně diskutovaly o současných společných metodikách testování benchmarků. UL a Huawei by se rády zapojily do průmyslového hnutí za vývoj standardů benchmarkingu, které nejlépe vyhovují potřebám výrobců, tisku a spotřebitelů.

Aby se předešlo nejasnostem ohledně aktuálních výsledků benchmarkingu, po diskusi UL a Huawei tento benchmark dočasně odstranily desítky zařízení Huawei a obnoví je poté, co Huawei poskytne všem uživatelům mobilních telefonů Huawei přístup k výkonu Režim.