Správa uvádza, že Huawei sa zistilo, že podvádza v benchmarkoch. UL v reakcii na to odstránila Huawei P20/P20 Pro, Huawei Nova 3 a Honor Play z 3DMark.
Benchmarky boli vždy obľúbeným spôsobom merania výkonu hardvéru, a to ako v PC, tak aj v mobilnom priestore. K podvádzaniu benchmarkov dochádza, keď sa výrobca zariadenia neférovo pokúša oklamať benchmark tak, že výsledky budú lepšie, než v skutočnosti sú. K podvádzaniu môže dôjsť v akýchkoľvek benchmarkových testoch vrátane tých, ktoré merajú výkon CPU, systému alebo GPU. Zjavným cieľom podvádzania pri benchmarkoch je, aby boli zákazníci presvedčení, že produkt A je lepší ako produkt B. Bohužiaľ to znamená, že základné nedostatky v hardvéri sú maskované podvádzaním. Zjednodušene povedané, je to stratená situácia pre všetky zúčastnené strany v tomto odvetví: predajcov čipov, výrobcov zariadení a predovšetkým koncových spotrebiteľov.
Podvádzanie bolo nekontrolovateľné v priestore PC pred viac ako desiatimi rokmi, ale našťastie sa táto prax väčšinou skončila. V mobilnom svete Andrei Frumusanu (teraz mobilný editor na adrese
AnandTech) objavil benchmark podvádzanie na Exynos variante Samsung Galaxy S4 v roku 2013. The AnandTech mobilní redaktori potom objavili rôzne druhy podvádzania benchmarkov, ktoré vykonávajú mnohí predajcovia smartfónov. Pomerne málo veľkých smartfónov ako Galaxy S4 a Samsung Galaxy Note 3 bolo párnych vyradené z referenčných hodnôt ako 3DMark, keďže spoločnosti ako Futuremark sa rozhodli verejne osloviť výrobcov zariadení.Po tom, čo boli v roku 2013 za toto správanie vyzvaní, väčšina výrobcov zariadení prestala podvádzať. Niektorí výrobcovia OEM ako Meizu stále majú vo svojich používateľských rozhraniach režimy „Performance“, ale tieto režimy sú väčšinou konfigurovateľné používateľom. Minulý rok, našli sme dôkazy, že OnePlus podvádzal v niektorých populárnych benchmarkoch, ako je Geekbench. OnePlus zastavil prax s OnePlus 5T a celkovo sa zdalo, že podvádzanie benchmarkov sa stalo minulosťou.
Nový vývoj tento nesprávny predpoklad napravil. AnandTech majú redaktori Andrei Frumusanu a Ian Cutress zverejnil správu s podrobnosťami o overených prípadoch podvádzania pri benchmarkoch vykonaných v benchmarkoch GPU smartfónmi Huawei a Honor z roku 2018, ako sú Huawei P20, Huawei P20 Pro a Honor Play.
Zhrnutie: Telefóny Huawei/Honor z roku 2018 boli prichytené pri podvádzaní v benchmarkoch GPU
AnandTech poznamenáva, že v ich recenziuVýkon Huawei P20 v porovnaní s Huawei Mate 10 Pro klesol. V tom čase Huawei povedal publikácii, že ide o problém s firmvérom, ale v skutočnosti to tak nebolo. Novšie telefóny Huawei a Honor prichádzali s a referenčný mechanizmus detekcie čo umožňuje oveľa vyšší limit výkonu pre SoC s vyššou tepelnou výškou.
Ako vysvetlil AnandTech, to znamená, že v prípade určitých aplikácií na bielej listine majú najnovšie telefóny Huawei a Honor oveľa vyššiu výkonnosť v porovnaní s tým, čo používatelia očakávajú od iného podobného softvéru, ktorý nie je na bielej listine. Tento postup vedie k vyššej spotrebe energie, nižšej účinnosti a zníženej životnosti batérie.
Čistým výsledkom je, že čísla výkonu sú vyššie, ako by v skutočnosti mali byť. Tieto čísla je nereálne dosiahnuť pre žiadneho používateľa v scenári skutočného výkonu. V publikácii sa tiež uvádza, že účinnosť SoC pri tom klesá, pretože sa „dobre tlačí mimo svojho štandardného operačného okna." Celkovo to robí SoC horším vzhľadom na vyšší benchmark čísla.
AnandTech uvádza, že benchmarkové správanie Huawei presahuje čokoľvek, čo publikácia videla v minulosti. V publikácii boli použité vlastné edície benchmarkov, takže môžu testovať so zapnutým a vypnutým režimom detekcie. Podľa ich slov sú obrovské rozdiely vo výkone medzi verejne dostupnými benchmarkmi a internými verziami, ktoré používajú, "absolútne úžasné."
Reakcia Huawei na AnandTechspráva používateľa
AnandTech sa rozprával s Dr. Wangom Chenglu, prezidentom pre softvér v Consumer Business Group spoločnosti Huawei. Dr. Chenglu priznal, že spoločnosť podvádzala pri porovnávaní, pretože „ostatní robia to isté, dosahujú vysoké skóre a Huawei nemôže mlčať“.
Dr. Chenglu uviedol, že Huawei "chce spojiť sa s ostatnými v Číne, aby našli najlepšie overovacie kritérium pre používateľskú skúsenosť." On poukázal na to, že ostatní výrobcovia zavádzajú svojimi číslami, pričom ako najväčšieho uvádzajú nemenovaného populárneho výrobcu smartfónov v Číne vinník. Podľa neho sa benchmarkové podvádzanie stáva „bežnou praxou v Číne“ a hoci sa Huawei chce „otvoriť“ spotrebiteľom, tí majú problémy, keď konkurenti „neustále uverejňujú nerealistické skóre." Huawei sa snaží čeliť svojej veľkej čínskej konkurencii, čo je úloha, ktorá je zdanlivo sťažená, keď iní výrobcovia zariadení vytvárajú nerealistické skóre. čísla.
Cieľom spoločnosti Huawei je štandardizácia referenčných hodnôt, aby sa vyrovnali podmienky pre všetkých, a povedali AnandTech že chcú, aby médiá pomohli. Ako AnandTech poznamenáva, Huawei však propaguje svoje vlastné zatiaľ nereálne skóre.
Reakcia Huawei na AnandTech správa je taká spoločnosť zabezpečí, že budúce referenčné údaje v prezentáciách budú v čase oznámenia nezávisle overené tretími stranami.
AnandTechpodrobné zistenia
AnandTech našli prekvapivý rozdiel v skóre vytvorených ich internými verziami GPU benchmarkov v porovnaní s verejne dostupnými benchmarkmi. Publikácia testovala Huawei P20, Huawei P20 Pro a Honor Play. Všetky telefóny fungovali takmer identicky v režime vyššej spotreby, pretože zdieľajú rovnaký HiSilicon Kirin 970 SoC. Skutočný výkon telefónov sa však výrazne líši, pretože všetky majú rôzne tepelné limity. Rozdielne teplotné limity sú spôsobené ich odlišným dizajnom podvozku/chladenia, napr AnandTech vysvetlil. Huawei P20 Pro má najlepšie tepelné vlastnosti (pretože je väčší a drahší ako ostatné dva), a preto môže fungovať lepšie. skutočný výkon štát.
Dôležitým bodom, ktorý publikácia nastolila, je rozdiel v metóde podvádzania benchmarkov. Pán Frumusanu uviedol:
„V minulosti sme videli, ako predajcovia skutočne zvýšili frekvencie SoC alebo ich uzamkli na ich maximálny stav, čím zvýšili výkon nad rámec toho, čo je zvyčajne dostupné pre generické aplikácie. Namiesto toho Huawei zvyšuje skóre benchmarkov tým, že na to prichádza z iného smeru – z benchmarkingové aplikácie sú jedinými prípadmi použitia, kde SoC skutočne funguje tak, ako je inzerované rýchlosti. Medzitým je každá iná aplikácia v reálnom svete obmedzená do značnej miery pod tento stav kvôli teplotným obmedzeniam hardvéru. To, čo nakoniec vidíme pri neobmedzenom výkone, je možno „pravá“ forma neobmedzeného SoC, hoci je to úplne akademické v porovnaní s tým, čo používatelia skutočne zažívajú.“ – Andrei Frumusanu a Ian Cutress, AnandTech
Grafy výkonu ukazujú, že najnovšie telefóny Huawei už dosahujú 3,5 – 4,4 W v ich skutočnom stave výkonu, zatiaľ čo 3,5 W TDP je maximálna hodnota, ktorú možno udržať. Na druhej strane sa telefón pri plnení verejne dostupných benchmarkov prepína s TDP, pričom hodnoty výkonu idú nad 6 W a vrcholia na 8,5 W. Ako poznamenal AnandTech, tieto údaje rýchlo spustia upozornenie na prehriatie na zariadení, čo znamená nesúlad teplotných limitov s očakávaniami softvéru.
Z toho vyplýva, že skutočné hodnoty výkonu nie sú stabilné, pretože závisia od teploty telefónu. Huawei neblokuje GPU v dosiahnutí maximálneho stavu frekvencie GPU. Predvolené správanie je v skutočnosti „tvrdý tepelný škrtiaci mechanizmus [...], ktorý sa bude snažiť udržať výrazne nižšie úrovne teploty SoC a celkovú spotrebu energie.“
Normálny režim telefónov môže dosiahnuť rovnaké hodnoty maximálnej spotreby energie počas testov GPU ako tie, ktoré zverejnili neobmedzované varianty. Avšak tieto čísla rýchlo výrazne ustúpiť, a AnandTech poznamenáva, že telefón v niektorých prípadoch zníži výkon až na 2,2 W, čo má za následok výrazné zníženie výkonu.
Publikácia uvádza, že benchmarkové podvádzanie má zdanlivo bol predstavený iba v tohtoročných zariadeniach. Telefóny ako Huawei Mate 9 a Huawei P10 nie sú ovplyvnené a zdá sa, že ovplyvnené sú iba zariadenia EMUI 8.0 a novšie. AnandTech Huawei tiež povedal, že ide o „čisto softvérovú implementáciu“, čo potvrdilo zistenia publikácie.
AnandTech zverejnil skutočné údaje o výkone GPU pre dotknuté telefóny poháňané Kirin 970 a záver je taký Huawei výrazne zaostáva za svojimi konkurentmi vo výkone GPU aj efektivite.
Publikácia tiež zverejnila grafy porovnania výkonu pre zariadenia Huawei poháňané Kirin 970 a Kirin 960. Grafy ukazujú, že úpravy škrtenia výkonu od Huawei sú v skutočnosti lepšie pre používateľskú skúsenosť, pretože zmierňujú problém vyššej spotreby energie. AnandTech testovanie Kirinu 960 ukázalo, že má „strašné výkonové charakteristiky GPU“, zatiaľ čo Kirin Zariadenia s pohonom 970 majú nový prísny škrtiaci mechanizmus na zníženie spotreby energie a teploty.
AnandTech dodáva, že nová politika škrtenia dáva zmysel, ak vezmeme do úvahy skutočnosť, že Kirin 960 aj Kirin 970 vykazujú odbery energie, ktoré sú oveľa vyššie ako ich udržateľné úrovne pre ich príslušné tvarové faktory.
Aby bolo jasné, Huawei neurobil chybu, keď predstavil nový škrtiaci mechanizmus. Veľkou chybou je vylúčenie populárnych benchmarkových aplikácií prostredníctvom whitelistu, čo je v tomto prípade označované ako benchmark podvádzanie.
Reakcia: Oficiálne vyhlásenie Huawei
Huawei nám poslal nasledujúce vyhlásenie o podvádzaní benchmarkov:
Spoločnosť Huawei vždy uprednostňuje skôr používateľskú skúsenosť, než aby sa usilovala o vysoké skóre benchmarkov – najmä preto, že medzi porovnávacími hodnotami smartfónov a používateľskými skúsenosťami neexistuje priame spojenie. Smartfóny Huawei využívajú pokročilé technológie, ako je AI, na optimalizáciu výkonu hardvéru vrátane CPU, GPU a NPU.
Keď niekto spustí fotografickú aplikáciu alebo hrá graficky náročnú hru, inteligentný softvér Huawei vytvorí plynulé a stabilné užívateľský zážitok využívaním všetkých možností hardvéru a súčasne riadením teploty a výkonu zariadenia efektívnosť. Aplikáciám, ktoré nie sú také náročné na energiu, ako je prehliadanie webu, pridelí iba zdroje potrebné na dodanie výkonu, ktorý je potrebný.
Keď v bežných scenároch porovnávania softvér spoločnosti Huawei rozpozná aplikáciu porovnávania, inteligentne sa prispôsobí „režimu výkonu“ a poskytne optimálny výkon. Huawei plánuje poskytnúť používateľom prístup k „režimu výkonu“, aby mohli využívať maximálny výkon svojho zariadenia, keď to potrebujú.
Huawei – ako líder v tomto odvetví – je ochotný spolupracovať s partnermi pri hľadaní najlepších štandardov benchmarkingu, ktoré dokážu presne vyhodnotiť používateľskú skúsenosť.
Kľúčovým faktom je, že spoločnosť je plánuje poskytnúť používateľom prístup k „režimu výkonu“ (v štýle Meizu), aby používatelia mohli využívať „maximálny výkon“ svojho zariadenia, „keď potrebujú."
Odpoveď: UL vyradí dotknuté telefóny Huawei a Honor zo svojich benchmarkov
UL, ktorá získala spoločnosť Futuremark (spoločnosť stojaca za PCMark a 3DMark), odstránil Huawei P20, Huawei P20 Pro, Huawei Nova 3 a Honor Play z 3DMark. Spoločnosť overila podvádzanie benchmarkov na Huawei P20 Pro, Huawei Nova 3 a Honor Play. Na základe AnandTech testovaním a podávaním správ vyradila aj štandardný Huawei P20. Používatelia si už nebudú môcť prezerať výsledky benchmarkov dotknutých telefónov, pretože spoločnosť si neželá hostiť podvádzané výsledky benchmarkov.
Spoločnosť zistila, že skóre z verejnej aplikácie 3DMark bolo až o 47 % vyššie ako skóre zo súkromnej aplikácie (ktorá nie je dostupná pre verejnosť), napriek tomu, že testy sú identické.
V oznámení UL dodal, že je rád, že sa spoločnosť Huawei zaviazala prijať v budúcnosti transparentnejší prístup. Názor UL je taký, že voliteľné režimy výkonu, ktoré môže nastaviť používateľ, sú podľa jej súčasných pravidiel povolené pokiaľ sú predvolene vypnuté. Spoločnosť uvádza: "Zariadenie musí spustiť test, ako keby to bola akákoľvek iná aplikácia."
Na záver, všetky výkonnostné porovnávacie hodnoty GPU Huawei, ktoré boli vykonané pomocou verejne dostupných porovnávacích hodnôt, by sa nemali považovať za reprezentáciu skutočného výkonu.
Odpoveď: UL a Huawei vydávajú spoločné vyhlásenie
V reakcii na rozhodnutie UL vyradiť Huawei P20, Huawei P20 Pro, Huawei Nova 3 a Honor Play z 3DMark, Huawei oslovil UL, aby prediskutoval najlepšie postupy pre benchmarkové testovanie. Tu je vyhlásenie, ktoré sa nám ponúka:
Huawei a UL (tvorcovia 3DMark) viedli tento týždeň komplexné diskusie o postupoch benchmarkingu a dosiahli pozitívnu dohodu o ďalších krokoch v spolupráci.
Huawei v diskusii vysvetlil, že jeho smartfóny využívajú mechanizmus plánovania umelých inteligentných zdrojov. Pretože rôzne scenáre majú rôzne potreby zdrojov, najnovšie telefóny Huawei využívajú inovatívne technológie, ako je umelá inteligencia optimalizovať alokáciu zdrojov tak, aby hardvér mohol demonštrovať svoje schopnosti v čo najväčšom rozsahu a zároveň plnil všetky požiadavky používateľov scenárov.
UL chápe zámer prístupu spoločnosti Huawei, ale je proti vynúteniu štandardného používania „režimu výkonu“, keď zariadenie zistí testovaciu aplikáciu. Pravidlá UL vyžadujú, aby zariadenie spustilo benchmark, ako keby to bola akákoľvek iná aplikácia.
Huawei rešpektuje právo spotrebiteľov vybrať si, čo urobia so svojimi zariadeniami. Huawei preto používateľom poskytne otvorený prístup k „Performance Mode“ v EMUI 9.0, aby si používateľ mohol vybrať, kedy využije maximálny výkon svojho zariadenia.
Huawei a UL tiež diskutovali o súčasných spoločných metodikách testovania benchmarkov vo všeobecnosti. UL a Huawei by sa chceli zúčastniť na priemyselnom hnutí s cieľom vyvinúť štandardy benchmarkingu, ktoré najlepšie zodpovedajú potrebám výrobcov, tlače a spotrebiteľov.
Aby sa predišlo nejasnostiam v súvislosti s aktuálnymi výsledkami benchmarkingu, UL a Huawei po diskusii dočasne odstránili benchmark množstvo zariadení Huawei a obnoví ich po tom, čo spoločnosť Huawei poskytne všetkým používateľom mobilných telefónov Huawei prístup k funkcii Performance Režim.