„Huawei P20“, „Nova 3“ ir „Honor Play“ buvo sugauti sukčiaujant pagal etalonus

Etalonai visada buvo populiarus būdas įvertinti aparatinės įrangos našumą tiek asmeniniame kompiuteryje, tiek mobiliojoje erdvėje. Etalonų apgaudinėjimas įvyksta, kai įrenginių gamintojas nesąžiningai bando atlikti etaloną, padarydamas geresnius rezultatus nei iš tikrųjų. Sukčiavimas gali įvykti atliekant bet kokius etaloninius testus, įskaitant tuos, kurie matuoja procesoriaus, sistemos ar GPU našumą. Akivaizdus sukčiavimo etalonų tikslas yra, kad klientai būtų įsitikinę, kad produktas A yra geresnis nei produktas B. Deja, tai reiškia, kad pagrindinės techninės įrangos trūkumai yra užmaskuoti sukčiavimu. Paprasčiau tariant, tai yra pralaimėjimo padėtis visoms pramonėje dalyvaujančioms šalims: lustų pardavėjams, įrenginių gamintojams ir, svarbiausia, galutiniams vartotojams.

Sukčiavimas kompiuterių erdvėje buvo paplitęs daugiau nei prieš dešimtmetį, tačiau, laimei, praktika dažniausiai baigėsi. Mobiliajame pasaulyje Andrejus Frumusanu (dabar mobilusis redaktorius adresu

AnandTech) atrado etaloninį sukčiavimą „Samsung Galaxy S4“ „Exynos“ variante 2013 m. The AnandTech Mobilieji redaktoriai tada atrado įvairių etaloninių sukčiavimo būdų, kuriuos atlieka daugelis išmaniųjų telefonų pardavėjų. Nemažai pagrindinių išmaniųjų telefonų, tokių kaip „Galaxy S4“ ir „Samsung Galaxy Note 3“, buvo lygūs išbrauktas iš etalonų sąrašo kaip 3DMark, nes tokios įmonės kaip „Futuremark“ nusprendė viešai iškviesti įrenginių gamintojus.

Po to, kai 2013 m. buvo apšaukti dėl tokio elgesio, dauguma įrenginių gamintojų nustojo sukčiauti. Kai kurie originalios įrangos gamintojai, pavyzdžiui, „Meizu“. vis dar turi "Performance" režimus savo vartotojo sąsajose, tačiau tokius režimus dažniausiai gali konfigūruoti vartotojas. Praeitais metais, radome įrodymų, kad „OnePlus“ sukčiauja kai kuriuose populiariuose etalonuose, tokiuose kaip „Geekbench“.. „OnePlus“. sustabdė praktiką su „OnePlus 5T“ ir apskritai atrodė, kad lyginamasis sukčiavimas tapo praeitimi.

Nauja plėtra ištaisė šią klaidingą prielaidą. AnandTech redaktoriai Andrejus Frumusanu ir Ianas Cutressas paskelbė pranešimą išsamiai aprašomi 2018 m. „Huawei“ ir „Honor“ išmaniųjų telefonų, pvz., „Huawei P20“, „Huawei P20 Pro“ ir „Honor Play“, atliktų GPU etalonų patikrintų sukčiavimo atvejų.

Santrauka: 2018 m. „Huawei“ / „Honor“ telefonai buvo sugauti sukčiaujant GPU etalonuose

AnandTech pažymi, kad in jų apžvalga, „Huawei P20“ našumas sumažėjo, palyginti su „Huawei Mate 10 Pro“. Tuo metu „Huawei“ leidiniui pasakė, kad tai yra programinės įrangos problema, tačiau iš tikrųjų taip nebuvo. „Huawei“ ir „Honor“ naujesni telefonai buvo pristatyti su a etalono aptikimo mechanizmas tai įgalina daug didesnę SoC galios ribą ir didesnę šiluminę erdvę.

Kaip paaiškino AnandTech, tai reiškia, kad tam tikroms programoms, įtrauktoms į baltąjį sąrašą, naujausi „Huawei“ ir „Honor“ telefonai veikia daug geriau, palyginti su tuo, ko vartotojai tikisi iš kitos panašios į baltąjį sąrašą neįtrauktos programinės įrangos. Dėl šios praktikos sunaudojama daugiau energijos, sumažėja efektyvumas ir sumažėja akumuliatoriaus veikimo laikas.

Grynasis rezultatas yra tas, kad našumo skaičiai yra didesni, nei jie iš tikrųjų turėtų būti. Šie skaičiai yra nerealūs, kad bet kuris vartotojas pasiektų tikrąjį našumo scenarijų. Publikacijoje taip pat teigiama, kad tai darant mažėja SoC efektyvumas, nes jis „gerai stumiamas“. už jo standartinio veikimo lango." Apskritai, dėl to SoC atrodo blogiau, siekiant aukštesnio etalono numeriai.

AnandTech teigia, kad „Huawei“ etaloninis elgesys pranoksta viską, ką leidinys matė praeityje. Leidinyje buvo naudojami pasirinktiniai etalonų leidimai, todėl juos galima išbandyti įjungus ir išjungus aptikimo režimą. Jų žodžiais, didžiuliai našumo skirtumai tarp viešai prieinamų etalonų ir jų naudojamų vidinių versijų yra „visiškai stulbinantys“.

„Huawei“ atsakymas į AnandTechataskaita

AnandTech kalbėjosi su Huawei vartotojų verslo grupės programinės įrangos prezidentu dr. Wang Chengu. Dr. Chenglu pripažino, kad bendrovė apgaudinėjo lyginamąją analizę, nes „kiti daro tą patį, gauna aukštus balus, o „Huawei“ negali tylėti“.

Dr. Chenglu pareiškė, kad „Huawei“ „nori kartu su kitais Kinijoje rasti geriausią naudotojo patirties patvirtinimo etaloną“. Jis nurodė kitus gamintojus, kurie klaidino savo skaičiais, nurodydami neįvardytą populiarų išmaniųjų telefonų gamintoją Kinijoje kaip didžiausią kaltininkas. Anot jo, sukčiavimas etalonu tampa „įprasta praktika Kinijoje“, ir nors „Huawei“ nori „atverti“ vartotojams, jiems kyla problemų, kai konkurentai „nuolat skelbia nerealūs balai.“ „Huawei“ bando susidoroti su savo pagrindine Kinijos konkurencija – užduotis, kuri, atrodo, tampa sudėtinga, kai kiti įrenginių gamintojai pateikia nerealius rezultatus. numeriai.

„Huawei“ tikslas yra standartizuoti etalonus, kad sąlygos būtų vienodos, ir jie sakė AnandTech kad jie nori, kad žiniasklaida padėtų. Kaip AnandTech pažymi, tačiau Huawei reklamuoja savo savo kol kas nerealūs balai.

„Huawei“ reakcija į AnandTech ataskaita yra tokia Bendrovė užtikrins, kad būsimi etaloniniai duomenys pristatymuose būtų nepriklausomai patikrinti trečiųjų šalių paskelbimo metu.

AnandTechišsamiai išvados

AnandTech pastebėjo stebėtiną skirtumą tarp jų vidinių GPU etalonų versijų balų, palyginti su viešai prieinamais etalonais. Leidinys išbandė „Huawei P20“, „Huawei P20 Pro“ ir „Honor Play“. Visi telefonai veikė beveik vienodai didesnės galios režimu, nes turi tą patį HiSilicon Kirin 970 SoC. Tačiau realus telefonų veikimas labai skiriasi, nes visi jie turi skirtingas šilumines ribas. Skirtingos šiluminės ribos atsiranda dėl skirtingos važiuoklės / aušinimo konstrukcijos, pvz AnandTech paaiškino. „Huawei P20 Pro“ turi geriausius termosus (nes yra didesnis ir brangesnis nei kiti du), todėl jis gali veikti geriau. tikras pasirodymas valstybė.

Svarbus leidinio iškeltas dalykas yra etaloninio sukčiavimo metodo skirtumas. P. Frumusanu pareiškė:

„Anksčiau matėme, kad pardavėjai iš tikrųjų padidino SoC dažnius arba užrakina juos iki maksimalios būsenos, padidindami našumą, nei paprastai pasiekiama bendroms programoms. Vietoj to, „Huawei“ padidina etaloninius balus, žiūrėdamas iš kitos pusės – lyginamosios analizės programos yra vieninteliai naudojimo atvejai, kai SoC iš tikrųjų veikia pagal reklamuojamą greičius. Tuo tarpu kiekviena kita realaus pasaulio programa yra žymiai sumažinta žemiau šios būsenos dėl aparatinės įrangos šiluminių apribojimų. Tai, ką galiausiai pamatysime esant neribotam našumui, galbūt yra „tikroji“ nesuvaržyto SoC forma, nors tai visiškai akademiška, palyginti su tuo, ką iš tikrųjų patiria vartotojai.“ – Andrejus Frumusanu ir Ianas Cutressas, AnandTech

Galios grafikai rodo, kad naujausi „Huawei“ telefonai jau pasiekia 3,5–4,4 W tikrojo veikimo būsenoje, o 3,5 W TDP yra didžiausias energijos kiekis, kurį galima išlaikyti. Kita vertus, atlikdamas viešai prieinamus etalonus, telefonas persijungia su TDP, kai galios rodikliai viršija 6 W ir pasiekia 8,5 W. Kaip pažymėjo AnandTech, šie skaičiai greitai įjungia pranešimą apie įrenginio perkaitimą, o tai reiškia, kad šiluminės ribos neatitinka programinės įrangos lūkesčių.

Svarbu tai, kad tikrieji našumo skaičiai nėra stabilūs, nes priklauso nuo telefono temperatūros. „Huawei“ netrukdo GPU pasiekti didžiausio GPU dažnio būseną. Numatytasis elgesys iš tikrųjų yra „griežtas terminis droselio mechanizmas [...], kuris bandys išlaikyti žymiai žemesnį SoC temperatūros lygį ir bendrą energijos suvartojimą“.

Įprastas telefonų režimas gali pasiekti tuos pačius didžiausius energijos suvartojimo rodiklius atliekant GPU etalonus, kaip ir tie, kurie skelbiami nekontroliuojamuose variantuose. Tačiau šie skaičiai greitai žymiai atsitraukia, ir AnandTech pažymi, kad kai kuriais atvejais telefonas sumažina iki 2,2 W, o tai žymiai sumažina našumą.

Publikacijoje teigiama, kad iš pažiūros sukčiavimo elgsenos etalonas buvo pristatytas tik šių metų įrenginiuose. Tokiems telefonams kaip „Huawei Mate 9“ ir „Huawei P10“ tai neturi įtakos, ir panašu, kad įtakos turi tik EMUI 8.0 ir naujesni įrenginiai. AnandTech Huawei taip pat pasakė, kad tai buvo „tik programinės įrangos diegimas“, o tai patvirtino leidinio išvadas.

AnandTech paskelbė tikruosius paveiktų „Kirin 970“ telefonų GPU našumo duomenis ir daroma išvada, kad „Huawei“ gerokai atsilieka nuo savo konkurentų tiek GPU našumu, tiek efektyvumu.

Leidinys taip pat paskelbė „Kirin 970“ ir „Kirin 960“ varomų „Huawei“ įrenginių galios palyginimo grafikus. Grafikai rodo, kad „Huawei“ galios reguliavimas iš tikrųjų yra geresnis vartotojo patirčiai, nes sumažina didesnio energijos suvartojimo problemą. AnandTech „Kirin 960“ bandymai parodė, kad jis turi „baisias GPU galios charakteristikas“, o „Kirin“ 970 galios įrenginiai turi naują griežtą droselio mechanizmą, kad sumažintų energijos suvartojimą ir temperatūros.

AnandTech priduria, kad nauja droselio politika yra prasminga atsižvelgiant į tai, kad tiek Kirin 960, tiek „Kirin 970“ rodo energijos suvartojimą, kuris gerokai viršija tvarų lygį pagal atitinkamus formos veiksnius.

Kad būtų aišku, „Huawei“ neklydo pristatydama naują droselio mechanizmą. Didelė klaida yra populiarių etaloninių programų pašalinimas per baltąjį sąrašą, o tai šiuo atveju vadinama etaloniniu sukčiavimu.

Atsakymas: oficialus „Huawei“ pareiškimas

„Huawei“ atsiuntė mums tokį pareiškimą apie etaloninį sukčiavimą:

„Huawei“ visada teikia pirmenybę naudotojų patirčiai, o ne aukštiems etaloniniams balams – ypač dėl to, kad nėra tiesioginio ryšio tarp išmaniųjų telefonų etalonų ir naudotojų patirties. „Huawei“ išmanieji telefonai naudoja pažangias technologijas, tokias kaip AI, kad optimizuotų aparatinės įrangos, įskaitant procesorių, GPU ir NPU, veikimą.

Kai kas nors paleidžia fotografavimo programą arba žaidžia intensyvų grafinį žaidimą, „Huawei“ išmanioji programinė įranga sukuria sklandų ir stabilų naudotojo patirtį pritaikant visas aparatinės įrangos galimybes, kartu valdant įrenginio temperatūrą ir galią efektyvumą. Programoms, kurios nenaudoja tokios energijos, kaip naršymas internete, paskirs tik tuos išteklius, kurių reikia norint užtikrinti reikiamą našumą.

Įprastų palyginimo scenarijų atveju, kai „Huawei“ programinė įranga atpažįsta lyginamosios analizės programą, ji sumaniai prisitaiko prie „našumo režimo“ ir užtikrina optimalų našumą. „Huawei“ planuoja vartotojams suteikti prieigą prie „našumo režimo“, kad prireikus jie galėtų išnaudoti maksimalią įrenginio galią.

„Huawei“, kaip pramonės lyderis, nori dirbti su partneriais, kad surastų geriausius palyginimo standartus, kurie gali tiksliai įvertinti naudotojų patirtį.

Svarbiausia yra tai, kad įmonė yra planuoja suteikti vartotojams prieigą prie „Performance Mode“ (Meizu stiliaus), kad vartotojai galėtų išnaudoti „maksimalią savo įrenginio galią“, kai reikia."

Atsakymas: UL iš savo etalonų pašalina paveiktus „Huawei“ ir „Honor“ telefonus

UL, įsigijusi „Futuremark“ (įmonę už PCMark ir 3DMark), pašalino „Huawei P20“, „Huawei P20 Pro“, „Huawei Nova 3“ ir „Honor Play“ iš 3DMark. Bendrovė patikrino „Huawei P20 Pro“, „Huawei Nova 3“ ir „Honor Play“ apgaudinėjimą. Remiantis AnandTech testavimas ir ataskaitų teikimas, jis taip pat pašalino standartinį „Huawei P20“. Vartotojai nebegalės peržiūrėti paveiktų telefonų etaloninių rezultatų, nes bendrovė nenori priglobti apgautų etaloninių balų.

Bendrovė nustatė, kad viešosios 3DMark programos balai buvo iki 47% didesni už balus. iš privačios programėlės (kuri neprieinama viešai), nepaisant to, kad testai yra identiški.

Pranešime UL pridūrė, kad džiaugiasi, kad „Huawei“ įsipareigoja ateityje laikytis skaidresnio požiūrio. UL nuomone, pasirenkami veikimo režimai, kuriuos gali nustatyti vartotojas, yra leidžiami pagal dabartines taisykles tol, kol jie yra išjungti pagal numatytuosius nustatymus. Įmonė teigia: "Įrenginys turi paleisti etaloną taip, lyg tai būtų bet kuri kita programa."

Apibendrinant, visi „Huawei“ GPU našumo etalonai, kurie buvo atlikti naudojant viešai prieinamus etalonus, neturėtų būti laikomi tikrojo našumo reprezentacija.

Atsakymas: UL ir Huawei paskelbė bendrą pareiškimą

Reaguodama į UL sprendimą pašalinti „Huawei P20“, „Huawei P20 Pro“, „Huawei Nova 3“ ir „Honor Play“ iš 3DMark, „Huawei“ susisiekė su UL, kad aptartų geriausią etaloninio testavimo praktiką. Štai mums pasiūlytas pareiškimas:

„Huawei“ ir UL (3DMark kūrėjai) šią savaitę surengė išsamias diskusijas apie lyginamosios analizės praktiką ir pasiekė teigiamą susitarimą dėl tolesnių žingsnių bendradarbiaujant.

Diskusijoje „Huawei“ paaiškino, kad jos išmanieji telefonai naudoja dirbtinį intelektualų išteklių planavimo mechanizmą. Kadangi skirtingi scenarijai turi skirtingus išteklių poreikius, naujausiuose Huawei telefonuose naudojamos naujoviškos technologijos, pvz., dirbtinis intelektas. optimizuoti išteklių paskirstymą taip, kad aparatinė įranga galėtų maksimaliai pademonstruoti savo galimybes, tuo pat metu tenkindama vartotojų poreikius scenarijai.

UL supranta „Huawei“ požiūrio tikslą, tačiau nepritaria priverstiniam „našumo režimo“ naudojimui pagal numatytuosius nustatymus, kai įrenginys aptinka lyginamosios analizės programą. UL taisyklės reikalauja, kad įrenginys vykdytų etaloną taip, lyg tai būtų bet kuri kita programa.

„Huawei“ gerbia vartotojų teisę pasirinkti, ką daryti su savo įrenginiais. Todėl „Huawei“ suteiks vartotojams atvirą prieigą prie „Performance Mode“ EMUI 9.0, kad vartotojas galėtų pasirinkti, kada naudoti maksimalią įrenginio galią.

„Huawei“ ir UL taip pat apskritai aptarė dabartines bendras etaloninio testavimo metodikas. UL ir Huawei norėtų dalyvauti pramonės judėjime, kad sukurtų lyginamosios analizės standartus, kurie geriausiai atitiktų gamintojų, spaudos ir vartotojų poreikius.

Siekdami išvengti painiavos dėl dabartinių lyginamosios analizės rezultatų, po diskusijų UL ir Huawei laikinai pašalino etaloną daugybę „Huawei“ įrenginių ir atkurs juos po to, kai „Huawei“ suteiks visiems „Huawei“ telefonų naudotojams prieigą prie „Performance“ Režimas.