Huawei P20, Nova 3 un Honor Play tika pieķerti krāpjoties etalonos

Etaloni vienmēr ir bijuši populārs veids, kā izmērīt aparatūras veiktspēju gan datorā, gan mobilajā telpā. Etalona krāpšanās notiek, kad ierīces ražotājs negodīgi mēģina izspēlēt etalonu, padarot rezultātus labākus, nekā tie ir patiesībā. Krāpšanās var notikt jebkurā etalonpārbaudē, tostarp tajos, kas mēra CPU, sistēmas vai GPU veiktspēju. Acīmredzamais mērķis krāpties ar etaloniem ir panākt, lai klienti būtu pārliecināti, ka produkts A ir labāks par produktu B. Diemžēl tas nozīmē, ka pamatā esošās aparatūras nepilnības tiek maskētas ar krāpšanos. Vienkāršāk sakot, tā ir zaudētāju un zaudējumu situācija visām nozarē iesaistītajām pusēm: mikroshēmu pārdevējiem, ierīču ražotājiem un, galvenokārt, gala patērētājiem.

Krāpšanās bija nikns personālo datoru vidē pirms vairāk nekā desmit gadiem, taču, par laimi, šī prakse lielākoties ir beigusies. Mobilajā pasaulē Andrejs Frumusanu (tagad mobilais redaktors vietnē

AnandTech) atklāja etalona krāpšanos Samsung Galaxy S4 Exynos variantā 2013. gadā. The AnandTech Mobilie redaktori pēc tam atklāja dažādu veidu krāpšanos, ko veic daudzi viedtālruņu pārdevēji. Daudzi lieli viedtālruņi, piemēram, Galaxy S4 un Samsung Galaxy Note 3, bija vienādi svītrots no etaloniem piemēram, 3DMark, jo tādi uzņēmumi kā Futuremark izvēlējās publiski izsaukt ierīču ražotājus.

Pēc tam, kad 2013. gadā viņi tika izsaukti par šādu rīcību, lielākā daļa ierīču ražotāju ir pārtraukuši krāpšanos ar etalonu. Daži oriģinālo iekārtu ražotāji, piemēram, Meizu lietotāju saskarnēs joprojām ir "Veiktspējas" režīmi, taču šādi režīmi lielākoties ir lietotāja konfigurējami. Pagājušais gads, mēs atradām pierādījumus tam, ka OnePlus krāpjas dažos populāros etalonos, piemēram, Geekbench. OnePlus pārtrauca praksi ar OnePlus 5T, un kopumā krāpšanās etalonā, šķiet, ir kļuvusi par pagātni.

Jauna attīstība ir labojusi šo nepareizo pieņēmumu. AnandTech redaktori Andrejs Frumusanu un Ian Cutress ir publicēja ziņojumu sīki aprakstīti pārbaudīti krāpšanās gadījumi, kas veikti GPU etalonos 2018. gada Huawei un Honor viedtālruņos, piemēram, Huawei P20, Huawei P20 Pro un Honor Play.

Kopsavilkums: 2018. gada Huawei/Honor tālruņi, kas tika pieķerti krāpšanā GPU etalonos

AnandTech atzīmē, ka iekš viņu apskats, Huawei P20 veiktspēja bija pasliktinājusies salīdzinājumā ar Huawei Mate 10 Pro. Toreiz Huawei publikācijai paziņoja, ka tā ir programmaparatūras problēma, taču patiesībā tas tā nebija. Huawei un Honor jaunākie tālruņi tika piegādāti ar a etalona noteikšanas mehānisms kas nodrošina daudz augstāku jaudas ierobežojumu SoC ar lielāku termisko augstumu.

Kā paskaidroja AnandTech, tas nozīmē, ka noteiktām baltajā sarakstā iekļautajām lietojumprogrammām jaunākie Huawei un Honor tālruņi darbojas daudz augstāki salīdzinājumā ar to, ko lietotāji sagaida no citas līdzīgas programmatūras, kas neietilpst baltajā sarakstā. Šīs prakses rezultātā tiek patērēta lielāka jauda, ​​zemāka efektivitāte un samazināts akumulatora darbības laiks.

Rezultātā veiktspējas rādītāji ir lielāki, nekā tiem patiesībā vajadzētu būt. Šos skaitļus ir nereāli sasniegt jebkuram lietotājam patiesas veiktspējas scenārijā. Publikācijā arī teikts, ka, to darot, SoC efektivitāte samazinās, jo tā tiek "labi virzīta". ārpus tā standarta darbības loga." Kopumā tas liek SoC izskatīties sliktāk, lai iegūtu augstāku etalonu cipariem.

AnandTech norāda, ka Huawei etalonuzvedība pārsniedz visu, ko publikācija ir redzējusi pagātnē. Publikācijā tika izmantoti pielāgoti etalonu izdevumi, lai tos varētu pārbaudīt, ieslēdzot un izslēdzot noteikšanas režīmu. Pēc viņu vārdiem, milzīgās veiktspējas atšķirības starp publiski pieejamajiem etaloniem un to izmantotajām iekšējām versijām ir "pilnīgi pārsteidzošas".

Huawei atbilde uz AnandTechziņojumā

AnandTech runāja ar Huawei Patērētāju biznesa grupas programmatūras prezidentu Dr. Van Čengu. Dr Čenglu atzina, ka uzņēmums krāpjas, veicot salīdzinošo novērtēšanu, jo "citi dara to pašu, iegūst augstus rezultātus, un Huawei nevar klusēt."

Dr. Čenglu norādīja, ka Huawei "vēlas sadarboties ar citiem Ķīnā, lai atrastu labāko verifikācijas etalonu lietotāju pieredzei". Viņš norādīja uz citiem ražotājiem, kuri maldina ar saviem skaitļiem, minot vārdā nenosauktu populāru viedtālruņu ražotāju Ķīnā kā lielāko vaininieks. Pēc viņa teiktā, etalona krāpšanās kļūst par "parastu praksi Ķīnā", un, lai gan Huawei vēlas "atvērties" patērētājiem, viņiem rodas problēmas, kad konkurenti "nepārtraukti publicē ziņas nereāli rezultāti." Huawei cenšas stāties pretī lielākajai Ķīnas konkurencei, un šis uzdevums šķiet sarežģīts, kad citi ierīču ražotāji iegūst nereālus rezultātus. cipariem.

Huawei mērķis ir standartizēt etalonus, lai izlīdzinātu spēles noteikumus, un viņi teica AnandTech ka viņi vēlas, lai plašsaziņas līdzekļi palīdzētu. Kā AnandTech atzīmē, tomēr Huawei reklamē savu pašu pagaidām nereāli rezultāti.

Huawei reakcija uz AnandTech ziņojums ir tāds uzņēmums nodrošinās, ka turpmākie etalona dati prezentācijās tiek neatkarīgi pārbaudīti no trešās puses paziņojuma laikā.

AnandTechatklājumus detalizēti

AnandTech atklāja pārsteidzošu atšķirību to GPU etalonu iekšējo versiju iegūtajos rādītājos, salīdzinot ar publiski pieejamajiem etaloniem. Izdevums testēja Huawei P20, Huawei P20 Pro un Honor Play. Visi tālruņi darbojās gandrīz identiski lielākas jaudas režīmā, jo tiem ir viens un tas pats HiSilicon Kirin 970 SoC. Tomēr tālruņu reālā veiktspēja ievērojami atšķiras, jo tiem visiem ir atšķirīgi termiskie ierobežojumi. Dažādie termiskie ierobežojumi ir saistīti ar to atšķirīgo šasiju/dzesēšanas dizainu, piemēram AnandTech paskaidroja. Huawei P20 Pro ir vislabākie termovadi (jo tas ir lielāks un dārgāks nekā pārējie divi), un tāpēc tas var darboties labāk. patiess sniegums Valsts.

Svarīgs jautājums, ko izceļ publikācija, ir atšķirības etalona krāpšanās metodē. Frumusanu kungs teica:

"Iepriekš mēs esam redzējuši, ka pārdevēji faktiski paaugstina SoC frekvences vai bloķē tos līdz maksimālajiem stāvokļiem, palielinot veiktspēju, pārsniedzot to, kas parasti ir pieejams vispārīgām lietojumprogrammām. Tā vietā Huawei paaugstina etalonu rādītājus, vēršoties no cita virziena – salīdzinošās novērtēšanas lietojumprogrammas ir vienīgie lietošanas gadījumi, kad SoC faktiski darbojas atbilstoši reklamētajam ātrumiem. Tikmēr visas citas reālās pasaules lietojumprogrammas ir ievērojami samazinātas par šo stāvokli aparatūras termisko ierobežojumu dēļ. Tas, ko mēs galu galā redzam ar neierobežotu veiktspēju, iespējams, ir neierobežota SoC “īstā” forma, lai gan tas ir pilnīgi akadēmisks, ja salīdzina ar to, ko lietotāji patiesībā piedzīvo." - Andrejs Frumusanu un Ians Kutresss, AnandTech

Jaudas diagrammas parāda, ka Huawei jaunākie tālruņi jau sasniedz 3,5–4,4 W to patiesajā veiktspējas stāvoklī, savukārt 3,5 W TDP ir maksimālais noturības līmenis. No otras puses, tālrunis pārspīlē ar TDP, veicot publiski pieejamos etalonus, un jaudas rādītāji pārsniedz 6 W un sasniedz 8,5 W. Kā atzīmēja AnandTech, šie skaitļi ātri aktivizē ierīces pārkaršanas paziņojumu, kas norāda uz termisko ierobežojumu neatbilstību programmatūras gaidām.

Ņemiet vērā, ka patiesie veiktspējas rādītāji nav stabili, jo tie ir atkarīgi no tālruņa temperatūras. Huawei nebloķē GPU sasniegt maksimālo GPU frekvences stāvokli. Noklusējuma darbība faktiski ir "skarbs termiskās droseles mehānisms [...], kas mēģinās uzturēt ievērojami zemākus SoC temperatūras līmeņus un kopējo enerģijas patēriņu."

Tālruņu parastais režīms GPU etalonu laikā var sasniegt tādus pašus maksimālos enerģijas patēriņa rādītājus kā tie, kas publicēti nedroseles variantos. Tomēr šie skaitļi ātri ievērojami atkrīt, un AnandTech atzīmē, ka dažos gadījumos tālrunis samazina jaudu līdz 2,2 W, kas ievērojami samazina veiktspēju.

Publikācijā teikts, ka krāpšanās uzvedības etalons šķietami ir tika ieviests tikai šī gada ierīcēs. Tālruņi, piemēram, Huawei Mate 9 un Huawei P10, netiek ietekmēti, un šķiet, ka tiek ietekmētas tikai EMUI 8.0 un jaunākas ierīces. AnandTech Huawei viņam arī teica, ka tā ir "tīri programmatūras ieviešana", kas apstiprināja publikācijas secinājumus.

AnandTech publicēja patiesos GPU veiktspējas skaitļus ietekmētajiem Kirin 970 tālruņiem, un secinājums ir tāds, ka Huawei ievērojami atpaliek no konkurentiem gan GPU veiktspējas, gan efektivitātes ziņā.

Publikācijā tika publicēti arī ar Kirin 970 un Kirin 960 darbināmo Huawei ierīču jaudas salīdzināšanas grafiki. Diagrammas parāda, ka Huawei jaudas droseles pielāgojumi patiesībā ir labāki lietotāja pieredzei, jo tie mazina lielāka enerģijas patēriņa problēmu. AnandTech Kirin 960 testēšana parādīja, ka tam ir "šausmīgi GPU jaudas raksturlielumi", savukārt Kirin 970 darbināmām ierīcēm ir jauns stingrs droseles mehānisms, lai samazinātu enerģijas patēriņu un temperatūras.

AnandTech piebilst, ka jaunajai droseles politikai ir jēga, ņemot vērā faktu, ka gan Kirin 960, gan Kirin 970 parāda jaudas patēriņu, kas ir daudz augstāks par ilgtspējīgu līmeni atbilstoši to attiecīgajiem formas faktoriem.

Lai būtu skaidrs, Huawei nav kļūdījies, ieviešot jauno droseles mehānismu. Liela kļūda šeit ir populāru etalonu lietojumprogrammu izslēgšana, izmantojot balto sarakstu, kas šajā gadījumā tiek saukta par etalonu krāpšanos.

Atbilde: Huawei oficiālais paziņojums

Huawei nosūtīja mums šādu paziņojumu par etalona krāpšanos:

Huawei vienmēr par prioritāti piešķir lietotāja pieredzi, nevis cenšas sasniegt augstus etalonuzdevumus, jo īpaši tāpēc, ka nav tiešas saiknes starp viedtālruņu etaloniem un lietotāju pieredzi. Huawei viedtālruņos tiek izmantotas uzlabotas tehnoloģijas, piemēram, AI, lai optimizētu aparatūras, tostarp CPU, GPU un NPU, veiktspēju.

Kad kāds palaiž fotografēšanas lietotni vai spēlē grafiski intensīvu spēli, Huawei viedā programmatūra rada vienmērīgu un stabilu lietotāja pieredzi, izmantojot visas aparatūras iespējas, vienlaikus pārvaldot ierīces temperatūru un jaudu efektivitāti. Lietojumprogrammām, kurām nav tik daudz enerģijas kā tīmekļa pārlūkošanai, tiks piešķirti tikai resursi, kas nepieciešami, lai nodrošinātu nepieciešamo veiktspēju.

Parastos salīdzinošās novērtēšanas scenārijos, tiklīdz Huawei programmatūra atpazīst etalonuzdevuma lietojumprogrammu, tā gudri pielāgojas “Veiktspējas režīmam” un nodrošina optimālu veiktspēju. Huawei plāno nodrošināt lietotājiem piekļuvi "Veiktspējas režīmam", lai viņi varētu izmantot maksimālo savas ierīces jaudu, kad nepieciešams.

Huawei kā nozares līderis ir gatavs sadarboties ar partneriem, lai atrastu labākos salīdzinošās novērtēšanas standartus, kas var precīzi novērtēt lietotāju pieredzi.

Galvenais šeit ir tas, ka uzņēmums ir plāno nodrošināt lietotājiem piekļuvi "veiktspējas režīmam" (Meizu stilā), lai lietotāji varētu izmantot savas ierīces "maksimālo jaudu", "kad viņiem tas ir nepieciešams."

Atbilde: UL no etaloniem izņem ietekmētos Huawei un Honor tālruņus

UL, iegādājoties Futuremark (uzņēmumu aiz PCMark un 3DMark), ir noņēmis Huawei P20, Huawei P20 Pro, Huawei Nova 3 un Honor Play no 3DMark. Uzņēmums ir pārbaudījis Huawei P20 Pro, Huawei Nova 3 un Honor Play krāpšanos. Pamatojoties uz AnandTech testēšanu un ziņošanu, tas ir arī noņēmis standarta Huawei P20. Lietotāji vairs nevarēs skatīt ietekmēto tālruņu etalonu rezultātus, jo uzņēmums nevēlas mitināt krāptos etalonu rezultātus.

Uzņēmums atklāja, ka rezultāti no publiskās 3DMark lietotnes bija līdz pat 47% augstāki nekā rezultāti no privātās lietotnes (kas nav publiski pieejama), neskatoties uz to, ka testi ir identisks.

Paziņojumā UL piebilda, ka ir priecīgs redzēt, ka Huawei apņemas nākotnē pieņemt pārredzamāku pieeju. UL uzskata, ka saskaņā ar pašreizējiem noteikumiem ir atļauti izvēles veiktspējas režīmi, kurus var iestatīt lietotājs kamēr tie ir atspējoti pēc noklusējuma. Uzņēmums norāda: "Ierīcei ir jāpalaiž etalons tā, it kā tā būtu jebkura cita lietojumprogramma."

Noslēgumā jāsaka, ka visus Huawei GPU veiktspējas etalonus, kas tika veikti, izmantojot publiski pieejamus etalonus, nevajadzētu uzskatīt par faktiskās veiktspējas atspoguļojumu.

Atbilde: UL un Huawei nāk klajā ar kopīgu paziņojumu

Reaģējot uz UL lēmumu izņemt Huawei P20, Huawei P20 Pro, Huawei Nova 3 un Honor Play no 3DMark, Huawei sazinājās ar UL, lai apspriestu etalona testēšanas paraugpraksi. Šeit ir mums piedāvātais paziņojums:

Huawei un UL (3DMark radītāji) šonedēļ ir veikuši visaptverošas diskusijas par salīdzinošās novērtēšanas praksi un panākuši pozitīvu vienošanos par turpmākajiem soļiem kopīgā darbā.

Diskusijā Huawei skaidroja, ka tā viedtālruņi izmanto mākslīgu viedo resursu plānošanas mehānismu. Tā kā dažādiem scenārijiem ir atšķirīgas resursu vajadzības, jaunākie Huawei tālruņi izmanto novatoriskas tehnoloģijas, piemēram, mākslīgo intelektu. optimizēt resursu piešķiršanu tā, lai aparatūra varētu pilnībā demonstrēt savas iespējas, vienlaikus izpildot lietotāju prasības visās jomās scenāriji.

UL saprot Huawei pieejas nolūku, taču iebilst pret “veiktspējas režīma” piespiešanu pēc noklusējuma, kad ierīce nosaka salīdzinošās novērtēšanas lietojumprogrammu. UL noteikumi pieprasa, lai ierīce palaistu etalonu tā, it kā tā būtu jebkura cita lietojumprogramma.

Huawei respektē patērētāju tiesības izvēlēties, ko darīt ar savām ierīcēm. Tāpēc Huawei nodrošinās lietotājiem atvērtu piekļuvi “Veiktspējas režīmam” EMUI 9.0, lai lietotājs varētu izvēlēties, kad izmantot savas ierīces maksimālo jaudu.

Huawei un UL ir arī apspriedušas pašreizējās kopīgās etalontestēšanas metodes kopumā. UL un Huawei vēlas piedalīties nozares kustībā, lai izstrādātu salīdzinošās novērtēšanas standartus, kas vislabāk atbilstu ražotāju, preses un patērētāju vajadzībām.

Lai novērstu neskaidrības par pašreizējiem salīdzinošajiem rezultātiem, pēc apspriešanas UL un Huawei uz laiku ir noņēmuši etalonu. daudzu Huawei ierīču klāsta un atjaunos tās pēc tam, kad Huawei visiem Huawei tālruņu lietotājiem piešķirs piekļuvi veiktspējai. Režīms.