Un raport afirmă că Huawei a fost găsit trișând în benchmark-uri. Ca răspuns, UL a eliminat Huawei P20/P20 Pro, Huawei Nova 3 și Honor Play de la 3DMark.
Benchmark-urile au fost întotdeauna o modalitate populară de a măsura performanța hardware-ului, atât în spațiul PC, cât și în cel mobil. Trișarea cu benchmark apare atunci când un producător de dispozitive încearcă în mod nedrept să joace un benchmark făcând rezultate mai bune decât sunt în realitate. Trișarea se poate întâmpla în orice teste de referință, inclusiv cele care măsoară performanța procesorului, sistemului sau GPU-ului. Scopul evident de a înșela la benchmark-uri este ca clienții să fie convinși că produsul A este mai bun decât produsul B. Din păcate, aceasta înseamnă că slăbiciunile de bază ale hardware-ului sunt mascate prin înșelăciune. Mai simplu, este o situație de pierdere-pierde pentru toate părțile implicate în industrie: vânzătorii de cipuri, producătorii de dispozitive și, mai ales, consumatorii finali.
Înșelăciunea era răspândită în spațiul PC-ului în urmă cu mai bine de un deceniu, dar, din fericire, practica sa încheiat în mare parte. În lumea mobilă, Andrei Frumusanu (acum editorul mobil la
AnandTech) a descoperit trișarea de referință pe varianta Exynos a Samsung Galaxy S4 în 2013. The AnandTech Editorii de telefonie mobilă au descoperit apoi diferite tipuri de înșelăciune de referință făcute de mulți vânzători de smartphone-uri. Destul de multe smartphone-uri importante, cum ar fi Galaxy S4 și Samsung Galaxy Note 3, au fost egale delistate din benchmark-uri precum 3DMark, deoarece companii precum Futuremark au optat să cheme public producătorii de dispozitive.După ce au fost chemați în 2013 pentru acest comportament, majoritatea producătorilor de dispozitive au încetat să trișeze de referință. Unii OEM ca Meizu au încă moduri „Performanță” în interfețele lor cu utilizatorul, dar astfel de moduri sunt în mare parte configurabile de utilizator. Anul trecut, am găsit dovezi că OnePlus înșela în unele benchmark-uri populare, cum ar fi Geekbench. OnePlus a oprit practica cu OnePlus 5T și, în general, înșelăciunea de referință păreau să fi devenit un lucru din trecut.
O nouă dezvoltare a corectat această presupunere falsă. AnandTech redactorii Andrei Frumusanu si Ian Cutress au a publicat un raport care detaliază cazurile verificate de înșelăciune de referință efectuate în benchmark-urile GPU până în 2018 pentru smartphone-urile Huawei și Honor, cum ar fi Huawei P20, Huawei P20 Pro și Honor Play.
Rezumat: Telefoanele Huawei/Honor din 2018 au fost prinse trișând în benchmark-urile GPU
AnandTech constată că în revizuirea lor, performanța Huawei P20 a regresat în comparație cu Huawei Mate 10 Pro. La acel moment, publicației i s-a spus de către Huawei că este o problemă de firmware, dar, în realitate, nu a fost cazul. Telefoanele mai noi ale Huawei și Honor veneau cu un mecanism de detectare a reperului care permite o limită de putere mult mai mare pentru SoC cu un spațiu termic mai mare.
După cum explică AnandTech, asta înseamnă că pentru anumite aplicații incluse în lista albă, cele mai recente telefoane Huawei și Honor au performanțe mult mai mari în comparație cu ceea ce se vor aștepta utilizatorii de la alte software similare care nu sunt incluse în lista albă. Această practică are ca rezultat un consum mai mare de energie, o eficiență mai scăzută și o durată de viață redusă a bateriei.
Rezultatul net este că cifrele de performanță sunt mai mari decât ar trebui să fie de fapt. Aceste cifre sunt nerealiste de atins pentru orice utilizator într-un scenariu de performanță reală. Publicația mai precizează că eficiența SoC-ului scade atunci când face acest lucru, deoarece este „împins bine în afara ferestrei sale de operare standard.” Per total, face ca SoC să arate mai rău de dragul unui benchmark mai ridicat numere.
AnandTech afirmă că comportamentul de referință al Huawei depășește orice a văzut publicația în trecut. Publicația a folosit ediții personalizate ale benchmark-urilor, astfel încât acestea să poată testa cu modul de detectare activat și dezactivat. În cuvintele lor, diferențele masive de performanță dintre benchmark-urile disponibile public și versiunile interne pe care le folosesc sunt „absolut uluitoare”.
Răspunsul Huawei la AnandTechraportul lui
AnandTech a vorbit cu Dr. Wang Chenglu, Președintele Software la Consumer Business Group al Huawei. Dr. Chenglu a recunoscut că compania înșela la benchmarking pentru că „alții fac același lucru, obțin scoruri mari și Huawei nu poate rămâne tăcut”.
Dr. Chenglu a declarat că Huawei „dorește să se alăture cu alții din China pentru a găsi cel mai bun standard de verificare pentru experiența utilizatorului”. El a atras atenția către alți producători de a induce în eroare cu numerele lor, citând un producător de smartphone-uri popular nenumit din China drept cel mai mare inculpat. Potrivit acestuia, trișarea de referință devine „o practică obișnuită în China” și, în timp ce Huawei vrea să „se deschidă” consumatorilor, aceștia au probleme atunci când concurenții „postează continuu”. scoruri nerealiste.” Huawei încearcă să se confrunte cu competiția sa majoră din China, o sarcină care se pare că devine dificilă atunci când alți producători de dispozitive produc scoruri nereale. numere.
Scopul Huawei este standardizarea criteriilor de referință pentru a echita condițiile de joc, și au spus ei AnandTech că vor ca mass-media să ajute. La fel de AnandTech notează, totuși, Huawei își promovează proprii scoruri nerealiste deocamdată.
Reacția Huawei la AnandTech raportul este că compania se va asigura că datele de referință viitoare din prezentări sunt verificate independent de către terți la momentul anunțului.
AnandTechconstatările lui în detaliu
AnandTech au găsit o diferență surprinzătoare în scorurile produse de versiunile lor interne ale benchmark-urilor GPU în comparație cu benchmark-urile disponibile public. Publicația a testat Huawei P20, Huawei P20 Pro și Honor Play. Toate telefoanele au funcționat aproape identic în modul de putere mai mare, deoarece au același HiSilicon Kirin 970 SoC. Cu toate acestea, performanța reală a telefoanelor variază semnificativ, deoarece toate au limite termice diferite. Limitele termice diferite se datorează designurilor lor diferite de șasiu/răcire, cum ar fi AnandTech explicat. Huawei P20 Pro are cele mai bune termice (pentru că este mai mare și mai scump decât celelalte două) și, prin urmare, poate funcționa mai bine în performanță adevărată stat.
Un punct important ridicat de publicație este diferența dintre metoda de trișare de referință. Domnul Frumusanu a declarat:
„În trecut, am văzut vânzători ridicând efectiv frecvențele SoC sau blocându-le la stările lor maxime, ridicând performanța dincolo de ceea ce este de obicei disponibil pentru aplicațiile generice. Ceea ce face Huawei în schimb este să mărească scorurile de referință, venind la el din cealaltă direcție - cel aplicațiile de benchmarking sunt singurele cazuri de utilizare în care SoC-ul funcționează de fapt la anunțul său viteze. Între timp, orice altă aplicație din lumea reală este redusă într-un grad semnificativ sub această stare din cauza limitărilor termice ale hardware-ului. Ceea ce ajungem să vedem cu o performanță nelimitată este probabil forma „adevărată” a unui SoC neconstrâns, deși acest lucru este complet academic în comparație cu ceea ce experimentează de fapt utilizatorii.” - Andrei Frumusanu și Ian Cutress, AnandTech
Graficele de putere demonstrează că cele mai noi telefoane Huawei ajung deja la 3,5-4,4 W în starea lor de performanță adevărată, în timp ce 3,5 W TDP este cantitatea maximă care poate fi susținută. Pe de altă parte, telefonul intră în overdrive cu TDP atunci când realizează benchmark-urile disponibile publicului, cu cifrele de putere depășind 6W și atingând vârful la 8,5W. După cum remarcă AnandTech, aceste cifre declanșează rapid o notificare de supraîncălzire pe dispozitiv, ceea ce înseamnă nepotrivirea limitelor termice cu așteptările software.
Ideea aici este că cifrele reale de performanță nu sunt stabile, deoarece depind de temperatura telefonului. Huawei nu blochează GPU-ul să atingă starea de frecvență maximă a GPU-ului. Comportamentul implicit este de fapt un „mecanism dur de reglare termică [...] care va încerca să mențină niveluri de temperatură SoC semnificativ mai scăzute și consumul general de energie”.
Modul normal al telefoanelor poate atinge aceleași cifre de consum maxim în timpul benchmark-urilor GPU ca și cele postate de variantele nereglate. Cu toate acestea, aceste numere se retrage rapid în mod semnificativ, și AnandTech observă că telefonul scade până la 2,2 W în unele cazuri, ceea ce are ca efect reducerea semnificativă a performanței.
Publicația afirmă că comportamentul de înșelăciune de referință a fost aparent a fost introdus doar în dispozitivele din acest an. Telefoanele precum Huawei Mate 9 și Huawei P10 nu sunt afectate și se pare că sunt afectate doar dispozitivele EMUI 8.0 și mai noi. AnandTech Huawei i s-a spus, de asemenea, că aceasta a fost „o implementare pur software”, ceea ce a coroborat concluziile publicației.
AnandTech a publicat cifre reale de performanță GPU pentru telefoanele afectate cu Kirin 970, iar concluzia este că Huawei este semnificativ în urma concurenților săi atât în ceea ce privește performanța GPU-ului, cât și eficiența.
Publicația a postat și grafice de comparație a puterii pentru dispozitivele Huawei alimentate cu Kirin 970 și Kirin 960. Graficele arată că ajustările Huawei pentru limitarea puterii sunt de fapt mai bune pentru experiența utilizatorului, deoarece atenuează problema consumului de energie mai mare. AnandTech testarea Kirin 960 a arătat că avea „caracteristici groaznice de putere a GPU”, în timp ce Kirin Dispozitivele alimentate cu 970 au un nou mecanism strict de accelerare pentru a reduce consumul de energie și temperaturile.
AnandTech adaugă că noua politică de throttling are sens atunci când se ia în considerare faptul că atât Kirin 960, cât și Kirin 970 arată consumuri de putere care sunt mult peste nivelurile lor durabile pentru factorii de formă respectivi.
Pentru a fi clar, Huawei nu a greșit introducând noul mecanism de accelerare. Marea greșeală aici este excluderea aplicațiilor populare de benchmark printr-o listă albă, ceea ce se numește trișare de referință în acest caz.
Răspuns: declarația oficială a Huawei
Huawei ne-a trimis următoarea declarație despre înșelăciunea de referință:
Huawei acordă întotdeauna prioritate experienței utilizatorului, mai degrabă decât să urmărească scoruri de referință ridicate – mai ales că nu există o legătură directă între benchmark-urile smartphone-urilor și experiențele utilizatorului. Telefoanele inteligente Huawei folosesc tehnologii avansate precum AI pentru a optimiza performanța hardware-ului, inclusiv CPU, GPU și NPU.
Când cineva lansează o aplicație de fotografie sau joacă un joc intensiv din punct de vedere grafic, software-ul inteligent Huawei creează o imagine fluidă și stabilă. experiența utilizatorului prin aplicarea tuturor capabilităților hardware-ului, gestionând simultan temperatura și puterea dispozitivului eficienţă. Pentru aplicațiile care nu consumă atât de mult energie precum navigarea pe web, va aloca doar resursele necesare pentru a oferi performanța necesară.
În scenariile normale de benchmarking, odată ce software-ul Huawei recunoaște o aplicație de benchmarking, se adaptează inteligent la „Modul de performanță” și oferă performanțe optime. Huawei intenționează să ofere utilizatorilor acces la „Modul de performanță”, astfel încât să poată folosi puterea maximă a dispozitivului lor atunci când au nevoie.
Huawei – în calitate de lider în industrie – este dispus să colaboreze cu partenerii pentru a găsi cele mai bune standarde de evaluare comparativă care pot evalua cu exactitate experiența utilizatorului.
Principala concluzie aici este că compania este planifică să ofere utilizatorilor acces la „Modul de performanță” (stil Meizu), astfel încât utilizatorii să poată folosi „puterea maximă” a dispozitivului lor „când trebuie să."
Răspuns: UL elimină telefoanele Huawei și Honor afectate din benchmark-urile sale
UL, după ce a achiziționat Futuremark (compania din spatele PCMark și 3DMark), a eliminat Huawei P20, Huawei P20 Pro, Huawei Nova 3 și Honor Play de la 3DMark. Compania a verificat înșelăciunea de referință pe Huawei P20 Pro, Huawei Nova 3 și Honor Play. Pe baza de AnandTech testând și raportând, a eliminat și standardul Huawei P20. Utilizatorii nu vor mai putea vedea rezultatele benchmark-urilor telefoanelor afectate, deoarece compania nu dorește să găzduiască scoruri de referință înșelate.
Compania a descoperit că scorurile din aplicația publică 3DMark au fost cu până la 47% mai mari decât scorurile din aplicația privată (care nu este disponibilă publicului), în ciuda faptului că testele sunt identic.
În anunț, UL a adăugat că este bucuroasă să vadă că Huawei se angajează să adopte o abordare mai transparentă în viitor. Părerea UL este că modurile de performanță opționale care pot fi setate de utilizator sunt permise conform regulilor sale actuale atâta timp cât sunt dezactivate implicit. Compania afirmă: „Un dispozitiv trebuie să ruleze benchmark-ul ca și cum ar fi orice altă aplicație.”
În concluzie, toate benchmark-urile de performanță GPU Huawei care au fost luate folosind benchmark-uri disponibile public nu ar trebui luate ca o reprezentare a performanței reale.
Răspuns: UL și Huawei emit o declarație comună
Ca răspuns la decizia UL de a elimina Huawei P20, Huawei P20 Pro, Huawei Nova 3 și Honor Play de la 3DMark, Huawei a contactat UL pentru a discuta despre cele mai bune practici pentru testarea de referință. Iată declarația care ni s-a oferit:
Huawei și UL (creatorii 3DMark) au purtat discuții cuprinzătoare despre practicile de benchmarking în această săptămână și au ajuns la un acord pozitiv cu privire la următorii pași în colaborare.
În discuție, Huawei a explicat că smartphone-urile sale folosesc un mecanism de planificare a resurselor inteligente artificiale. Deoarece diferite scenarii au nevoi diferite de resurse, cele mai recente telefoane Huawei folosesc tehnologii inovatoare, cum ar fi inteligența artificială optimizați alocarea resurselor astfel încât hardware-ul să-și poată demonstra capabilitățile în cea mai mare măsură, îndeplinind în același timp cerințele utilizatorilor în toate scenarii.
UL înțelege intenția abordării Huawei, dar se opune forțării utilizării unui „Mod de performanță” în mod implicit atunci când o aplicație de evaluare comparativă este detectată de dispozitiv. Regulile UL impun ca un dispozitiv să ruleze benchmark-ul ca și cum ar fi orice altă aplicație.
Huawei respectă dreptul consumatorilor de a alege ce să facă cu dispozitivele lor. Prin urmare, Huawei va oferi utilizatorilor acces deschis la „Modul de performanță” în EMUI 9.0, astfel încât utilizatorul să poată alege când să folosească puterea maximă a dispozitivului său.
Huawei și UL au discutat, de asemenea, actualele metodologii comune de testare de referință în general. UL și Huawei ar dori să participe la o mișcare a industriei pentru a dezvolta standarde de evaluare comparativă care să răspundă cel mai bine nevoilor producătorilor, presei și consumatorilor.
Pentru a preveni confuzia în ceea ce privește rezultatele actuale ale benchmarking-ului, după discuții, UL și Huawei au eliminat temporar benchmark-ul zeci de dispozitive Huawei și le va restabili după ce Huawei va acorda tuturor utilizatorilor de telefoane Huawei acces la Performance Modul.