Un rapporto afferma che Huawei è stata trovata a imbrogliare nei benchmark. In risposta, UL ha rimosso Huawei P20/P20 Pro, Huawei Nova 3 e Honor Play da 3DMark.
I benchmark sono sempre stati un modo popolare per misurare le prestazioni dell'hardware, sia nel PC che nello spazio mobile. L'imbroglio del benchmark si verifica quando un produttore di dispositivi tenta ingiustamente di falsificare un benchmark ottenendo risultati migliori di quanto non siano in realtà. Gli imbrogli possono verificarsi in qualsiasi test di benchmark, compresi quelli che misurano le prestazioni della CPU, del sistema o della GPU. L’obiettivo ovvio di imbrogliare i benchmark è convincere i clienti che il prodotto A è migliore del prodotto B. Sfortunatamente, ciò significa che le debolezze sottostanti dell’hardware sono mascherate da trucchi. In parole povere, è una situazione in cui tutti i soggetti coinvolti nel settore subiscono perdite: fornitori di chip, produttori di dispositivi e, soprattutto, consumatori finali.
Gli imbrogli erano dilaganti nel settore dei PC più di dieci anni fa, ma per fortuna la pratica è quasi scomparsa. Nel mondo mobile, Andrei Frumusanu (ora redattore mobile di AnandTech) scoperto l'imbroglio del benchmark sulla variante Exynos del Samsung Galaxy S4 nel 2013. IL AnandTech gli editori mobile hanno poi scoperto diverse varietà di imbrogli sui benchmark eseguiti da molti fornitori di smartphone. Molti smartphone importanti come il Galaxy S4 e il Samsung Galaxy Note 3 erano alla pari cancellato dai benchmark come 3DMark, poiché aziende come Futuremark hanno deciso di denunciare pubblicamente i produttori di dispositivi.
Dopo essere stata denunciata nel 2013 per questo comportamento, la maggior parte dei produttori di dispositivi ha smesso di imbrogliare i benchmark. Alcuni OEM come Meizu hanno ancora modalità "Prestazioni" nelle loro interfacce utente, ma tali modalità sono per lo più configurabili dall'utente. L'anno scorso, abbiamo trovato prove che OnePlus stesse barando in alcuni benchmark popolari come Geekbench. OnePlus ha interrotto la pratica con OnePlus 5T e, in generale, gli imbrogli dei benchmark sembravano essere diventati un ricordo del passato.
Un nuovo sviluppo ha corretto questo falso presupposto. AnandTech gli editori Andrei Frumusanu e Ian Curess hanno ha pubblicato un rapporto dettagliando i casi verificati di imbrogli nei benchmark eseguiti nei benchmark GPU dagli smartphone Huawei e Honor del 2018 come Huawei P20, Huawei P20 Pro e Honor Play.
Riepilogo: i telefoni Huawei/Honor del 2018 sono stati sorpresi a imbrogliare nei benchmark GPU
AnandTech rileva che in la loro recensione, le prestazioni dell'Huawei P20 sono regredite rispetto all'Huawei Mate 10 Pro. All'epoca Huawei aveva riferito alla pubblicazione che si trattava di un problema del firmware, ma in realtà non era così. I telefoni più recenti di Huawei e Honor erano dotati di a meccanismo di rilevamento del benchmark ciò consente un limite di potenza molto più elevato per il SoC con un margine termico più elevato.
Come spiegato da AnandTech, ciò significa che per alcune applicazioni incluse nella whitelist, gli ultimi telefoni Huawei e Honor hanno prestazioni molto più elevate rispetto a quelle che gli utenti si aspetteranno da altri software simili non inclusi nella whitelist. Questa pratica si traduce in una maggiore potenza consumata, una minore efficienza e una durata ridotta della batteria.
Il risultato netto è che i numeri delle prestazioni sono più alti di quanto dovrebbero essere in realtà. Questi numeri non sono realistici da raggiungere per qualsiasi utente in uno scenario di prestazioni reali. La pubblicazione afferma inoltre che l'efficienza del SoC diminuisce così facendo, poiché viene "spinto bene". al di fuori della sua finestra operativa standard." Tutto sommato, fa sembrare il SoC peggiore in nome di un benchmark più alto numeri.
AnandTech afferma che il comportamento di riferimento di Huawei supera qualsiasi cosa la pubblicazione abbia visto in passato. La pubblicazione ha utilizzato edizioni personalizzate di benchmark, in modo da poter testare con la modalità di rilevamento attivata e disattivata. Nelle loro parole, le enormi differenze di prestazioni tra i benchmark disponibili al pubblico e le versioni interne utilizzate sono "assolutamente sorprendenti".
La risposta di Huawei a AnandTechil rapporto
AnandTech ha parlato con il dottor Wang Chenglu, presidente del software presso il Consumer Business Group di Huawei. Il dottor Chenglu ha ammesso che l'azienda ha imbrogliato nel benchmarking perché "gli altri fanno la stessa cosa, ottengono punteggi alti e Huawei non può restare in silenzio".
Il dottor Chenglu ha affermato che Huawei "vuole collaborare con altri in Cina per trovare il miglior punto di riferimento per la verifica dell'esperienza utente". Lui ha sottolineato che altri produttori sono fuorvianti con i loro numeri, citando un popolare produttore di smartphone cinese senza nome come il più grande colpevole. Secondo lui, l'imbroglio dei benchmark sta diventando "una pratica comune in Cina" e, sebbene Huawei voglia "aprirsi" ai consumatori, ha difficoltà quando i concorrenti "pubblicano continuamente punteggi non realistici." Huawei sta cercando di confrontarsi con la sua principale concorrenza cinese, un compito che sembra reso difficile quando altri produttori di dispositivi producono punteggi non realistici numeri.
L'obiettivo di Huawei è la standardizzazione dei benchmark per livellare il campo di gioco, e lo hanno detto AnandTech che vogliono che i media aiutino. COME AnandTech nota, tuttavia, che Huawei sta promuovendo il suo Proprio punteggi irrealistici per ora.
La reazione di Huawei alla AnandTech il rapporto è quello la società garantirà che i futuri dati di riferimento nelle presentazioni siano verificati in modo indipendente da terze parti al momento dell'annuncio.
AnandTechi risultati in dettaglio
AnandTech hanno riscontrato una differenza sorprendente nei punteggi prodotti dalle loro versioni interne dei benchmark GPU rispetto ai benchmark disponibili pubblicamente. La pubblicazione ha testato Huawei P20, Huawei P20 Pro e Honor Play. Tutti i telefoni hanno funzionato in modo quasi identico nella modalità di potenza più elevata perché condividono lo stesso HiSilicon Kirin 970 SoC. Tuttavia, le prestazioni reali dei telefoni variano in modo significativo poiché tutti hanno limiti termici diversi. I diversi limiti termici sono dovuti ai diversi design del telaio/raffreddamento, ad esempio AnandTech spiegato. L'Huawei P20 Pro ha le migliori prestazioni termiche (perché è più grande e più costoso degli altri due) e può quindi funzionare meglio prestazione vera stato.
Un punto importante sollevato dalla pubblicazione è la differenza nel metodo di imbroglio del benchmark. Il signor Frumusanu ha dichiarato:
"In passato abbiamo visto i fornitori effettivamente aumentare le frequenze del SoC, o bloccarle ai loro stati massimi, aumentando le prestazioni oltre ciò che è solitamente disponibile per le applicazioni generiche. Ciò che Huawei sta facendo invece è aumentare i punteggi dei benchmark arrivando dalla direzione opposta: quella le applicazioni di benchmarking sono gli unici casi d'uso in cui il SoC funziona effettivamente come pubblicizzato velocità. Nel frattempo, ogni altra applicazione del mondo reale viene limitata in misura significativa al di sotto di tale stato a causa delle limitazioni termiche dell'hardware. Ciò che alla fine vediamo con prestazioni illimitate è forse la "vera" forma di un SoC senza vincoli, anche se questo è del tutto accademico se paragonato a ciò che effettivamente sperimentano gli utenti." - Andrei Frumusanu e Ian Cutress, AnandTech
I grafici di potenza dimostrano che i telefoni Huawei più recenti raggiungono già 3,5-4,4 W nel loro stato di prestazione reale, mentre il TDP di 3,5 W è la quantità massima che può essere sostenuta. D'altra parte, il telefono va in overdrive con TDP quando esegue i benchmark disponibili al pubblico, con valori di potenza che superano i 6 W e raggiungono un picco di 8,5 W. Come notato da AnandTech, questi valori attivano rapidamente una notifica di surriscaldamento sul dispositivo, a indicare la mancata corrispondenza dei limiti termici con le aspettative del software.
La conclusione è che i dati reali sulle prestazioni non sono stabili in quanto dipendono dalla temperatura del telefono. Huawei non impedisce alla GPU di raggiungere il suo stato di frequenza di picco della GPU. Il comportamento predefinito è in realtà un "severo meccanismo di limitazione termica [...] che cercherà di mantenere livelli di temperatura del SoC e consumo energetico complessivo significativamente più bassi".
La modalità normale dei telefoni può raggiungere gli stessi valori di picco di consumo energetico durante i benchmark GPU di quelli pubblicati dalle varianti senza limitazioni. Tuttavia, questi numeri ricadere rapidamente in modo significativo, E AnandTech rileva che in alcuni casi il telefono rallenta fino a 2,2 W, il che ha l'effetto di ridurre significativamente le prestazioni.
La pubblicazione afferma che il comportamento di imbroglio di riferimento è apparentemente stato introdotto solo nei dispositivi di quest'anno. Telefoni come Huawei Mate 9 e Huawei P10 non sono interessati e sembra che siano interessati solo EMUI 8.0 e i dispositivi più recenti. AnandTech Huawei ha anche detto che si trattava di "puramente un'implementazione software", il che ha confermato i risultati della pubblicazione.
AnandTech ha pubblicato dati reali sulle prestazioni della GPU per i telefoni interessati alimentati dal Kirin 970 e la conclusione è questa Huawei è significativamente indietro rispetto ai suoi concorrenti sia in termini di prestazioni che di efficienza della GPU.
La pubblicazione ha anche pubblicato grafici di confronto della potenza per i dispositivi Huawei alimentati da Kirin 970 e Kirin 960. I grafici mostrano che le regolazioni della limitazione della potenza di Huawei sono in effetti migliori per l'esperienza dell'utente in quanto mitigano il problema del maggiore consumo energetico. Quello di AnandTech i test del Kirin 960 hanno dimostrato che aveva "caratteristiche di potenza della GPU terribili", mentre il Kirin I dispositivi alimentati da 970 sono dotati di un nuovo e rigoroso meccanismo di limitazione per ridurre il consumo energetico e temperature.
AnandTech aggiunge che la nuova politica di limitazione ha senso se si considera il fatto che sia il Kirin 960 che il Il Kirin 970 mostra consumi energetici molto superiori ai livelli sostenibili per i rispettivi fattori di forma.
Per essere chiari, Huawei non ha sbagliato ad introdurre il nuovo meccanismo di throttling. Il grande errore qui è l’esclusione delle applicazioni di benchmark più popolari tramite una whitelist, che in questo caso viene definita truffa del benchmark.
Risposta: dichiarazione ufficiale di Huawei
Huawei ci ha inviato la seguente dichiarazione in merito all'imbroglio del benchmark:
Huawei dà sempre priorità all'esperienza dell'utente piuttosto che perseguire punteggi di riferimento elevati, soprattutto perché non esiste una connessione diretta tra i benchmark degli smartphone e le esperienze dell'utente. Gli smartphone Huawei utilizzano tecnologie avanzate come l'intelligenza artificiale per ottimizzare le prestazioni dell'hardware, tra cui CPU, GPU e NPU.
Quando qualcuno avvia un'app di fotografia o gioca a un gioco ad alta intensità grafica, il software intelligente di Huawei crea un'esperienza fluida e stabile esperienza dell'utente applicando tutte le funzionalità dell'hardware e gestendo contemporaneamente la temperatura e la potenza del dispositivo efficienza. Per le applicazioni che non richiedono molta energia come la navigazione sul Web, assegnerà solo le risorse necessarie per fornire le prestazioni necessarie.
Nei normali scenari di benchmarking, una volta che il software Huawei riconosce un'applicazione di benchmarking, si adatta in modo intelligente alla "Modalità prestazioni" e offre prestazioni ottimali. Huawei prevede di fornire agli utenti l'accesso alla "Modalità prestazioni" in modo che possano utilizzare la massima potenza del proprio dispositivo quando necessario.
Huawei, in qualità di leader del settore, è disposta a collaborare con i partner per trovare i migliori standard di benchmarking in grado di valutare accuratamente l'esperienza dell'utente.
Il punto chiave qui è che l’azienda lo è prevedendo di fornire agli utenti l'accesso alla "Modalità prestazioni" (stile Meizu) in modo che gli utenti possano utilizzare la "massima potenza" del proprio dispositivo "quando ne hanno bisogno."
Risposta: UL rimuove dai suoi benchmark i telefoni Huawei e Honor interessati
UL, dopo aver acquisito Futuremark (la società dietro PCMark e 3DMark), ha rimosso Huawei P20, Huawei P20 Pro, Huawei Nova 3 e Honor Play da 3DMark. L'azienda ha verificato imbrogli nei benchmark su Huawei P20 Pro, Huawei Nova 3 e Honor Play. Sulla base di Quello di AnandTech test e reporting, ha anche cancellato lo standard Huawei P20. Gli utenti non saranno più in grado di visualizzare i risultati dei benchmark dei telefoni interessati poiché la società non desidera ospitare punteggi dei benchmark truffati.
L'azienda ha scoperto che i punteggi dell'app pubblica 3DMark erano fino al 47% più alti rispetto ai punteggi dall'app privata (che non è disponibile al pubblico), nonostante i test lo siano identico.
Nell’annuncio, UL ha aggiunto di essere felice di vedere Huawei impegnarsi ad adottare un approccio più trasparente in futuro. Il punto di vista di UL è che le modalità di prestazione opzionali che possono essere impostate dall'utente sono consentite dalle regole attuali purché siano disabilitati per impostazione predefinita. L'azienda afferma: "Un dispositivo deve eseguire il benchmark come se fosse qualsiasi altra applicazione."
In conclusione, tutti i benchmark delle prestazioni delle GPU Huawei effettuati utilizzando benchmark disponibili al pubblico non devono essere considerati una rappresentazione delle prestazioni effettive.
Risposta: UL e Huawei rilasciano una dichiarazione congiunta
In risposta alla decisione di UL di rimuovere Huawei P20, Huawei P20 Pro, Huawei Nova 3 e Honor Play da 3DMark, Huawei ha contattato UL per discutere le migliori pratiche per i test benchmark. Ecco la dichiarazione che ci viene offerta:
Huawei e UL (i creatori di 3DMark) hanno tenuto discussioni approfondite sulle pratiche di benchmarking questa settimana e hanno raggiunto un accordo positivo sui prossimi passi nella collaborazione.
Nella discussione, Huawei ha spiegato che i suoi smartphone utilizzano un meccanismo di pianificazione delle risorse artificiale e intelligente. Poiché scenari diversi hanno esigenze di risorse diverse, gli ultimi telefoni Huawei sfruttano tecnologie innovative come l’intelligenza artificiale ottimizzare l'allocazione delle risorse in modo tale che l'hardware possa dimostrare le proprie capacità al massimo, soddisfacendo al contempo le richieste degli utenti in generale scenari.
UL comprende l'intento dell'approccio di Huawei, ma è contraria a forzare l'uso di una "modalità prestazioni" per impostazione predefinita quando un'applicazione di benchmarking viene rilevata dal dispositivo. Le norme UL richiedono che un dispositivo esegua il benchmark come se fosse qualsiasi altra applicazione.
Huawei rispetta il diritto dei consumatori di scegliere cosa fare con i propri dispositivi. Pertanto, Huawei fornirà agli utenti accesso aperto alla “Performance Mode” in EMUI 9.0, in modo che l'utente possa scegliere quando utilizzare la massima potenza del proprio dispositivo.
Huawei e UL hanno anche discusso le attuali metodologie di test benchmark comuni in generale. UL e Huawei vorrebbero partecipare a un movimento industriale per sviluppare standard di benchmarking che soddisfino al meglio le esigenze di produttori, stampa e consumatori.
Per evitare confusione sugli attuali risultati del benchmarking, dopo la discussione, UL e Huawei hanno temporaneamente rimosso il benchmark decine di una serie di dispositivi Huawei e li ripristinerà dopo che Huawei avrà concesso a tutti gli utenti dei telefoni Huawei l'accesso alle Prestazioni Modalità.