Il OnePlus 5 sta nuovamente prendendo parte ad un imbroglio dei benchmark nel tentativo di ingannare recensori e clienti. Scopri come hanno fatto nel nostro articolo di approfondimento!
All'inizio di quest'anno, noi ha pubblicato un rapporto che denunciava OnePlus (e altre società) per il loro comportamento improprio in merito alla manipolazione dei benchmark sulle build più recenti di OxygenOS. Oggi dobbiamo purtroppo dare seguito alle nostre accuse poiché la società ha ancora una volta manipolato in modo inappropriato i punteggi dei benchmark nel OnePlus5.
Sebbene nessun cliente abbia un dispositivo in mano (dopotutto è appena stato lanciato), siamo venuti a conoscenza del nuovo meccanismo di cheat benchmark di OnePlus attraverso la nostra unità di revisione, che abbiamo ricevuto circa dieci giorni fa, prima del giorno in cui l'embargo verrà interrotto e i revisori potranno riferire sul dispositivo. Sfortunatamente, è quasi certo che ogni singola recensione di OnePlus 5 che contiene un benchmark utilizza risultati fuorvianti
Prima di entrare nei dettagli, vorrei dire che siamo delusi dal fatto che l'azienda ricorra ancora una volta a queste pratiche. Inoltre, non forniremo un'analisi completa delle prestazioni coinvolgendo tutti i nostri test inclusi poiché molti dei nostri benchmark preferiti sono influenzati dal meccanismo di imbroglio. Infine, divideremo questo rapporto in compartimenti rispetto al nostro giudizio complessivo sul dispositivo stesso, perché siamo fiduciosi il codice colpevole verrà rimosso dalle build consumer in seguito a questo rapporto e alle nostre conversazioni con OnePlus rappresentanti. Anche se non crediamo a questo articolo di approfondimento necessariamente dovrebbe alterare la tua percezione dell'hardware stesso, è giusto che cambi la tua opinione sull'azienda dato che è la loro seconda trasgressione.
Una breve parola sulla metodologia
Tutti i punteggi in questo articolo sono stati ottenuti su un'unità di prova OnePlus 5 con OxygenOS versione 4.5.0 (A5000_22_170603); questa è un'unità di pre-produzione ed era originariamente caricata con software di pre-produzione che ha ricevuto un OTA per la versione sopra menzionata. OnePlus ha inoltrato ai revisori le istruzioni per abilitare la possibilità di scaricare le applicazioni benchmark nel Play Store, e presumibilmente ciò è stato fatto in modo che non ci fossero perdite di punteggi di riferimento in anticipo tempo. Mi ha indotto a capire il fatto che OnePlus si riferisse ai pacchetti benchmark per nome nella loro ROM. Per quanto riguarda i test, la ROM aveva processi in background minimi senza applicazioni di terze parti e utilizzava la modalità aereo ove applicabile; Le frequenze della CPU sono state registrate solo per determinare l'entità dell'imbroglio e non nei test che hanno prodotto punteggi per questo articolo. Tutte le temperature sono state misurate utilizzando a FLIR C2 Compatta con ogni corsa di resistenza che inizia ad una temperatura esterna di 28,5°C | 83,3°F.
Manipolazione dei benchmark: come è fatta
Lo scorso gennaio, il nostro rapporto ha portato alla luce un meccanismo di cheat trovato nelle build OxygenOS Beta e nel software di spedizione del OnePlus 3T. Abbiamo attribuito questi cambiamenti al recente fusione degli allora disparati OxygenOS e HydrogenOS team di sviluppatori e la base di codice sottostante di OxygenOS che ora doveva essere condivisa con HydrogenOS, sebbene questa speculazione debba ancora essere confermata. All'epoca per noi aveva senso e i commenti dei rappresentanti OnePlus rivolti agli sviluppatori XDA hanno aggiunto credibilità alla nostra teoria. Con OnePlus 5 vediamo un diverso tipo di meccanismo di cheat, ma non possiamo individuare se questo sia stato introdotto consapevolmente dagli stessi sviluppatori che lo hanno aggiunto la prima volta. Sappiamo solo che prende di mira gli stessi pacchetti.
Allora come funziona e qual è la differenza? L'ultima volta, OnePlus ha introdotto modifiche al comportamento della propria ROM ogni volta che rilevava l'apertura di un'applicazione benchmark. Tali nomi di applicazioni erano esplicitamente elencati in base agli ID del pacchetto all'interno della ROM in un manifest che specificava le destinazioni. Quindi, la ROM altererebbe la frequenza in relazione a un carico della CPU modificato: i nostri strumenti hanno mostrato che il carico della CPU scenderebbe allo 0% indipendentemente da attività evidente all'interno dell'applicazione e la CPU vedrebbe una frequenza quasi minima di 1,29 GHz nei core più grandi e 0,98 GHz in quelli piccoli nuclei. Questa frequenza minima ha ridotto la gamma di frequenza effettiva, che a sua volta ha ridotto il numero di frequenze di gradino; nei benchmark, ciò ha comportato una varianza leggermente inferiore e, come abbiamo mostrato, prestazioni più elevate e sostenute poiché la frequenza minima più elevata non può essere superata dalla limitazione termica. In breve, il comportamento di imbroglio era chiaro e dimostrabile sia osservando la varianza del punteggio, sia monitorando le frequenze della CPU durante il gioco benchmark, che ha mostrato una frequenza minima che, nella maggior parte dei casi, ha permesso al dispositivo di raggiungere costantemente un punteggio più vicino al suo pieno potenziale.
OnePlus 5, d'altra parte, è una bestia completamente diversa: ricorre a meccanismi di imbroglio ovvi e calcolati abbiamo visto nei flagship degli albori di Android, un approccio chiaramente inteso a massimizzare i punteggi nei momenti più fuorvianti moda. Anche se non ci sono cambi di direzione quando un utente accede a un benchmark (almeno, non ci sembra). Vedere in questo caso), la frequenza minima del piccolo cluster salta alla frequenza massima come visto nei regolatori delle prestazioni. Tutti i piccoli core vengono influenzati e mantenuti a 1,9 GHz, ed è attraverso questo trucco che OnePlus ottiene alcuni dei più alti GeekBench 4 punteggi di uno Snapdragon 835 fino ad oggi - e probabilmente il più alto ottenibile data la sua configurazione senza compromessi con la sua specifica configurazione. Punteggi sicuramente più alti di quelli ottenuti da dispositivi simili e dal dispositivo di test MSM8998 di Qualcomm che abbiamo avuto la fortuna di confrontare. Di seguito è riportato un elenco delle applicazioni benchmark interessate:
- AnTuTu (com.antutu.benchmark.full)
- Androbench (com.andromeda.androbench2)
- Geekbench 4 (com.primatelabs.geekbench)
- GFXBench (com.glbenchmark.glbenchmark27)
- Quadrante (com.aurorasoftworks.quadrant.ui.standard)
- Nenamark 2 (se.nena.nenamark2)
- Velamo (com.quicinc.vellamo)
Ciò che non è del tutto sorprendente è le applicazioni interessate sono esattamente le stesse dell'ultima voltae OnePlus punta chiaramente agli stessi pacchetti. La differenza nei punteggi è proprio quello che ti aspetteresti, per la maggior parte. Siamo stati in grado di falsificare l'imbroglio del benchmark ed eluderlo con GeekBench 4, in modo simile ai nostri test nel nostro ultimo rapporto. Abbiamo scoperto che durante l'esecuzione di GeekBench 4 dal Play Store, il dispositivo ha ottenuto oltre 6.700 punti in multi-core, anche se non abbiamo mai ottenuto un punteggio di 6.500 quando il dispositivo si comporta come previsto con la nostra build nascosta GeekBench. Di seguito puoi vedere un grafico della frequenza nel tempo per il piccolo cluster di OnePlus 5 durante l'esecuzione di GeekBench 4 dal Play Store, e la stessa configurazione che esegue una build di GeekBench 4 priva di identificatori in grado di ingannare gli imbrogli di OnePlus meccanismo.
Nel caso in cui non fosse evidente dal grafico sopra: abbiamo interrogato la frequenza della CPU ogni 100 ms e, in totale, solo il 24,4% delle letture ha restituito la frequenza massima di 1,9 Ghz quando si disabilitano i cheat. Nel frattempo, la corsa con i trucchi abilitati ha trascorso uno sbalorditivo 95% delle letture nel suo stato di frequenza massima. È assolutamente evidente che OnePlus mantiene artificialmente alte le frequenze della CPU di questi core durante il benchmark, il che si traduce in valori significativamente più alti punteggi complessivi nel test multi-core e si manifesta anche in vari sottopunteggi legati alla CPU nella suddivisione dettagliata di ogni test (in particolare in numeri interi e mobili) operazioni). La differenza è più chiara e vantaggiosa nei punteggi multi-core, tuttavia, e i risultati single-core sono in realtà sorprendentemente simili tra le esecuzioni con e senza cheat del benchmark, con il punteggio single core effettivamente più alto in media senza manipolazione.
Tuttavia, il multi-core è la cifra che la maggior parte delle persone considera e nota immediatamente quando si tratta di questo benchmark specifico Android è un sistema operativo altamente parallelo che ora è pieno di applicazioni multi-thread dopo anni di supporto per molteplici nuclei. Anche se l’aumento fosse significativo solo nei benchmark e nei test multi-thread, risulterebbe comunque in un notevole e ingiusto e un vantaggio non rappresentativo rispetto ad altri dispositivi che consentono al loro regolatore standard e alle impostazioni delle prestazioni di funzionare sotto il segno di riferimento; questi risultati alterati non sono in alcun modo rappresentativi delle prestazioni reali del OnePlus 5, così come sono che riflette una prestazione massima e altrimenti irraggiungibile del dispositivo in condizioni artificiali e senza vincoli.
Il delta del punteggio Multi Core tra i punteggi durante l'esecuzione di GeekBench 4 con e senza il meccanismo di cheat può arrivare fino al 6,5%, anche se in media è di circa il 5%. Potrebbe Aspetto insignificante, ma quella spinta è sufficiente per spingere il dispositivo davanti agli altri dispositivi Snapdragon 835. Sopra puoi vedere un diagramma a punti di più esecuzioni indipendenti di GeekBench 4 con e senza il meccanismo di cheat. Il divario è evidente e, come si può dedurre dal boxplot, non può essere il risultato di una varianza intrinseca. In breve, aumentare artificialmente le frequenze della CPU produce effettivamente risultati molto migliori nei benchmark sintetici.
Di seguito puoi vedere un grafico delle prestazioni nel tempo con le relative temperature, come volevamo determinare se sia in gioco anche il rilassamento termico o se ci sia stata una differenza nei punteggi durante il periodo sostenuto Analisi comparativa.
Abbiamo impostato i test GeekBench 4 con una pausa di due secondi tra la schermata dei risultati e l'inizio di un'altra esecuzione del benchmark; la temperatura del dispositivo esterno (non la temperatura della batteria come riportato da Android) è stata misurata utilizzando una sonda termica FLIR fotocamera dopo un secondo di calibrazione, calcolando la media delle tre misurazioni immediate nei due secondi intermedi corre. Sono rimasto piuttosto sorpreso nel vedere che, nel complesso, questi due dispositivi si sono riscaldati più o meno alla stessa velocità e nessuno dei due ha notato un calo del punteggio. Tutti i risultati in ciascun set di dati rientrano nella varianza prevista, suggerendo che non è in gioco alcuna limitazione termica. Ad un esame più attento, questo non dovrebbe davvero sorprendere, date le prestazioni sostenute uno dei punti di forza intrinseci dei core Cortex-A73 su cui si basano i core Kryo dello Snapdragon 835 SU. I core interessati sono quelli ad alta efficienza energetica e il fatto che GeekBench 4 venga fornito specificamente misure per prevenire la limitazione che altera i punteggi dei sotto-test verso la fine di una corsa, lo è qualcosa abbiamo imparato dalla nostra intervista con John Poole.
È interessante notare che non tutti i benchmark più diffusi sono presi di mira dal meccanismo di cheat di OnePlus. 3DMark, ad esempio, non ha riscontrato nessuno di questi problemi durante l'esecuzione dei test o anche durante l'apertura dell'applicazione. Tuttavia, altri benchmark come GFXBench sono presi di mira e vediamo lo stesso comportamento della CPU quando li apriamo e li eseguiamo. Infatti, durante una prestazione prolungata utilizzando il Manhattan Battery Test di GFXBench, OnePlus 5 ha raggiunto temperature superiori a 50°C | 122°F (temperatura esterna), a evento molto raro tra i dispositivi che ho testato in passato, i quali presentano tutti un certo grado di limitazione termica che impedisce loro di ottenere tale risultato caldo.
Ingannami una volta, vergognami; Ingannami due volte, vergognati
È un po’ sconvolgente che si sia arrivati al punto di dover denunciare due volte la stessa azienda per aver manipolato i punteggi dei benchmark. Il fatto che tutto ciò sia stato fatto anche sulle unità di revisione aggrava ulteriormente il problema: questo meccanismo di imbroglio ha lo scopo di massimizzare le prestazioni e far apparire il dispositivo migliore o più veloce nelle sezioni relative alle prestazioni delle recensioni. Il sistema di targeting e manipolazione è stato confezionato in unità di pre-produzione inviate ai giornalisti che ne baseranno il lavoro risultati sul proprio dispositivo da OnePlus, molti di loro non sono stati in grado o non sono disposti a verificare l'esistenza di imbrogli nel loro unità di revisione. Non è affatto colpa loro, ma XDA è alla ricerca di manipolazioni dei benchmark solo perché l'abbiamo trovata in passato e abbiamo pensato che fosse meglio informare i nostri lettori e potenziali acquirenti di telefoni.
Ci auguriamo che questo articolo possa riaccendere una conversazione più ampia sui benchmark, sul loro ruolo e sulla loro utilità nelle recensioni degli smartphone di oggi. Non commettere errori, aziende come Qualcomm e Samsung Fare si preoccupano dei benchmark e li considerano un modo valido, anche se incompleto, per consentire ai clienti di giudicare prestazioni dei propri dispositivi anche se dispongono di strumenti più sofisticati a cui fare riferimento durante lo sviluppo dei propri processori. In definitiva, i benchmark possono essere di grande importanza se si capisce cosa sta misurando il software e in che misura i suoi risultati possono essere utilizzati per dedurre la classifica di un particolare processore, una particolare configurazione hardware o, in termini più olistici, un telefono specifico con i cambiamenti di comportamento introdotti dal suo software come BENE. Penso che siamo arrivati a un momento in cui è più importante concentrarsi sulle prestazioni nel mondo reale e sull'efficienza energetica piuttosto che sul calcolo o sull'elaborazione grezzi abilità, perché è ovviamente chiaro a questo punto che il collo di bottiglia per le prestazioni nel mondo reale deriva da Android e da particolari implementazioni di esso da parte OEM.
Tornando a OnePlus, non so davvero perché il team software dell'azienda, e quale parte specifica del team software, abbia reintrodotto la manipolazione dei benchmark dopo essere stato richiamato. Questa volta è peggio, con l'apparente scopo di gonfiare i punteggi prodotti dai portatili dei recensori. OnePlus 5 è ancora un dispositivo incredibilmente performante che non ha davvero bisogno di imbrogliare i benchmark per fare una dichiarazione - davvero, sono rimasto stupito dalla sua fluidità e generale reattività e dopo aver trascorso del tempo con i dispositivi dell'azienda e dopo le interviste e le conversazioni con il loro management mi è chiaro che sanno che le prestazioni sono un aspetto forte di i loro telefoni. È una mossa calcolata, molto probabilmente, poiché avrebbero potuto capire che valeva la pena infastidire un piccolo settore del principalmente il lato occidentale del mercato degli appassionati, forse per ricoprire Internet con i punteggi di riferimento più alti potrebbe radunarsi. In ogni caso, spero sinceramente che l'azienda risolva questo errore poiché, anche se ho grandi cose da dire sul loro hardware, hanno iniziato il rilascio con il piede sbagliato nei miei occhi.
Dichiarazione di OnePlus
Abbiamo contattato OnePlus per un commento su questo problema, ed ecco cosa hanno da dire:
Le persone utilizzano app di benchmark per accertare le prestazioni del proprio dispositivo e vogliamo che gli utenti vedano le reali prestazioni di OnePlus 5. Pertanto, abbiamo consentito l'esecuzione delle app benchmark in uno stato simile all'utilizzo quotidiano, inclusa l'esecuzione di app e giochi ad uso intensivo di risorse. Inoltre, quando si avviano le app, OnePlus 5 funziona in uno stato simile per aumentare la velocità di apertura delle app. Non stiamo overclockando il dispositivo, piuttosto mostriamo il potenziale prestazionale del OnePlus 5.
Questa affermazione che abbiamo ricevuto stamattina è un po' scioccante da sentire, poiché l'imbroglio del benchmark mette il dispositivo in uno stato in cui esplicitamente no il modo in cui funzionerà il dispositivo nell'utilizzo quotidiano e rappresenta prestazioni che non vedrai in altre app che non sono specificatamente mirate a tali potenziamenti.
Tieni presente che, a differenza dell'overclocking competitivo, la maggior parte dei benchmark dei telefoni sono progettati per rappresentare il modo in cui funzionerà un telefono nell'uso quotidiano. Non si tratta solo di un punteggio per cercare di ottenere i massimi risultati possibili, ma piuttosto di un tentativo di rappresentare le prestazioni del telefono con profili termici e utilizzo della batteria regolari. Un tentativo di rappresentare il funzionamento effettivo del telefono nell'uso quotidiano. Questi benchmark non sono progettati per misurare un “potenziale di prestazione” che non è realizzabile nel mondo reale utilizzare e qualsiasi tentativo di prenderli di mira con codice cheat di benchmark in stile "dispositivo di disattivazione" è fuorviante per gli utenti. Se blocchi la velocità dell'orologio della CPU al valore massimo e consenti alla temperatura corporea del telefono di aumentare fino a diventare inutilizzabile livelli quando vengono aperte determinate app, ciò non è indicativo di come funzionerà il telefono nella realtà utilizzo.
Mentre il profilo termico era relativamente normale nel Geekbench 4 con CPU pesanti, dove le fantastiche prestazioni sostenute dei core Kryo 280 basati su ARM Cortex-A73 consentono telefono per funzionare ai livelli di utilizzo della batteria aumentati che l'imbroglio del benchmark ha portato senza surriscaldarsi, abbiamo visto una storia completamente diversa con le app ad uso intensivo di GPU. Come accennato, durante i test sulle prestazioni sostenute con il Manhattan Battery Test di GFXBench, OnePlus 5 ha raggiunto temperature intorno ai 50°C | 122°F (temperatura esterna), che è rovente per un telefono, ed è completamente scomodo da tenere. Tentativo di giocare ai videogiochi o di utilizzare altre app che richiedono un uso intensivo della GPU con una temperatura di 50°C | Un telefono a 122°F sarebbe semplicemente un'esperienza utente scadente.
Anche se OnePlus prendesse di mira anche app non benchmark con il proprio codice cheat benchmark, sarebbe comunque un problema, poiché significherebbe che le prestazioni che vedi in le app intensive di oggi saranno completamente diverse da quelle che vedi nelle app attuali che non sono nell'elenco o nelle future app intensive una volta che OnePlus smetterà di aggiornare l'elenco. Ciò potrebbe essere modificato consentendo agli utenti di inserire nella whitelist le applicazioni che beneficiano di potenziamenti nascosti visualizzare in modo trasparente quelli che traggono vantaggio dall'impostazione predefinita: lo abbiamo suggerito con il nostro ultimo rapporto, ma non è stato così implementato.
Siamo delusi dalle azioni di OnePlus in questa materia e speriamo che OnePlus, per la seconda volta, rimuova il codice cheating del benchmark dal proprio software. Rappresenta in modo errato il loro telefono ai propri clienti e non è il tipo di comportamento che ci piace vedere con dispositivi altrimenti fantastici come OnePlus 3T e OnePlus 5.
DICHIARAZIONE AGGIORNATA
OnePlus ha fornito un comunicato aggiornato che spiega meglio la propria posizione sull'argomento:
"Abbiamo impostato OnePlus 5 per eseguire benchmark a un livello di prestazioni elevato che sia naturale e sostenibile per tutti dispositivi, media e consumer, in modo che gli utenti possano vedere il vero potenziale del dispositivo, quando eseguono app ad uso intensivo di risorse e Giochi. In nessun momento overclockiamo la CPU, né impostiamo un limite di frequenza della CPU.
Siamo certi che il nostro approccio mostri al meglio le reali capacità prestazionali di OnePlus 5."
La dichiarazione afferma correttamente che non è coinvolto alcun overclocking (che sarebbe un gradino sopra il loro attuale meccanismo, in termini di produzione di punteggi illegittimi), e non esiste una soglia minima di frequenza della CPU come quella che abbiamo effettivamente visto ultima volta. Attraverso questa affermazione e dopo le conversazioni con i rappresentanti di OnePlus, mi è chiaro che non l'hanno fatto hanno implementato questo meccanismo per pura malizia, ma perché volevano mostrare le "capacità" prestazionali del dispositivo. Ma, ancora una volta, dobbiamo sottolineare che il termine “capacità” qui (e ad esse) si riferisce al potenziale di picco, e non al potenziale di picco l'effettivo livello di prestazione che l'esperienza dell'utente è destinata a fornire attraverso la frequenza tradizionale ridimensionamento. Che tu sia d'accordo o in disaccordo, è confermato che questa manipolazione dei benchmark rimarrà, anche se ne abbiamo suggerito la possibilità di rendere tale profilo prestazionale accessibile all'utente per applicazioni selezionate, e credo che OnePlus sia ricettivo a questo idea. Ci sono altre aziende che rendono tali modifiche accessibili all'utente, tra cui HTC e Samsung, attraverso le loro soluzioni ruotano principalmente attorno alla riduzione del consumo energetico (sebbene le modifiche alla risoluzione per app aumentino le prestazioni nei giochi, pure).
Resta il fatto che i produttori di benchmark, gli ingegneri Android e gli appassionati vedono questi meccanismi come ingiusti, non rappresentativi della esperienza utente, un po' ingannevole e, in definitiva, uno spreco di risorse che avrebbero potuto essere destinate ad un altro aspetto dello sviluppo del prodotto. Se vuoi vedere quanto OnePlus 5 può spingere il suo hardware, probabilmente sarai d'accordo con la decisione di OnePlus. Se vuoi vedere come si confronta la combinazione di hardware e software standard di OnePlus 5 con altri dispositivi hardware simile, sei sfortunato, perché manipolare le frequenze della CPU in questo modo fa ottenere punteggi completamente incommensurabile.
Infine, e a rischio di sembrare polemico, vorrei anche soffermarmi un momento per menzionare qualcosa che mi ha dispiaciuto riguardo alla ricezione di questo rapporto: è stato condiviso in tutto il mondo migliaia di volte e ribloggato anche da migliaia di punti vendita, ma il suo messaggio e i dettagli sono avvolti nella nebbia o abbandonati completamente il modo. Ho visto una copertura così palese e spaventosa di questo articolo, con termini terribili false dichiarazioni su ciò che abbiamo detto, ciò che abbiamo trovato, il meccanismo stesso e la dichiarazione di OnePlus e piani per il futuro. In effetti, ecco alcune cose che voglio che questi blog sappiano: OnePlus non ha "manomesso" le unità di revisione; la questione si estende anche alle unità di consumo; è una decisione consapevole di OnePlus; no, non ci hanno detto che sarebbe cambiato; la limitazione termica potrebbe essere ridotta, ma il telefono non è a rischio di esplosione; non esiste un "cheat code"; siamo effettivamente soddisfatti delle effettive prestazioni del dispositivo, non distorcere le nostre parole; Qualcomm non ha nulla a che fare con questo; non abbiamo mai "svergognato" HTC e Samsung nei nostri report, li abbiamo menzionati di sfuggita e per contesto nel nostro primo articolo, a causa di un incidente molto più vecchio. Questa è solo una piccola parte degli errori comuni che vorrei poter affrontare. Troppi articoli e video che abbiamo visto contenevano un difetto fondamentale e un malinteso che, a nostro avviso, massacrano le ore di attenta raccolta e analisi dei dati confluite in questo articolo. Quel che è peggio, il problema si aggrava quando leggiamo blog indiani o cinesi che distruggono ulteriormente le nostre scoperte a causa delle difficoltà intrinseche della traduzione. In definitiva, siamo estremamente delusi dalla gestione di questo rapporto da parte dei media tecnologici, in particolare da coloro che hanno utilizzato la nostra conclusione per scrivere "pezzi di successo" contro OnePlus, cosa che in realtà non avevamo mai inteso. Lo abbiamo detto sopra, lo abbiamo detto nelle nostre prime impressioni, e lo abbiamo detto ancora: il prodotto in sé è buono, le prestazioni sono fenomenali.