Un rapport indique que Huawei a triché dans les tests de référence. En réponse, UL a supprimé les Huawei P20/P20 Pro, Huawei Nova 3 et Honor Play de 3DMark.
Les benchmarks ont toujours été un moyen populaire de mesurer les performances du matériel, tant dans l’espace PC que mobile. La tricherie sur les benchmarks se produit lorsqu'un fabricant d'appareils tente injustement de jouer avec un benchmark en rendant les résultats meilleurs qu'ils ne le sont réellement. La tricherie peut se produire dans tous les tests de référence, y compris ceux qui mesurent les performances du CPU, du système ou du GPU. L’objectif évident de la triche aux benchmarks est de convaincre les clients que le produit A est meilleur que le produit B. Malheureusement, cela signifie que les faiblesses sous-jacentes du matériel sont masquées par la triche. En termes simples, il s’agit d’une situation perdant-perdant pour toutes les parties impliquées dans l’industrie: les fournisseurs de puces, les fabricants d’appareils et, surtout, les consommateurs finaux.
La triche était monnaie courante dans le monde des PC il y a plus de dix ans, mais heureusement, cette pratique a pratiquement disparu. Dans le monde mobile, Andrei Frumusanu (maintenant rédacteur mobile chez AnandTech) découverte de la triche de référence sur la variante Exynos du Samsung Galaxy S4 en 2013. Le AnandTech Les éditeurs mobiles ont ensuite découvert différentes variétés de tricheries de référence pratiquées par de nombreux fournisseurs de smartphones. De nombreux smartphones majeurs tels que le Galaxy S4 et le Samsung Galaxy Note 3 ont même été radié des benchmarks comme 3DMark, car des sociétés telles que Futuremark ont choisi d'appeler publiquement les fabricants d'appareils.
Après avoir été dénoncés en 2013 pour ce comportement, la plupart des fabricants d'appareils ont cessé de tricher sur les benchmarks. Certains OEM comme Meizu ont toujours des modes « Performance » dans leurs interfaces utilisateur, mais ces modes sont pour la plupart configurables par l'utilisateur. L'année dernière, nous avons trouvé des preuves que OnePlus trichait dans certains benchmarks populaires tels que Geekbench. OnePlus arrêté la pratique avec le OnePlus 5T, et dans l’ensemble, la tricherie sur les benchmarks semblait être devenue une chose du passé.
Un nouveau développement a corrigé cette fausse hypothèse. AnandTech les rédacteurs Andrei Frumusanu et Ian Cutress ont a publié un rapport détaillant les cas vérifiés de tricherie de référence effectuée dans les références GPU des smartphones Huawei et Honor 2018 tels que le Huawei P20, le Huawei P20 Pro et le Honor Play.
Résumé: Les téléphones Huawei/Honor 2018 ont été surpris en train de tricher dans les benchmarks GPU
AnandTech note que dans leur avis, les performances du Huawei P20 avaient régressé par rapport au Huawei Mate 10 Pro. À cette époque, Huawei avait déclaré à la publication qu'il s'agissait d'un problème de micrologiciel, mais en réalité, ce n'était pas le cas. Les nouveaux téléphones de Huawei et Honor étaient livrés avec un mécanisme de détection de référence cela permet une limite de puissance beaucoup plus élevée pour le SoC avec une marge thermique plus élevée.
Comme l'explique AnandTech, cela signifie que pour certaines applications sur liste blanche, les derniers téléphones Huawei et Honor fonctionnent bien mieux que ce que les utilisateurs attendent d'autres logiciels similaires non sur liste blanche. Cette pratique entraîne une consommation d’énergie plus élevée, une efficacité moindre et une durée de vie réduite de la batterie.
Le résultat net est que les chiffres de performance sont supérieurs à ce qu’ils devraient réellement être. Ces chiffres sont irréalistes à atteindre pour n’importe quel utilisateur dans un véritable scénario de performances. La publication indique également que l'efficacité du SoC diminue en faisant cela, car il est "bien poussé". en dehors de sa fenêtre de fonctionnement standard. » Dans l’ensemble, cela donne au SoC une apparence pire au nom d’une référence plus élevée. Nombres.
AnandTech déclare que le comportement de référence de Huawei dépasse tout ce que la publication a vu dans le passé. La publication a utilisé des éditions personnalisées de benchmarks, afin de pouvoir tester avec et sans mode de détection. Selon eux, les énormes différences de performances entre les benchmarks accessibles au public et les versions internes qu'ils utilisent sont « absolument étonnantes ».
La réponse de Huawei à AnandTechle rapport
AnandTech s'est entretenu avec le Dr Wang Chenglu, président des logiciels du Consumer Business Group de Huawei. Le Dr Chenglu a admis que l'entreprise trichait en matière d'analyse comparative parce que "d'autres font la même chose, obtiennent des scores élevés et Huawei ne peut pas rester silencieux".
Le Dr Chenglu a déclaré que Huawei « souhaite s'associer à d'autres entreprises en Chine pour trouver la meilleure référence en matière de vérification de l'expérience utilisateur ». Il a pointé du doigt d'autres fabricants avec leurs chiffres trompeurs, citant un fabricant de smartphones populaire et anonyme en Chine comme le plus grand coupable. Selon lui, la tricherie sur les benchmarks est en train de devenir « une pratique courante en Chine » et, même si Huawei veut « s'ouvrir » aux consommateurs, ils ont du mal lorsque leurs concurrents « postent continuellement » des scores irréalistes." Huawei tente de faire face à son principal concurrent chinois, une tâche qui semble rendue difficile lorsque d'autres fabricants d'appareils produisent des scores irréalistes. Nombres.
L'objectif de Huawei est de standardiser les critères pour uniformiser les règles du jeu, et ils ont déclaré AnandTech qu'ils veulent que les médias les aident. Comme AnandTech note cependant que Huawei fait la promotion de son propre des scores irréalistes pour l’instant.
La réaction de Huawei face au AnandTech le rapport est que la société veillera à ce que les futures données de référence dans les présentations soient vérifiées de manière indépendante par des tiers au moment de l'annonce.
AnandTechles conclusions de en détail
AnandTech ont trouvé une différence surprenante dans les scores produits par leurs versions internes des benchmarks GPU par rapport aux benchmarks accessibles au public. La publication a testé le Huawei P20, le Huawei P20 Pro et le Honor Play. Tous les téléphones fonctionnent de manière presque identique en mode puissance supérieure car ils partagent le même HiSilicon Kirin 970 SoC. Cependant, les performances réelles des téléphones varient considérablement car ils ont tous des limites thermiques différentes. Les différentes limites thermiques sont dues à leurs différentes conceptions de châssis/refroidissement, comme AnandTech expliqué. Le Huawei P20 Pro possède les meilleurs thermiques (car il est plus grand et plus cher que les deux autres), et il peut donc être plus performant dans son vraie performance État.
Un point important soulevé par la publication est la différence dans la méthode de triche des benchmarks. M. Frumusanu a déclaré :
"Dans le passé, nous avons vu des fournisseurs augmenter les fréquences des SoC, ou les verrouiller à leur état maximum, augmentant ainsi les performances au-delà de ce qui est habituellement disponible pour les applications génériques. Ce que Huawei fait à la place, c'est améliorer les scores de référence en venant de l'autre côté – le les applications d'analyse comparative sont les seuls cas d'utilisation dans lesquels le SoC fonctionne réellement comme annoncé. vitesses. Pendant ce temps, toutes les autres applications du monde réel sont limitées dans une mesure nettement inférieure à cet état en raison des limitations thermiques du matériel. Ce que nous finissons par voir avec des performances sans limitation est peut-être la « vraie » forme d'un SoC sans contrainte, bien que c'est complètement académique par rapport à ce que vivent réellement les utilisateurs. " - Andrei Frumusanu et Ian Cutress, AnandTech
Les graphiques de puissance démontrent que les téléphones les plus récents de Huawei atteignent déjà 3,5 à 4,4 W dans leur véritable état de performance, tandis qu'un TDP de 3,5 W est la quantité maximale pouvant être soutenue. D'un autre côté, le téléphone passe à la vitesse supérieure avec TDP lors de l'exécution des tests de référence accessibles au public, avec des valeurs de puissance dépassant 6 W et culminant à 8,5 W. Comme l'a noté AnandTech, ces chiffres déclenchent rapidement une notification de surchauffe sur l'appareil, signifiant l'inadéquation des limites thermiques avec les attentes logicielles.
Ce qu'il faut retenir ici, c'est que les véritables chiffres de performances ne sont pas stables car ils dépendent de la température du téléphone. Huawei n'empêche pas le GPU d'atteindre son état de fréquence GPU maximal. Le comportement par défaut est en fait un « mécanisme de limitation thermique sévère [...] qui tentera de maintenir des niveaux de température du SoC et une consommation d'énergie globale nettement inférieurs ».
Le mode normal des téléphones peut atteindre les mêmes chiffres de consommation d'énergie maximale lors des tests de performances GPU que ceux affichés par les variantes non limitées. Cependant, ces chiffres reculer rapidement de manière significative, et AnandTech note que le téléphone descend à 2,2 W dans certains cas, ce qui a pour effet de réduire considérablement les performances.
La publication indique que le comportement de triche de référence semble avoir n'a été introduit que dans les appareils de cette année. Les téléphones comme le Huawei Mate 9 et le Huawei P10 ne sont pas concernés, et il semble que seuls les appareils EMUI 8.0 et plus récents soient concernés. AnandTech Huawei a également déclaré qu'il s'agissait « d'une simple implémentation logicielle », ce qui a corroboré les conclusions de la publication.
AnandTech a publié les chiffres réels des performances du GPU pour les téléphones équipés du Kirin 970 concernés, et la conclusion est que Huawei est nettement en retard sur ses concurrents en termes de performances et d'efficacité du GPU.
La publication a également publié des graphiques de comparaison de puissance pour les appareils Huawei équipés du Kirin 970 et du Kirin 960. Les graphiques montrent que les ajustements de limitation de puissance de Huawei sont en fait meilleurs pour l'expérience utilisateur car ils atténuent le problème d'une consommation d'énergie plus élevée. AnandTech's les tests du Kirin 960 ont montré qu'il avait des « caractéristiques de puissance GPU épouvantables », tandis que le Kirin Les appareils alimentés par 970 disposent d'un nouveau mécanisme de limitation strict pour réduire la consommation d'énergie et températures.
AnandTech ajoute que la nouvelle politique de limitation est logique si l'on considère le fait que le Kirin 960 et le Le Kirin 970 affiche une consommation électrique bien supérieure à ses niveaux durables pour ses facteurs de forme respectifs.
Pour être clair, Huawei n’a pas eu tort d’introduire le nouveau mécanisme de limitation. La grosse erreur ici est l’exclusion des applications de référence populaires via une liste blanche, ce que l’on appelle dans ce cas la triche de référence.
Réponse: déclaration officielle de Huawei
Huawei nous a envoyé la déclaration suivante concernant la triche des benchmarks :
Huawei donne toujours la priorité à l’expérience utilisateur plutôt qu’à la recherche de scores de référence élevés, d’autant plus qu’il n’existe pas de lien direct entre les benchmarks des smartphones et les expériences utilisateur. Les smartphones Huawei utilisent des technologies avancées telles que l'IA pour optimiser les performances du matériel, notamment du CPU, du GPU et du NPU.
Lorsque quelqu'un lance une application de photographie ou joue à un jeu graphiquement intensif, le logiciel intelligent de Huawei crée une image fluide et stable. expérience utilisateur en appliquant toutes les capacités du matériel, tout en gérant simultanément la température et la puissance de l’appareil efficacité. Pour les applications qui ne consomment pas autant d’énergie que la navigation sur le Web, il allouera uniquement les ressources nécessaires pour fournir les performances nécessaires.
Dans des scénarios d'analyse comparative normaux, une fois que le logiciel de Huawei reconnaît une application d'analyse comparative, il s'adapte intelligemment au « Mode Performance » et offre des performances optimales. Huawei prévoit de fournir aux utilisateurs un accès au « Mode Performance » afin qu'ils puissent utiliser la puissance maximale de leur appareil lorsqu'ils en ont besoin.
Huawei – en tant que leader du secteur – est disposé à travailler avec des partenaires pour trouver les meilleures normes d’analyse comparative permettant d’évaluer avec précision l’expérience utilisateur.
Ce qu’il faut retenir ici, c’est que l’entreprise est prévoyant de fournir aux utilisateurs un accès au « Mode Performance » (style Meizu) afin que les utilisateurs puissent utiliser la « puissance maximale » de leur appareil « lorsqu'ils en ont besoin."
Réponse: UL supprime les téléphones Huawei et Honor concernés de ses benchmarks
UL, après avoir acquis Futuremark (la société derrière PCMark et 3DMark), a radié les Huawei P20, Huawei P20 Pro, Huawei Nova 3 et Honor Play de 3DMark. La société a vérifié la triche des benchmarks sur le Huawei P20 Pro, le Huawei Nova 3 et le Honor Play. Sur la base de AnandTech's tests et rapports, il a également radié le Huawei P20 standard. Les utilisateurs ne pourront plus voir les résultats de référence des téléphones concernés car la société ne souhaite pas héberger des scores de référence trichés.
La société a constaté que les scores de l'application publique 3DMark étaient jusqu'à 47 % plus élevés que les scores depuis l'application privée (qui n'est pas accessible au public), malgré le fait que les tests sont identique.
Dans l'annonce, UL a ajouté qu'elle était heureuse de voir Huawei s'engager à adopter une approche plus transparente à l'avenir. Le point de vue d'UL est que les modes de performances facultatifs qui peuvent être définis par l'utilisateur sont autorisés dans le cadre de ses règles actuelles. tant qu'ils sont désactivés par défaut. La société déclare: "Un appareil doit exécuter le test comme s'il s'agissait de n'importe quelle autre application."
En conclusion, tous les benchmarks de performances des GPU Huawei qui ont été effectués à l'aide de benchmarks accessibles au public ne doivent pas être considérés comme une représentation des performances réelles.
Réponse: UL et Huawei publient une déclaration commune
En réponse à la décision d'UL de radier les Huawei P20, Huawei P20 Pro, Huawei Nova 3 et Honor Play de 3DMark, Huawei a contacté UL pour discuter des meilleures pratiques en matière de tests de référence. Voici la déclaration qui nous est proposée :
Huawei et UL (créateurs de 3DMark) ont eu cette semaine des discussions approfondies sur les pratiques d'analyse comparative et sont parvenus à un accord positif sur les prochaines étapes de leur collaboration.
Lors de la discussion, Huawei a expliqué que ses smartphones utilisent un mécanisme de planification des ressources artificiellement intelligent. Étant donné que différents scénarios nécessitent des ressources différentes, les derniers téléphones Huawei exploitent des technologies innovantes telles que l'intelligence artificielle pour optimiser l'allocation des ressources de manière à ce que le matériel puisse démontrer ses capacités au maximum, tout en répondant aux demandes des utilisateurs dans tous les domaines. scénarios.
UL comprend l'intention de l'approche de Huawei, mais s'oppose à l'utilisation forcée d'un « mode performance » par défaut lorsqu'une application d'analyse comparative est détectée par l'appareil. Les règles UL exigent qu'un appareil exécute le test de référence comme s'il s'agissait de n'importe quelle autre application.
Huawei respecte le droit des consommateurs de choisir quoi faire avec leurs appareils. Par conséquent, Huawei offrira aux utilisateurs un accès ouvert au « Mode Performance » dans EMUI 9.0, afin que l'utilisateur puisse choisir quand utiliser la puissance maximale de son appareil.
Huawei et UL ont également discuté des méthodologies de test de référence communes actuelles en général. UL et Huawei souhaitent participer à un mouvement industriel visant à développer des normes d'analyse comparative qui répondent au mieux aux besoins des fabricants, de la presse et des consommateurs.
Pour éviter toute confusion autour des résultats actuels de l'analyse comparative, après discussion, UL et Huawei ont temporairement supprimé l'évaluation comparative. des dizaines d'une gamme d'appareils Huawei, et les rétablira une fois que Huawei aura accordé à tous les utilisateurs de combinés Huawei l'accès aux performances Mode.