Einem Bericht zufolge wurde festgestellt, dass Huawei bei Benchmarks schummelt. Als Reaktion darauf hat UL das Huawei P20/P20 Pro, das Huawei Nova 3 und das Honor Play von 3DMark entfernt.
Benchmarks waren schon immer eine beliebte Methode, um die Leistung von Hardware zu messen, sowohl im PC- als auch im mobilen Bereich. Von Benchmark-Betrug spricht man, wenn ein Gerätehersteller auf unfaire Weise versucht, einen Benchmark auszutricksen, indem er dafür sorgt, dass die Ergebnisse besser abschneiden, als sie tatsächlich sind. Betrug kann bei allen Benchmark-Tests vorkommen, auch bei solchen, die die CPU-, System- oder GPU-Leistung messen. Das offensichtliche Ziel des Schummelns bei Benchmarks besteht darin, Kunden davon zu überzeugen, dass Produkt A besser ist als Produkt B. Leider bedeutet dies, dass zugrunde liegende Schwächen der Hardware durch Betrug maskiert werden. Vereinfacht gesagt handelt es sich um eine Situation, in der alle Beteiligten in der Branche verlieren müssen: Chiphersteller, Gerätehersteller und vor allem Endverbraucher.
Betrug war vor mehr als einem Jahrzehnt im PC-Bereich weit verbreitet, aber zum Glück hat die Praxis größtenteils aufgehört. In der mobilen Welt, Andrei Frumusanu (jetzt mobiler Redakteur bei AnandTech) Benchmark-Cheating entdeckt auf der Exynos-Variante des Samsung Galaxy S4 im Jahr 2013. Der AnandTech Mobile-Redakteure entdeckten dann verschiedene Arten von Benchmark-Betrug, die von vielen Smartphone-Anbietern begangen wurden. Etliche große Smartphones wie das Galaxy S4 und das Samsung Galaxy Note 3 waren sogar dabei aus den Benchmarks gestrichen wie 3DMark, da sich Unternehmen wie Futuremark dafür entschieden haben, die Gerätehersteller öffentlich anzuprangern.
Nachdem sie 2013 wegen dieses Verhaltens zur Verantwortung gezogen wurden, haben die meisten Gerätehersteller mit dem Benchmark-Schummeln aufgehört. Einige OEMs wie Meizu In ihren Benutzeroberflächen gibt es immer noch „Leistungs“-Modi, diese Modi sind jedoch größtenteils vom Benutzer konfigurierbar. Letztes Jahr, Wir haben Hinweise darauf gefunden, dass OnePlus bei einigen beliebten Benchmarks wie Geekbench betrogen hat. OnePlus beendete die Praxis mit Beim OnePlus 5T schien Benchmark-Schummeln im Großen und Ganzen der Vergangenheit anzugehören.
Eine neue Entwicklung hat diese falsche Annahme korrigiert. AnandTech Die Herausgeber Andrei Frumusanu und Ian Cutress haben einen Bericht veröffentlicht Detaillierte Beschreibung verifizierter Benchmark-Betrugsfälle bei GPU-Benchmarks von Huawei- und Honor-Smartphones aus dem Jahr 2018 wie dem Huawei P20, dem Huawei P20 Pro und dem Honor Play.
Zusammenfassung: Huawei/Honor-Telefone aus dem Jahr 2018 wurden bei GPU-Benchmarks beim Schummeln erwischt
AnandTech stellt fest, dass in ihre RezensionDie Leistung des Huawei P20 war im Vergleich zum Huawei Mate 10 Pro zurückgegangen. Damals teilte Huawei in der Veröffentlichung mit, dass es sich um ein Firmware-Problem handele, doch in Wirklichkeit war das nicht der Fall. Die neueren Telefone von Huawei und Honor waren mit einem ausgestattet Benchmark-Erkennungsmechanismus Dies ermöglicht eine viel höhere Leistungsgrenze für den SoC mit einem höheren thermischen Spielraum.
Wie erklärt von AnandTechDies bedeutet, dass die neuesten Huawei- und Honor-Telefone bei bestimmten Anwendungen auf der Whitelist eine viel höhere Leistung erbringen als Benutzer, die sie von anderer ähnlicher Software erwarten würden, die nicht auf der Whitelist steht. Diese Vorgehensweise führt zu einem höheren Stromverbrauch, einer geringeren Effizienz und einer kürzeren Batterielebensdauer.
Das Endergebnis ist, dass die Leistungszahlen höher sind, als sie eigentlich sein sollten. Es ist unrealistisch, diese Zahlen für einen Benutzer in einem echten Leistungsszenario zu erreichen. In der Veröffentlichung heißt es außerdem, dass dadurch die Effizienz des SoC abnimmt, da dieser „gut gepusht“ wird außerhalb seines Standardbetriebsfensters.“ Alles in allem lässt es den SoC zugunsten eines höheren Benchmarks schlechter aussehen Zahlen.
AnandTech gibt an, dass das Benchmark-Verhalten von Huawei alles übertrifft, was die Veröffentlichung in der Vergangenheit gesehen hat. In der Veröffentlichung wurden benutzerdefinierte Editionen von Benchmarks verwendet, sodass Tests mit ein- und ausgeschaltetem Erkennungsmodus durchgeführt werden können. Die massiven Leistungsunterschiede zwischen den öffentlich verfügbaren Benchmarks und den von ihnen verwendeten internen Versionen seien „absolut erstaunlich“, sagen sie.
Huaweis Antwort auf AnandTech's Bericht
AnandTech sprach mit Dr. Wang Chenglu, Präsident für Software bei der Consumer Business Group von Huawei. Dr. Chenglu gab zu, dass das Unternehmen beim Benchmarking schummelte, weil „andere das Gleiche tun, hohe Punktzahlen erzielen und Huawei nicht schweigen kann.“
Dr. Chenglu erklärte, dass Huawei „mit anderen in China zusammenarbeiten möchte, um den besten Verifizierungsmaßstab für die Benutzererfahrung zu finden.“ Er wies darauf hin, dass andere Hersteller mit ihren Zahlen in die Irre geführt hätten, und nannte einen namentlich nicht genannten beliebten Smartphone-Hersteller in China als den größten Schuldiger. Ihm zufolge werde Benchmark-Betrug „in China zur gängigen Praxis“, und während Huawei sich den Verbrauchern „öffnen“ wolle, habe man Probleme, wenn Konkurrenten „ständig posten“. unrealistische Ergebnisse.“ Huawei versucht, sich gegen seine große chinesische Konkurrenz durchzusetzen, eine Aufgabe, die scheinbar erschwert wird, wenn andere Gerätehersteller unrealistische Ergebnisse erzielen Zahlen.
Das Ziel von Huawei sei die Standardisierung von Benchmarks, um gleiche Wettbewerbsbedingungen zu schaffen, hieß es AnandTech dass sie wollen, dass die Medien helfen. Als AnandTech stellt jedoch fest, dass Huawei seine Werbung vorantreibt eigen vorerst unrealistische Ergebnisse.
Huaweis Reaktion auf die AnandTech Bericht ist das Das Unternehmen stellt sicher, dass zukünftige Benchmark-Daten in Präsentationen zum Zeitpunkt der Ankündigung unabhängig von Dritten überprüft werden.
AnandTechDie Ergebnisse im Detail
AnandTech fanden einen überraschenden Unterschied in den Ergebnissen ihrer internen Versionen der GPU-Benchmarks im Vergleich zu den öffentlich verfügbaren Benchmarks. Die Veröffentlichung testete das Huawei P20, das Huawei P20 Pro und das Honor Play. Alle Telefone schnitten im höheren Energiemodus nahezu identisch ab, da sie dasselbe HiSilicon verwenden Kirin 970 SoC. Die tatsächliche Leistung der Telefone variiert jedoch erheblich, da sie alle unterschiedliche thermische Grenzwerte haben. Die unterschiedlichen thermischen Grenzwerte sind auf die unterschiedlichen Gehäuse-/Kühldesigns zurückzuführen AnandTech erklärt. Das Huawei P20 Pro verfügt über die beste Thermik (weil es größer und teurer als die anderen beiden ist) und kann daher in seinem Gehäuse eine bessere Leistung erbringen wahre Leistung Zustand.
Ein wichtiger Punkt, der in der Veröffentlichung angesprochen wird, ist der Unterschied in der Methode des Benchmark-Betrugs. Herr Frumusanu erklärte:
„In der Vergangenheit haben wir gesehen, dass Anbieter tatsächlich die SoC-Frequenzen erhöht oder sie auf ihre maximalen Zustände festgelegt haben, wodurch die Leistung über das hinaus gesteigert wurde, was normalerweise für generische Anwendungen verfügbar ist.“ Was Huawei stattdessen tut, ist, die Benchmark-Ergebnisse zu steigern, indem es aus der anderen Richtung vorgeht – der Benchmarking-Anwendungen sind die einzigen Anwendungsfälle, bei denen der SoC tatsächlich die angekündigte Leistung erbringt Geschwindigkeiten. Mittlerweile wird jede andere reale Anwendung aufgrund der thermischen Einschränkungen der Hardware deutlich unterhalb dieses Zustands gedrosselt. Was wir jedoch letztendlich bei ungedrosselter Leistung sehen, ist möglicherweise die „wahre“ Form eines uneingeschränkten SoC Das ist völlig akademisch im Vergleich zu dem, was Benutzer tatsächlich erleben.“ – Andrei Frumusanu und Ian Cutress, AnandTech
Die Leistungsdiagramme zeigen, dass die neuesten Huawei-Telefone in ihrem tatsächlichen Leistungszustand bereits 3,5 bis 4,4 W erreichen, während eine TDP von 3,5 W die maximal auszuhaltende Menge ist. Auf der anderen Seite geht das Telefon bei der Durchführung der öffentlich zugänglichen Benchmarks mit TDP auf Hochtouren, wobei die Leistungswerte über 6 W liegen und bei 8,5 W ihren Höhepunkt erreichen. Wie von bemerkt AnandTech, lösen diese Zahlen schnell eine Überhitzungsmeldung auf dem Gerät aus, was darauf hinweist, dass die thermischen Grenzwerte nicht mit den Erwartungen der Software übereinstimmen.
Die Erkenntnis hieraus ist, dass die tatsächlichen Leistungsdaten nicht stabil sind, da sie von der Temperatur des Telefons abhängen. Huawei verhindert nicht, dass die GPU ihren maximalen GPU-Frequenzzustand erreicht. Beim Standardverhalten handelt es sich eigentlich um einen „harten thermischen Drosselungsmechanismus, der versucht, deutlich niedrigere SoC-Temperaturniveaus und einen deutlich niedrigeren Gesamtstromverbrauch aufrechtzuerhalten.“
Im Normalmodus können die Telefone während der GPU-Benchmarks die gleichen Spitzenstromverbrauchswerte erreichen wie die ungedrosselten Varianten. Allerdings sind diese Zahlen schnell deutlich zurückfallen, Und AnandTech weist darauf hin, dass das Telefon in einigen Fällen auf 2,2 W gedrosselt wird, was zu einer erheblichen Leistungseinbuße führt.
In der Veröffentlichung heißt es, dass das Benchmark-Betrugsverhalten scheinbar zugenommen hat wurde erst in den diesjährigen Geräten eingeführt. Telefone wie das Huawei Mate 9 und das Huawei P10 sind nicht betroffen, und es scheint, dass nur EMUI 8.0 und neuere Geräte betroffen sind. AnandTech Huawei teilte außerdem mit, dass es sich hierbei um „reine Software-Implementierung“ handele, was die Ergebnisse der Veröffentlichung bestätigte.
AnandTech hat wahre Zahlen zur GPU-Leistung für die betroffenen Kirin 970-Telefone veröffentlicht, und das Fazit lautet: Huawei liegt sowohl bei der GPU-Leistung als auch bei der Effizienz deutlich hinter seinen Konkurrenten zurück.
Die Veröffentlichung veröffentlichte auch Leistungsvergleichsdiagramme für die mit Kirin 970 und Kirin 960 betriebenen Huawei-Geräte. Die Grafiken zeigen, dass Huaweis Anpassungen der Stromdrosselung tatsächlich besser für das Benutzererlebnis sind, da sie das Problem des höheren Stromverbrauchs abmildern. AnandTechs Tests des Kirin 960 zeigten, dass er „schreckliche GPU-Leistungseigenschaften“ hatte, während der Kirin 970-Geräte verfügen über einen neuen strikten Drosselungsmechanismus, um den Stromverbrauch zu senken Temperaturen.
AnandTech fügt hinzu, dass die neue Drosselungsrichtlinie sinnvoll ist, wenn man bedenkt, dass sowohl der Kirin 960 als auch der Der Stromverbrauch des Kirin 970 liegt weit über dem nachhaltigen Niveau seiner jeweiligen Formfaktoren.
Um es klarzustellen: Huawei hat mit der Einführung des neuen Drosselmechanismus nichts falsch gemacht. Der große Fehler hierbei ist der Ausschluss beliebter Benchmark-Anwendungen über eine Whitelist, was in diesem Fall als Benchmark-Cheating bezeichnet wird.
Antwort: Offizielle Stellungnahme von Huawei
Huawei hat uns folgende Stellungnahme zum Benchmark-Cheaten übermittelt:
Huawei legt stets Wert auf das Benutzererlebnis und nicht auf das Streben nach hohen Benchmark-Ergebnissen – insbesondere, da kein direkter Zusammenhang zwischen Smartphone-Benchmarks und Benutzererlebnissen besteht. Huawei-Smartphones nutzen fortschrittliche Technologien wie KI, um die Leistung der Hardware, einschließlich CPU, GPU und NPU, zu optimieren.
Wenn jemand eine Foto-App startet oder ein grafikintensives Spiel spielt, sorgt die intelligente Software von Huawei für ein flüssiges und stabiles Bild Benutzererfahrung durch Nutzung aller Funktionen der Hardware bei gleichzeitiger Verwaltung der Temperatur und des Stromverbrauchs des Geräts Effizienz. Für Anwendungen, die nicht so energieintensiv sind wie das Surfen im Internet, werden nur die Ressourcen zugewiesen, die zur Bereitstellung der benötigten Leistung erforderlich sind.
In normalen Benchmarking-Szenarien passt sich die Software von Huawei, sobald sie eine Benchmarking-Anwendung erkennt, intelligent an den „Leistungsmodus“ an und liefert optimale Leistung. Huawei plant, Benutzern Zugriff auf den „Leistungsmodus“ zu ermöglichen, damit sie bei Bedarf die maximale Leistung ihres Geräts nutzen können.
Als Branchenführer ist Huawei bereit, mit Partnern zusammenzuarbeiten, um die besten Benchmarking-Standards zu finden, mit denen das Benutzererlebnis genau bewertet werden kann.
Die wichtigste Erkenntnis hier ist, dass das Unternehmen es ist Es ist geplant, Benutzern Zugriff auf den „Leistungsmodus“ (Meizu-Stil) zu gewähren, damit die Benutzer bei Bedarf die „maximale Leistung“ ihres Geräts nutzen können."
Antwort: UL entfernt die betroffenen Huawei- und Honor-Telefone aus seinen Benchmarks
UL hat Futuremark (das Unternehmen hinter PCMark und 3DMark) übernommen, hat das Huawei P20, das Huawei P20 Pro, das Huawei Nova 3 und das Honor Play von 3DMark entfernt. Das Unternehmen hat Benchmark-Betrug beim Huawei P20 Pro, Huawei Nova 3 und dem Honor Play nachgewiesen. Auf der Grundlage von AnandTechs Laut Tests und Berichten wurde auch das Standard-Huawei P20 aus der Liste genommen. Benutzer können die Benchmark-Ergebnisse der betroffenen Telefone nicht mehr anzeigen, da das Unternehmen keine gefälschten Benchmark-Ergebnisse hosten möchte.
Das Unternehmen stellte fest, dass die Ergebnisse der öffentlichen 3DMark-App bis zu 47 % höher waren als die Ergebnisse aus der privaten App (die der Öffentlichkeit nicht zugänglich ist), trotz der Tatsache, dass die Tests verfügbar sind identisch.
In der Ankündigung fügte UL hinzu, dass es erfreut sei, dass Huawei sich dazu verpflichtet habe, in Zukunft einen transparenteren Ansatz zu verfolgen. Nach Ansicht von UL sind optionale Leistungsmodi, die vom Benutzer eingestellt werden können, nach den aktuellen Regeln zulässig solange sie standardmäßig deaktiviert sind. Das Unternehmen gibt an: „Ein Gerät muss den Benchmark ausführen, als wäre es jede andere Anwendung.“
Zusammenfassend lässt sich sagen, dass alle GPU-Leistungsbenchmarks von Huawei, die anhand öffentlich verfügbarer Benchmarks erstellt wurden, nicht als Darstellung der tatsächlichen Leistung angesehen werden sollten.
Antwort: UL und Huawei geben eine gemeinsame Erklärung ab
Als Reaktion auf die Entscheidung von UL, das Huawei P20, das Huawei P20 Pro, das Huawei Nova 3 und das Honor Play von 3DMark zu entfernen, wandte sich Huawei an UL, um die Best Practices für Benchmark-Tests zu besprechen. Hier ist die Aussage, die uns angeboten wurde:
Huawei und UL (Entwickler von 3DMark) haben diese Woche ausführliche Gespräche über Benchmarking-Praktiken geführt und eine positive Einigung über die nächsten Schritte der Zusammenarbeit erzielt.
In der Diskussion erklärte Huawei, dass seine Smartphones einen künstlichen intelligenten Ressourcenplanungsmechanismus verwenden. Da verschiedene Szenarien unterschiedliche Ressourcenanforderungen haben, nutzen die neuesten Huawei-Handys innovative Technologien wie künstliche Intelligenz Optimieren Sie die Ressourcenzuteilung so, dass die Hardware ihre Leistungsfähigkeit voll ausspielen kann und gleichzeitig die Benutzeranforderungen in allen Bereichen erfüllt Szenarien.
UL versteht die Absicht des Huawei-Ansatzes, ist jedoch dagegen, die Verwendung eines „Leistungsmodus“ standardmäßig zu erzwingen, wenn eine Benchmarking-Anwendung vom Gerät erkannt wird. Nach den UL-Vorschriften muss ein Gerät den Benchmark so ausführen, als wäre es eine andere Anwendung.
Huawei respektiert das Recht der Verbraucher, zu entscheiden, was sie mit ihren Geräten tun. Daher bietet Huawei Benutzern in EMUI 9.0 offenen Zugriff auf den „Leistungsmodus“, sodass der Benutzer auswählen kann, wann er die maximale Leistung seines Geräts nutzen möchte.
Huawei und UL haben auch die aktuellen gemeinsamen Benchmark-Testmethoden im Allgemeinen erörtert. UL und Huawei möchten sich an einer Branchenbewegung zur Entwicklung von Benchmarking-Standards beteiligen, die den Bedürfnissen von Herstellern, Presse und Verbrauchern am besten gerecht werden.
Um Verwirrung hinsichtlich der aktuellen Benchmarking-Ergebnisse zu vermeiden, haben UL und Huawei den Benchmark nach Diskussionen vorübergehend aus der Liste genommen Dutzende einer Reihe von Huawei-Geräten und wird sie wieder aktivieren, nachdem Huawei allen Benutzern von Huawei-Handys Zugriff auf die Leistung gewährt hat Modus.