Huawei P20、Nova 3、Honor Play がベンチマークで不正行為をしていたことが発覚

ベンチマークは、PC とモバイルの両方の分野でハードウェアのパフォーマンスを測定する一般的な方法です。 ベンチマーク不正行為は、デバイス メーカーが結果のスコアを実際よりも高くすることで不当にベンチマークを不正に操作しようとするときに発生します。 不正行為は、CPU、システム、GPU のパフォーマンスを測定するベンチマーク テストなど、あらゆるベンチマーク テストで発生する可能性があります。 ベンチマークで不正行為を行う明らかな目的は、製品 A が製品 B よりも優れていると顧客に確信させることです。 残念ながら、これはハードウェアの根本的な弱点が不正行為によって隠されていることを意味します。 簡単に言うと、チップベンダー、デバイスメーカー、そして何よりも最終消費者など、業界に関わるすべての関係者にとって、負ける、負けるという状況です。

10 年以上前、PC 業界では不正行為が蔓延していましたが、ありがたいことに、その行為はほぼなくなりました。 モバイルの世界では、Andrei Frumusanu (現在はモバイル編集者) アナンドテック) ベンチマーク不正行為を発見 2013 年の Samsung Galaxy S4 の Exynos バージョンで。 の アナンドテック その後、モバイル編集者は、多くのスマートフォン ベンダーがさまざまな種類のベンチマーク不正行為を行っていることを発見しました。 Galaxy S4 や Samsung Galaxy Note 3 など、かなりの数の主要なスマートフォンが互角でした。 ベンチマークから除外されました 3DMark と同様、Futuremark などの企業がデバイス メーカーを公に呼び出すことを選択したためです。

2013 年にこの行為が指摘されて以来、ほとんどのデバイス メーカーはベンチマーク不正行為をやめました。 Meizu のような一部の OEM ユーザー インターフェイスには依然として「パフォーマンス」モードがありますが、そのようなモードはほとんどがユーザー設定可能です。 去年、 Geekbench などのいくつかの人気ベンチマークで OnePlus が不正行為を行っていた証拠を発見しました

. ワンプラス で練習を中止した OnePlus 5T 以降、概してベンチマーク不正行為は過去のものになったようです。

新しい開発により、この誤った仮定が修正されました。 アナンドテック 編集者のアンドレイ・フルムサヌ氏とイアン・カットレス氏は、 報告書を発行しました 2018 Huawei および Honor スマートフォン (Huawei P20、Huawei P20 Pro、Honor Play など) による GPU ベンチマークで行われたベンチマーク不正行為の検証済みの事例を詳しく説明します。

概要: 2018 Huawei/Honor スマートフォンが GPU ベンチマークで不正行為を発見

アナンドテック にあることをメモします 彼らのレビュー、Huawei P20のパフォーマンスはHuawei Mate 10 Proと比較して退化していました。 当時、ファーウェイはファームウェアの問題であると出版物に伝えていましたが、実際にはそうではありませんでした。 Huawei と Honor の新しい携帯電話には、 ベンチマーク検出メカニズム これにより、より高い熱ヘッドルームにより、SoC の電力制限が大幅に向上します。

で説明されているように、 アナンドテックこれは、ホワイトリストに登録されている特定のアプリケーションに関して、最新の Huawei および Honor スマートフォンは、ユーザーがホワイトリストに登録されていない他の同様のソフトウェアに期待するパフォーマンスと比較して、はるかに高いパフォーマンスを発揮することを意味します。 この方法を実行すると、消費電力が増加し、効率が低下し、バッテリ寿命が短くなります。

最終的な結果として、パフォーマンスの数値が実際の数値よりも高くなります。 これらの数値は、実際のパフォーマンス シナリオでどのユーザーでも達成するのは非現実的です。 この出版物には、これを行うと「十分にプッシュされているため、SoC の効率が低下する」とも記載されています。 標準動作ウィンドウの外側で動作します。」 全体として、ベンチマークを高めるために SoC の見栄えが悪くなります。 数字。

アナンドテック ファーウェイのベンチマークの動作は、この出版物が過去に見たものを超えていると述べています。 この出版物ではカスタム エディションのベンチマークを使用しているため、検出モードをオンまたはオフにしてテストできます。 彼らの言葉を借りれば、公開されているベンチマークと使用されている内部バージョンとの間のパフォーマンスの大きな違いは「まったく驚くべきこと」です。

ファーウェイの対応 アナンドテックさんのレポート

アナンドテック ファーウェイのコンシューマー・ビジネス・グループのソフトウェア担当プレジデント、ワン・チェンルー博士に話を聞いた。 Chenglu博士は、「他社も同じことをして高いスコアを獲得しており、ファーウェイは黙っていられない」ため、同社がベンチマークで不正を行っていたことを認めた。

Chenglu博士は、ファーウェイは「中国の他の企業と協力して、ユーザーエクスペリエンスのための最良の検証ベンチマークを見つけたいと考えている」と述べた。 彼 他のメーカーが数字で誤解を招くと指摘し、中国の無名の人気スマートフォンメーカーを最大手として挙げた 犯人。 同氏によると、ベンチマーク不正行為は「中国では一般的な行為」になりつつあり、ファーウェイは消費者に「オープン」にしたいと考えているものの、競合他社が「継続的にベンチマークを投稿する」ことに問題を抱えているという。 ファーウェイは中国の主要な競争相手と対決しようとしているが、他のデバイスメーカーが非現実的なスコアを出したことで、その課題は一見困難になっているように見える 数字。

ファーウェイの目標は、競争条件を平等にするためのベンチマークの標準化であると彼らは語った。 アナンドテック メディアに協力してほしいとのこと。 として アナンドテック ただし、ファーウェイは、 自分の 今のところ非現実的なスコア。

これに対するファーウェイの反応は、 アナンドテック 報告はそれです 同社は、プレゼンテーション内の今後のベンチマーク データが発表時に第三者によって独立して検証されることを保証します。

アナンドテックの調査結果の詳細

アナンドテック は、公開されているベンチマークと比較して、内部バージョンの GPU ベンチマークによって生成されたスコアに驚くべき違いがあることを発見しました。 この出版物では、Huawei P20、Huawei P20 Pro、および Honor Play をテストしました。 すべての電話機は同じ HiSilicon を共有しているため、高電力モードではほぼ同じように動作しました。 キリン970 SoC。 ただし、電話機の実際のパフォーマンスは、それぞれに異なる熱制限があるため、大きく異なります。 温度制限が異なるのは、シャーシ/冷却設計が異なるためです。 アナンドテック と説明した。 Huawei P20 Pro は最高の放熱性能を備えており (他の 2 つよりも大きく、高価であるため)、そのため、より優れたパフォーマンスを発揮できます。 本当のパフォーマンス 州。

この出版物が提起している重要な点は、ベンチマーク不正行為の方法の違いです。 フルムサヌ氏は次のように述べた。

「これまで、ベンダーが実際に SoC の周波数を上げたり、最大状態にロックしたりして、一般的なアプリケーションで通常利用できるレベルを超えてパフォーマンスを向上させているのを見てきました。 代わりにファーウェイがやっているのは、別の方向からアプローチすることでベンチマークスコアを押し上げることだ。 ベンチマーク アプリケーションは、SoC が宣伝どおりのパフォーマンスを実際に実行する唯一のユースケースです。 スピード。 一方、他のすべての現実世界のアプリケーションは、ハードウェアの熱制限により、その状態を大幅に下回る程度までスロットルされます。 スロットルなしのパフォーマンスで最終的に得られるものは、おそらく制約なしの SoC の「真の」形です。 これは、ユーザーが実際に経験することと比較すると完全に学術的です。」 - アンドレイ・フルムサヌ氏とイアン・カットレス氏 アナンドテック

電力グラフは、ファーウェイの最新の携帯電話が実際のパフォーマンス状態ですでに 3.5 ～ 4.4 W に達しており、3.5 W TDP が維持できる最大量であることを示しています。 一方、公開されているベンチマークを実行すると、携帯電話は TDP でオーバードライブ状態になり、電力数値は 6 W を超え、最大で 8.5 W に達します。 によって指摘されたように アナンドテック、これらの数値はすぐにデバイスの過熱通知をトリガーし、温度制限とソフトウェアの期待値が一致していないことを示します。

ここで重要なのは、実際のパフォーマンスの数値は携帯電話の温度に依存するため、安定していないということです。 Huawei は、GPU がピーク GPU 周波数状態に達するのをブロックしません。 デフォルトの動作は、実際には「大幅に低い SoC 温度レベルと全体的な電力消費量を維持しようとする厳しいサーマル スロットリング メカニズム」です。

電話機の通常モードは、GPU ベンチマーク中に、スロットルなしのバージョンで示されたものと同じピーク消費電力値に達する可能性があります。 ただし、これらの数字は、 すぐに大幅に後退し、 そして アナンドテック は、場合によっては電話機が 2.2W までスロットルダウンし、パフォーマンスが大幅に低下する影響があると指摘しています。

この出版物には、ベンチマークの不正行為が一見 今年のデバイスにのみ導入されました. Huawei Mate 9 や Huawei P10 などの携帯電話は影響を受けず、EMUI 8.0 以降のデバイスのみが影響を受けるようです。 アナンドテック ファーウェイからも、これは「純粋にソフトウェアの実装」であると告げられ、この出版物の調査結果を裏付けた。

アナンドテック 影響を受ける Kirin 970 搭載携帯電話の GPU パフォーマンスの実際の数値を掲載しており、その結論は次のとおりです。 ファーウェイは、GPU のパフォーマンスと効率の両方において競合他社に大きく遅れをとっています。

この出版物には、Kirin 970 と Kirin 960 を搭載した Huawei デバイスの電力比較グラフも掲載されています。 グラフは、Huawei の電力スロットル調整が、消費電力の増加の問題を軽減するため、実際にユーザー エクスペリエンスにとって優れていることを示しています。 アナンドテックの Kirin 960 のテストでは、「ひどい GPU 電力特性」があることが示されましたが、Kirin 970 搭載デバイスには、消費電力を削減するための新しい厳密なスロットル メカニズムが搭載されており、 気温。

アナンドテック Kirin 960 と Kirin 970 は、それぞれのフォーム ファクターの持続可能なレベルをはるかに上回る消費電力を示しています。

はっきり言っておきますが、ファーウェイは新しいスロットリングメカニズムの導入において間違ったことはしていません。 ここでの大きな間違いは、人気のあるベンチマーク アプリケーションをホワイトリストによって除外していることです。これは、この場合ベンチマーク不正行為と呼ばれるものです。

回答：ファーウェイの公式声明

ファーウェイは、ベンチマーク不正行為に関して次の声明を私たちに送ってきました。

ファーウェイは、特にスマートフォンのベンチマークとユーザー エクスペリエンスの間には直接的な関係がないため、高いベンチマーク スコアを追求するのではなく、ユーザー エクスペリエンスを常に優先しています。 ファーウェイのスマートフォンは、AIなどの先進技術を利用して、CPU、GPU、NPUなどのハードウェアのパフォーマンスを最適化します。

誰かが写真アプリを起動したり、グラフィックを多用するゲームをプレイしたりすると、ファーウェイのインテリジェントなソフトウェアがスムーズで安定した画像を作成します。 デバイスの温度と電力を同時に管理しながら、ハードウェアの全機能を適用することでユーザー エクスペリエンスを向上させます。 効率。 Web の閲覧など、それほど電力を消費しないアプリケーションの場合は、必要なパフォーマンスを実現するために必要なリソースのみが割り当てられます。

通常のベンチマークシナリオでは、ファーウェイのソフトウェアがベンチマークアプリケーションを認識すると、「パフォーマンスモード」にインテリジェントに適応し、最適なパフォーマンスを提供します。 ファーウェイは、ユーザーが必要なときにデバイスの最大電力を使用できるように、「パフォーマンス モード」へのアクセスを提供する予定です。

業界リーダーとしてのファーウェイは、ユーザーエクスペリエンスを正確に評価できる最良のベンチマーク基準を見つけるためにパートナーと協力することに意欲的です。

ここで重要な点は、同社が ユーザーが「必要なときに」デバイスの「最大電力」を使用できるように、ユーザーに「パフォーマンス モード」（Meizu スタイル）へのアクセスを提供する予定です。."

対応: ULは、影響を受けるHuaweiとHonorの携帯電話をベンチマークから除外

ULは、Futuremark（PCMarkと3DMarkの背後にある会社）を買収し、 Huawei P20、Huawei P20 Pro、Huawei Nova 3、および Honor Play を 3DMark から上場廃止しました. 同社は、Huawei P20 Pro、Huawei Nova 3、および Honor Play でのベンチマーク不正行為を検証しました。 に基づいて アナンドテックの テストとレポートの結果、標準のHuawei P20も上場廃止となった。 同社は不正なベンチマーク スコアをホストすることを望んでいないため、ユーザーは影響を受ける携帯電話のベンチマーク結果を表示できなくなります。

同社は、公開されている 3DMark アプリのスコアが、そのスコアよりも最大 47% 高いことを発見しました。 テストが 同一。

ULは発表の中で、ファーウェイが将来的により透明性の高いアプローチを採用することに取り組んでいることを嬉しく思うと付け加えた。 UL の見解では、ユーザーが設定できるオプションのパフォーマンス モードは現在の規則で許可されています。 デフォルトで無効になっている限り. 同社は次のように述べています。 「デバイスは他のアプリケーションと同じようにベンチマークを実行する必要があります。」

結論として、公的に入手可能なベンチマークを使用して取得されたすべての Huawei GPU パフォーマンス ベンチマークは、実際のパフォーマンスを表すものとして解釈されるべきではありません。

対応：ULとファーウェイが共同声明を発表

Huawei P20、Huawei P20 Pro、Huawei Nova 3、および Honor Play を 3DMark から除外するという UL の決定に応じて、Huawei はベンチマーク テストのベスト プラクティスについて話し合うために UL に連絡しました。 私たちに提供された声明は次のとおりです。

ファーウェイとUL（3DMarkの作成者）は今週、ベンチマークの実践について包括的な議論を行い、協力する次のステップについて前向きな合意に達した。

討論の中で、ファーウェイは自社のスマートフォンが人工知能リソーススケジューリングメカニズムを使用していると説明した。 シナリオが異なればリソースのニーズも異なるため、ファーウェイの最新端末は人工知能などの革新的なテクノロジーを活用して、 ユーザーの要求をすべて満たしながら、ハードウェアがその能力を最大限に発揮できるようにリソース割り当てを最適化します。 シナリオ。

ULはファーウェイのアプローチの意図を理解していますが、ベンチマークアプリケーションがデバイスによって検出された場合にデフォルトで「パフォーマンスモード」の使用を強制することに反対しています。 UL ルールでは、デバイスが他のアプリケーションであるかのようにベンチマークを実行する必要があります。

ファーウェイは、自分のデバイスをどうするかを選択する消費者の権利を尊重します。 したがって、ファーウェイはEMUI 9.0の「パフォーマンスモード」へのオープンアクセスをユーザーに提供し、ユーザーがデバイスの最大電力をいつ使用するかを選択できるようにします。

ファーウェイとULは、現在の一般的なベンチマークテスト手法全般についても議論しました。 ULとファーウェイは、メーカー、報道機関、消費者のニーズに最適なベンチマーク規格を開発する業界の動きに参加したいと考えています。

現在のベンチマーク結果に関する混乱を避けるため、ULとファーウェイは議論の結果、ベンチマークを一時的に上場廃止にしました。 ファーウェイ端末のすべてのユーザーにパフォーマンスへのアクセスをファーウェイが許可した後、それらは復元される予定です。 モード。