人気のベンチマーク アプリの開発者である AnTuTu は、スマートフォンの AI パフォーマンスをテストおよび測定するためのベンチマークをリリースしました。 読む！
ここ数年、自社製品を競合製品と区別する手段としてAI（人工知能）に注目する企業が増えています。 AI の用途は、音声コマンドの理解からシナリオの認識、直接注文の実行まで多岐にわたるため、顧客とサービスの間の摩擦を軽減することが必要になります。 AI はその爆発的な人気により、現在バズワードとして広く誤用されており、この機能を測定する何らかのシステムが確立される時期に来ています。
人気のベンチマーク アプリで知られる AnTuTu は、さまざまなプラットフォームの AI パフォーマンスの違いを誰もが判断できるよう、定量化可能な基準を提供することに取り組んでいます。 この目的の基礎を築くために、AnTuTu はチップメーカーと協力して、スマートフォンの AI パフォーマンスの測定に焦点を当てた「AI Review」と呼ばれるベンチマーク アプリをリリースしました。
AnTuTu の AI レビュー ベンチマークをダウンロード
AnTuTu の AI Review に関するブログ投稿は、人工知能のような広大なものを測定することの難しさを指摘することから始まります。 現在、スマートフォン分野では AI に関する統一規格が存在しません。 そのため、すべてのチップメーカーが独自の理解と実装を行っている状況が生じています。 あい。 クアルコムは、Hexagon DSP を通じて一部の AI 操作を処理します。 ファーウェイの HiSilicon は、独立した NPU を通じてこれを処理します。 Samsung と MediaTek も、それぞれ NPU と APU と呼ばれる専用チップを通じて AI 操作を処理します。 この状況は、効果的な AI パフォーマンスにとって重要なハードウェアとソフトウェア間の相乗効果によってさらに複雑になります。 各ベンダーは AI 用に独自の SDK を提供しています。Qualcomm には SNPE、MediaTek には NeuroPilot、HiSilicon には HiAI などがあります。
AnTuTu の AI Review ベンチマークは、画像分類とオブジェクト認識という 2 つのサブカテゴリに分かれています。 画像分類テストは、200 枚の画像で構成されるテスト データをレビューし、Inception v3 ニューラルに基づいています。 一方、オブジェクト認識テストは 600 フレームのビデオをレビューし、MobileNet SSD ニューラルに基づいています。 通信網。 これらのニューラル ネットワークは、ベンダーが提供する SDK を通じてメーカーがサポートするニューラル ネットワークに変換されます。 チップが AI 関連のアルゴリズムをサポートしていない場合、ベンチマーク アプリはベンチマークに TFLite を使用しますが、その結果は不十分で信頼性が低いと AnTuTu 自身が警告しています。
ベンチマークのスコアは速度と精度の両方に直接関係します。 精度と速度がトレードオフになる場合、AnTuTu はスコアにペナルティを割り当てます。 これにより、単に迅速だが間違った結果を提供することに依存する AI ベンチマークの不正行為が阻止されます。
AnTuTu は、アプリの使用に関していくつかの特別な注意事項も定めています。 ベンチマークは単にテストするだけではないため、同じ AI プロセッサを使用するプラットフォームに大きなスコアの差が生じる可能性は低いです。 パフォーマンス、しかし焦点を当てます AIパフォーマンス. Samsung は AI SDK をまだリリースしておらず、HiSilicon は特定の機能に TFLite を利用しているため、これらの状況が改善されるまでスコアは低くなる可能性があります。 Google 自体がシステム レベルで AI のサポートを最適化しているため、デバイスのベース Android バージョンもスコアに影響します。
AnTuTu 自身のブログ投稿からも、その目標は明らかです。 測定 AI ベースのパフォーマンスは、単に数字に要約するだけでは実現できない可能性があります。 AI ベースの計算には多くの変数が関係しており、さまざまなハードウェア ソリューションとソフトウェア ソリューション間のすでに複雑な相互作用に、さらに複雑さが加わります。 ベンチマーク活動から得られる特異な数値スコアは、AI の世界に含まれる微妙なニュアンスを適切に表現するものではありません。 したがって、自分のスコアを見て、金銭的にある程度の誇りを感じるかもしれませんが、私たちは AI 、さらには AI ベンチマークの比較的初期の段階にあることを知っておいてください。
AI、AI ベンチマーク、および関連する課題について詳しく知りたい場合は、クアルコムのインタビューをご覧ください。 トラビス・ラニアー そして ゲイリー・ブロットマンとジアド・アスガー.
出典: AnTuTu