Qualcomm の Judd Heape 氏は、Qualcomm が Spectra ISP の新機能によって Android 携帯電話のカメラ エクスペリエンスをどのように向上させているかについて説明します。
世界中のスマートフォンやウェアラブル機器の多くに電力を供給するシステムオンチップ (SoC) のメーカーとして、米国に本拠を置くクアルコムは間違いなくチップメーカー業界の巨人の 1 つです。 たとえば、Snapdragon シリーズの SoC は、ほぼすべての主要な Android デバイス メーカーによって、フラッグシップ、ミッドレンジ、および低価格スマートフォンに使用されています。 クアルコムは、ARM の新しい CPU マイクロアーキテクチャを組み込んでおり、CPU、GPU、AI 分野の進歩が毎年開催される同社の年次テック サミットで賞賛されています。 そして、カスタム GPU の毎年の改善によってそれらを補完します。 しかし、カメラの分野でのその進歩はあまり注目されていません。 レーダー。
ただし、これは、スマートフォンのカメラにおけるクアルコムの取り組みが重要ではないという意味ではありません。 それどころか、Snapdragon SoC 内の Qualcomm の Spectra ISP は、最新のスマートフォン カメラの多くを可能にするのに役立ちます。 計算処理能力、8K ビデオ録画、HDR10 ビデオ、高メガピクセル QCFA カメラのサポートなどの機能 もっと。 クアルコムは、Snapdragon 855 に Spectra 380 ISP が搭載されていることを宣伝しました。 世界初のCV-ISPでした、世界初の 4K HDR ビデオ録画機能を推進してきましたが、現在では第 2 世代 4K HDR10+ ビデオ録画機能によってそれが補完されています。 最新世代の Spectra 480 ISP スナップドラゴン865 は非常に能力が高く、1 秒あたり 2 ギガピクセルを処理でき、前世代より 40% 向上しています。 これは、モバイル チップ ベンダー分野でクアルコムを競合他社と区別する知的財産 (IP) です。
クアルコムはプレスリリースや製品基調講演で主要な機能のほとんどを説明していますが、 これまで、消費者はこれらのものを作る低レベルの詳細のほとんどを知る機会がありませんでした。 仕事。
だからこそ、私たち XDA Developers は、クアルコムの製品管理担当シニア ディレクターである Judd Heape と話すというオファーを喜んで受け入れました。 XDA 編集長のミシャール・ラーマンと私は、クアルコムがスマートフォンの写真とビデオ録画でどのようにゴールポストを押し上げているかを知り、知るために、2020 年 6 月にジャッドにインタビューしました。 AI 画像処理、マルチフレーム ノイズ リダクション (MFNR)、AV1、ドルビー ビジョン ビデオ録画、高メガピクセル カメラのピクセル ビニングなどのトピックについて話しました。 各トピックについての Judd の洞察を 1 つずつ見てみましょう。
AI画像処理ワークロード
ミシャール・ラーマン: まず、Idrees が持っていたものの 1 つから始めます。これは興味深いもので、私も興味を持っていました。 そこで私たちは、クアルコムが Spectra ISP で使用している AI 画像処理ワークロードとは何なのか、またデバイス メーカーはどの程度カスタマイズ可能なのか疑問に思っています。
ジャド・ヒープ: そうですね、私たちは多くの AI ワークロードを調べていますが、ISP 自体で実行できる AI もいくつかあります。 たとえば、次世代 3A: 自動露出、自動ホワイト バランス、自動フォーカスは AI です に基づいています。
ただし、ISP の外部で他のコンピューティング要素の 1 つで実行される他の AI ワークロードもいくつか検討します。 したがって、特に次のような点に注目します。チップの AI エンジン (AIE) 部分に、ISP の外部で実行される AI ベースのノイズ リダクション コアがあります。
また、顔検出などの機能も備えています。これは、AIE コンプレックスでも実行される完全な深層学習エンジンですが、もちろんカメラを補助します。 そして、顔検出とノイズ除去以外にも私たちが取り組んでいることがあります。 また、AI を使用してスナップショットを自動的に調整するようなことも検討しています。 HDR コンテンツに基づいてシーンごとにパラメータを設定し、シャドウ、ハイライト、カラーなどを変更する処理を行います。 もの。
弊社のパートナーの 1 つである Morpho は、今年の Embedded Vision Summit で大きな AI ワークロード賞を受賞したばかりです。 独立系ソフトウェア ベンダー パートナーも、非常に強力な AI ベースのアルゴリズムを多数備えており、それらはスムーズなカメラのようなものまで多岐にわたります。 Arcsoft が行っているように (AI ベースの前回の Snapdragon Tech Summit で言及しました)、Morpho のセマンティック セグメンテーションへの移行 エンジン。 Morpho のソリューションは、シーンのさまざまな部分を理解する AI エンジンです。たとえば、布地と肌、空と草など、シーンのさまざまな部分を理解します。 建物などの情報を取得すると、ISP はその情報を取得して、テクスチャ、ノイズ、色に関してピクセルを別の方法で処理できます。 例。
クアルコムの声明: ML と AI についても、顔検出と「3A」（AE、AF、AWB）の機能に関する新しいアップデートは本日発表されません。 ただし、ジャッド氏が述べたように、私たちは今後、これら 2 つの機能領域を含む、より多くの ML/AI 機能をカメラに導入することに取り組んでいます。
分析とコンテキスト：最初のニューラル プロセッシング ユニット（NPU）と「AI ベースの」機能が Android スマートフォンに搭載され始めて以来、スマートフォンの AI は主にバズワードであると考えられてきました。 ただし、AIそのものが無意味だというわけではありません。 それどころか、AI はモバイル分野で多くの可能性を秘めており、チップ ベンダーもデバイス メーカーも同様に、これまでのところ可能性の表面をなぞっただけです。
AI のおかげで、スマートフォンのカメラは進化し、時には速く、時には苦痛になるほどゆっくりと、しかしそのレベルに達しつつあります。 スマートフォンのカメラは、比較的小さなセンサー、固定されたセンサーなどの根本的な制限を克服しつつあります。 焦点距離、機械学習を利用したスマートなコンピュテーショナルフォトグラフィーによる光学系の性能の低下 (ML)。 自動露出、ノイズリダクション、顔検出、セグメンテーションは、スマートフォン写真における AI が影響を与えることができる分野のほんの一部にすぎません。 今後 5 年間で、写真のさまざまな側面を改善する AI のこれらの初期の分野は大きく成熟するでしょう。
マルチフレームノイズリダクション
イドリース・パテル：クアルコムはマルチフレームノイズリダクションを機能として挙げています。 画像のスタッキングがどのように機能するかなど、さらに詳しく知りたいです。 Google が HDR+ テクノロジーで取り組んでいることは、ある意味似ていますか、それともまったく異なりますか?
ジャド・ヒープ：似てますが、違います。 カメラがバーストを実行し、5 ～ 7 フレームを素早く連続してキャプチャすることを想像してください。 次に、ISP エンジンはそれらのフレームを調べて、最適なフレーム (「アンカー フレーム」と呼ばれる) を選択します。 焦点と明瞭度を高めてから、そのフレームの両側にある 3 ～ 4 つのフレームを選択し、それらすべてを平均化します。 一緒に。 動きがほとんどないように、互いに十分に近いフレームを選択しようとします。
そして、それらのフレームが決まると、それらのフレームを平均して、何が異なるのか、たとえば、実際の画像データとノイズ データが何なのかを識別します。 したがって、より多くのフレームからより多くの情報が得られると、フレーム間の違いを確認するなどの簡単なことが実際にできるようになります。 違いはおそらくノイズですが、フレーム内で等しいものはおそらく画像データです。
したがって、リアルタイムでフレームを結合してノイズを減らすことができます。 現在では、低照度や HDR でも同じことができます。これは、おそらく Google が行っていることとよく似ています。 私たちは彼らのアルゴリズムについては知りません。 しかし、彼らはマルチフレーム技術を使用して感度を高め、よりよく「見える」ようにしています。 ノイズ フロアを低減したら、さらにローカル トーン マッピングを実行したり、ノイズを追加せずに画像にゲインを追加したりすることができます。
これが、HDR だけでなく、低照度も処理する方法です。 マルチフレーム ノイズ リダクション機能の強化はクアルコムから提供され、低照度や HDR も含まれる予定です。 しかし、それは間もなく展開される予定です。
ミシャール・ラーマン：つまり、この機能を間もなく展開するとおっしゃいましたね。 それはパートナー向けの BSP のアップデートのようなものでしょうか?
ジャド・ヒープ: 当社の次世代製品では、ソフトウェアの追加により、次の製品で実際にそれが起こっています。 第 2 世代の製品 - 私たちは現在、ノイズ低減を超えたマルチフレーム技術を実行するだけでなく、HDR や低照度にも対応できるよう、顧客と協力しています。 状況。 同じベース ISP HW エンジンを使用していますが、単なるノイズ削減以上の目的でこれらのマルチフレームを処理するソフトウェアを追加しています。
したがって、これはすでに展開されているものではありませんが、私たちはこれらの機能について主要な主要顧客と連携しています。
分析とコンテキスト: 新しい Snapdragon SoC が発表されるたびに、クアルコムの仕様表にはマルチフレーム ノイズ リダクションに関連する仕様が含まれています。 たとえば、デュアル 14 ビット CV-ISP を備えた Snapdragon 865 仮想の最大 200MP 単一カメラをサポート (ただし、Sony、Samsung、OmniVision などのカメラ センサー ベンダーは、108MP を超えるスマートフォン カメラ センサーをまだリリースしていません)。 ただし、MFNR、ゼロ シャッター ラグ (ZSL)、および 30fps サポートを備えた単一カメラのサポートに関しては、 仕様は 64MP に変更され、同じ仕様のデュアル カメラの場合、仕様は に変更されます。 25MP。
上記の Judd 氏が説明したように、クアルコムのマルチフレーム ノイズ リダクションは HDR+ に非常に似ていますが、完全に同じというわけではありません。 HDR+ では一連の露出不足の露出を撮影し、それらを平均して最高の写真を取得しますが、MFNR では通常のフレームを 5 ～ 7 枚撮影します。 HDR と低照度が現在のソリューションでは特に優先事項として言及されていないため、クアルコムの MFNR は Google のソリューションほど先進的ではないようです 一方、Google の HDR+ は、HDR、低照度撮影、ノイズ低減を同時にターゲットにしており、さらにワンランク上の夜景機能を備えています。 さらに遠く。 ただし、MFNR が機能強化を受けており、クアルコムがこれらの機能強化を「一部の主要顧客」に展開する予定であることを知って心強いです。 将来的には、Google 以外の Android スマートフォン カメラの可能性を最大限に引き出すために、非公式の Google カメラのポートは必要なくなるかもしれません。
ビデオの超解像度
ミシャール・ラーマン：それで、Tech Summitで聞いた話です。 実際、そうだったと思います とのインタビューで Android 権限. クアルコムはパートナー向けのソフトウェア ソリューションとして超解像度をビデオに拡張することを計画しており、これは明らかにアップデートで展開される予定です。 この機能に関して共有する最新情報があるかどうかを知りたいのですが。
ジャド・ヒープ: はい、それは私たちがしばらく前から実行できる機能であり、現在展開されているところです。 それがソフトウェアアップデートであるとは言いませんが、既存のマルチフレーム、低照度機能の追加の利点のようなものだと思います。 私たちはその機能について、一部の特定の主要顧客と連携しています。 そうです、ビデオの超解像度は別の世代かそこらで、私たちがそれを実現するでしょう。 [その] のソフトウェア コード ベースに実際に組み込まれている記録機能の計画を呼び出します。 カメラ。 しかし現時点では、その新機能に対する具体的な顧客エンゲージメントのレベルに重点が置かれています。
分析とコンテキスト: ビデオの超解像度は、これまでスマートフォンのカメラには搭載されていなかった機能です。 とても新しい分野なので、 それに関する研究論文はまだ書かれています. 写真にマルチフレーム技術を使用することは別のことですが、それをビデオに使用してビデオをより高い解像度にアップスケーリングすることはまったく別の問題です。 クアルコムは、この機能を「一部の主要顧客」に再度展開するとしているが、現時点ではこの機能はカメラのソフトウェアコードベースには組み込まれていない。 将来的には誰でも利用できるようになるかもしれませんが、現時点ではまだ最終消費者が使用することさえできていない機能です。
高メガピクセルクアッドベイヤーセンサー
イドリース・パテル: クアッドベイヤーセンサーについて話しましょう。 2019 年以降、多くの携帯電話に 48MP、64MP、さらには 108MP センサーが搭載されるようになりました。 これらはクアッドベイヤーセンサーです。 実際には、48、64、または 108MP の True Color 解像度はありません。 私が聞きたかったことの 1 つは、これらの Quad Bayer または Nona の画像処理に関して ISP がどのように異なるのかということでした。 ピクセルを持たない従来のセンサーと比較したベイヤーセンサー (4-in-1 または 9-in-1 ピクセルビニング) ビニング。
ジャド・ヒープ: はい、もちろん、これらのクアッド CFA (クアッド カラー フィルター アレイ) センサーの利点は、明るい場所でも動作できることです。 これらをフル解像度で処理すると、ISP はフル 108 メガピクセルまたは 64 メガピクセルなどのフル解像度で処理できるようになります。 利用可能。
ただし、通常、屋内や暗闇などのほとんどの照明状況では、センサーのピクセルが非常に小さいため、より良い光感度を得るためにピクセルを結合する必要があるため、ビン化する必要があります。 したがって、ほとんどの場合、特にビデオを撮影している場合や、スナップショットのために暗い場所で撮影している場合は、ビン モードで実行していると言えます。
現在、ISP はどちらの方法でもセンサーを処理できます。 センサーをビニング モードで確認することもできます。この場合、通常のベイヤー画像が受信されるだけですが、受信データがクアッド CFA であるフル解像度モードで確認することもできます。 そのモードの場合、ISP はそれをバイエルに変換します。
そこで私たちは、いわゆる「リモザイク」を行っています。 これは、クアッド CFA 画像の補間を行って、再びフル解像度のベイヤーのように見せています。 これは通常、スナップショット用のソフトウェアで行われますが、最終的にはビデオもサポートするためにこの機能をハードウェアに追加する予定です。
現在の ISP ハードウェアに組み込まれているのはビニングです。 したがって、センサー内でビン化することができ、実際にフル解像度で出力するか、4 分の 1 または 1/9 解像度で出力するかをセンサーに決定させることも、ISP 内でビン化することもできます。 実は、これは Snapdragon 865 に追加された機能です。 したがって、ISP でビン化してからセンサーをフル解像度で実行すると、ISP はフル解像度の画像とビン化された画像の両方を同時に取得できるようになります。 したがって、ビデオ (ビデオカメラ) とプレビュー (ビューファインダー) には、より低い解像度または「ビニングされた」画像を使用し、同時にフルサイズのスナップショットにはフル解像度の画像を使用できます。
ただし、これは明るい照明条件の場合です。 しかし、少なくとも ISP でビン化すれば、大きい画像と小さい画像の両方を ISP で処理することができます。 したがって、ビデオとスナップショットを同時に取得でき、フル解像度も取得できます。 ZSL; センサーを前後に切り替える必要はありませんが、これにはかなりの時間がかかります。
これは本当に良い機能です。 そして、Quad CFA センサーや、ご存知の通り、9x センサー、さらにはそれ以上のセンサーも登場し、これらのセンサーがより高性能になるにつれて、 ユビキタス - 私たちは、ビニングだけでなく、ハードウェアでこれらのセンサーを処理することをますます模索しています。 リモザイク。
したがって、その利点は、ソフトウェアで実行するのではなくハードウェアで実行すると、 顧客の待ち時間が短縮され、ショット間の時間とバースト レートが大幅に短縮されます。 したがって、私たちが新しい ISP と新しいチップの開発を進めていくと、ハードウェアに組み込まれたこれらの新しいタイプのセンサーに対して私たちが取り組んでいることがさらに多く見られるようになるでしょう。
分析とコンテキスト: ファーウェイは、40MP クアッドベイヤーセンサーを初めて使用しました。 ファーウェイP20プロ 2018年にはクアッドベイヤーセンサーの人気が非常に高まり、今ではSnapdragon/Exynos/MediaTekチップを搭載した150ドルの携帯電話まで登場しました。 特に、スマートフォン業界では 48MP および 64MP のカメラがスイートスポットとして到達しており、一部の携帯電話では 108MP に達するものもあります。 Quad Bayer センサーと Nona Bayer センサーにはネガがないわけではなく、フル解像度には注意事項があります。
ただし、マーケティング上の理由から、たとえユーザーがほとんどの場合 12MP ピクセルのビニングされた写真を撮っていたとしても、48MP センサーは 12MP センサーよりもはるかに優れているように聞こえます。 理論的には、48MP センサーは、従来の 12MP センサーよりも暗い場所での 12MP ピクセルのビニング写真の方が優れています。 しかし、画像処理もそれに追いつく必要があり、以下で述べるように、それが実現するには長い道のりがあります。 起こる。 いずれにせよ、Spectra ISP がリモザイクでクアッド ベイヤー センサーをどのように処理するかを見るのは興味深いことでした。 これらのセンサーや、OnePlus 8 Pro (大きなピクセルを備えた Sony IMX689 クアッド ベイヤー センサーを使用) のような携帯電話には多くの可能性があります。 現在のスマートフォンカメラの最高峰.
ML ベースの顔認識
ミシャール・ラーマン: 先ほど、ML ベースの顔認識が Spectra 480 でサポートされているとおっしゃっていたと思います。 これはTech Summitで実際に聞いた話です。 [これは] 380 から 480 への改良点の 1 つです。 それは、ビデオ分析エンジンに新しい物体検出ブロックがあり、今後の空間認識に使用されることの一部です。
これにより顔認識がどの程度向上するか、またベンダーがどのような潜在的な用途に使用すると考えているかについて詳しく教えていただけますか?
ジャド・ヒープ: ええ、実際、あなたはまさに組み込みコンピュータ ビジョン ブロック、つまり Tech Summit で話した「EVA」ブロックに該当します。 これには一般的な物体検出コアが含まれており、カメラの実行時にそれを使用して顔を検出します。 このブロックの手法はより伝統的な手法であるため、オブジェクト認識は従来の手法で行われます。 しかし、それに加えて、実際にその精度を向上させるためにソフトウェア エンジンが実行されています。 ブロック。
そのため、ハードウェアがシーン内でより多くのものを顔として検出する可能性があるため、ML ベースのソフトウェアを使用して誤検知を除外しています。その後、ML ソフトウェアが 「わかった、これは顔だ」または「それは実際には顔ではない」と言うので、その ML フィルターを ハードウェア。
今後のことについても色々とお話しさせていただきました。 将来的には、実際の顔全体の検出自体を ML またはソフトウェアの深層学習モードで実行することも計画しています。 特に、これは下位層に当てはまります。そのため、たとえば EVA ハードウェア エンジンがない層では、ディープ ラーニングの段階的な導入を開始します。 検出として、チップの AI エンジンで実行され、その後、700 ～ 800 層の上位層でこれを行うための EVA ハードウェアがあります...
ただし、一般的に言えば、私たちは顔検出を行うための ML アプローチにさらに移行する予定であり、これには中期的にはソフトウェアが、後期にはハードウェアの両方が含まれることになります。 どの製品にそれが搭載されるかについては明らかにしませんが、もちろん、ISP の改善を進めていく中で、ML を実行するためのハードウェア機能をどんどん追加していきます。
ミシャール・ラーマン： 素晴らしい。 まあ、800シリーズの機械学習の改善を下位階層に持ってくるのが方向性だと思うので、それは概ね当然のことだと思います。 しかし、もちろん、それについて具体的に教えていただくことはできません。 更新していただきありがとうございます。
ジャド・ヒープ: 顔検出は私たちが非常に情熱を注いでいる機能です。 私たちはこれらの精度を向上させたいと考えています。800 層から 400 層に至るまで、すべての層で世代を重ねるごとに向上していきます。 ML はその大きな部分を占めています。
分析とコンテキスト: これらの側面により、スマートフォンの写真撮影は最新のミラーレスカメラよりもはるかに大きな可能性をもたらします。 確かに、ミラーレスカメラは暗い場所での画質が良く、柔軟性もはるかに優れていますが、スマートフォンのカメラは独創的な方法でその限界を克服しつつあります。 ML ベースの顔検出はその一部にすぎません。
画像処理エンジンの改良
ミシャール・ラーマン： 素晴らしい。 そこで、Snapdragon Tech Summit 後のラウンドテーブルディスカッションで簡単に聞いたことの 1 つは、画像処理エンジンの改善でした。 低中周波ノイズリダクションまたはLEANRが改善されたと聞きました。 そして、動的なリバース ゲイン マップを適用していること。 それは先ほどの会話で話したことでしょうか。
ジャド・ヒープ：ああ、分かった。 つまり、2つのことを混ぜ合わせているのだと思います。 そうです、LEANR コアがあります。これは、より粗い粒子でノイズリダクションに機能するコアで、暗い場所で役立ちます。 これは、Snapdragon 865 で ISP に追加された新しいブロックであり、それは 1 つのことです。
逆ゲイン マップは別のものです。 それはラウンドテーブルで私が言及した別のことですが、それはレンズシェーディングの効果を逆転させることです。 ご存知のとおり、ハンドセットには小さなレンズが付いています。 レンズの中心は明るくなり、端はよりケラレます。 つまり、暗くなるということです。
そこで、ISP では過去数年間、静的な逆ゲイン マップを適用して暗いエッジを除去してきました。 そして、それはかなり長い間 ISP で行われてきました。 ただし、Snapdragon 865 で追加したのは、エッジに多くのゲインを適用すると、特定の画像フレームに応じてゲイン マップが動的に変化する機能です。 何が起こるかというと、特に屋外で明るい光のシーンを見ている場合にエッジがクリップされる可能性があります。たとえば、青空が少し白くなったり、多くの光のせいでエッジがクリップしたりすることがあります。 得。
したがって、Snapdragon 865 では、その逆ゲイン マップは静的ではありません。 それはダイナミックです。 画像を見て、「よし、画像のこれらの部分が切り取られているが、切り取られるべきではない」と判断して、ロールできるようにします。 ゲインマップから自然に外れるので、レンズを補正することで明るいフリンジやハロー効果、またはこの種の現象が発生することはありません。 シェーディング。 つまり、これはノイズリダクションとは異なり、2 つの異なるコアです。
低照度撮影と積極的なノイズリダクション
イドリース・パテル: それで、私が聞きたかったことの 1 つは、低照度での写真撮影についてでした。 ここ数年と同様、[OEM が実装した] ナイト モードが数多くありますが、私が気づいている点が 1 つあります。 多くのデバイスメーカーは積極的なノイズリダクションを採用しており、輝度ノイズさえも気にならないほどディテールが低下します。 削除されました。
そこで私の質問は、クアルコムはどのデバイスメーカーにもそのようなことをしないようアドバイスしているのか、また、それは彼らの処理パイプラインが行うものなのか、それともSoC内のISPの影響を受けるものなのかということです。
ジャド・ヒープ: その多くはチューニングに関係しており、マルチフレームがない場合、または高感度または低い F 値の光学系を備えた非常に優れたイメージ センサーが利用できないと言えます。 特に暗い場所でノイズを除去する 1 つの方法は、ノイズ リダクションをさらに適用することですが、ノイズ リダクションをさらに適用すると、詳細が失われ、シャープなエッジがぼやけてしまいます。 これらのマルチフレーム技術を適用すると、この問題を取り除くことができます。 あるいは、AI 技術を適用すると、オブジェクトや面のエッジがどこにあるかなどを特定できます。 したがって、今日の時代に強引なノイズリダクションだけを適用することは、ディテールを失うことになるため、実際には対処方法ではありません。
あなたがしたいのは、ノイズを適用できるようにマルチフレーム技術または AI 技術を実行することです きれいなエッジを維持したり、シャープなエッジを維持しながら、オブジェクトの内部領域に近い領域に縮小します。 オブジェクト。 これが私が言いたいことです。AI またはマルチフレームのいずれかを使用することが、ノイズを低減し、暗い場所での画像を改善する方法です。
イドリース・パテル：はい、それがまさに私が聞きたかったことです。 それが、優れたスマートフォンのカメラと中級クラスや低価格クラスのカメラを分ける主な理由だからです。
ジャド・ヒープ： うん。
イドリース・パテル: 優れたスマートフォンのカメラは、いつノイズリダクションを適用すべきか、いつ適用すべきでないかを認識しています。
ジャド・ヒープ： その通り。 はい、先ほども言いましたが、カメラの調整は実際にはお客様または OEM によって行われ、一部の OEM はノイズの少ない柔らかい画像を好みます。 もう少しノイズを増やして詳細を明らかにすることを好む人もいます。
したがって、これはトレードオフであり、制限があります。 そして、私が最善のことは、より高感度でより良いイメージセンサーを入手することである、と私が言ったような気がします。 より大きなピクセルまたはより低い F ナンバーの光学系を使用すると、最初からより多くの光を取り込むことができるため、これは常に より良い。 しかし、それができない場合は、ノイズリダクションを強化してディテールを失うのではなく、マルチフレームまたは AI 技術を使用する必要があります。
分析とコンテキスト: 私の意見では、これが現在のスマートフォンのカメラの最大の問題です。 はい、48MP または 64MP、さらには 108MP センサーも使用できます。 ただし、MFNR または AI 技術による抑制されたノイズ リダクションの使用を選択しない場合、これらのメガピクセル、4-in-1 ビニング、さらには 9-in-1 ビニングのすべてがあまり役に立ちません。 Galaxy S20 Ultra は、108MP プライマリ カメラとして、ここでの主要な例です。 主に失望したと考えられていた. サムスンは、2020年の主力製品のナイトモードで非常に積極的なノイズリダクションを使用することで画像処理で後退しましたが、皮肉にも2019年のGalaxy S10シリーズの画質は向上しました。
ジャッド氏は、一部の OEM は実際にはノイズの少ない柔らかい画像を好むことを明らかにしましたが、これは根本的に間違った選択です。 チューニングはデバイス メーカーによって行われるため、同じセンサーを使用し、同じ SoC を搭載した 2 台の携帯電話が、まったく異なる写真を出力する可能性があります。 これらのデバイスメーカーが、よりパフォーマンスの高い競合他社から真実を学ぶことを期待する必要があります。 サムスンは今年画像処理で道を失ったが、OnePlusはまったく対照的だった。 OnePlus 8 Pro は市場で最高のスマートフォン カメラの 1 つであり、2017 年の OnePlus 5T のカメラの出力が非常に低かったことを考慮すると、これは注目すべき成果です。 メガピクセル戦争がどれほど激化しても、写真を鮮明に見せるためには、画像処理の考え方を変える必要があります。
AV1のデコードとエンコード
ミシャール・ラーマン: つまり、これはカメラの品質について私たちが行っている他の議論とは少し離れたものになります。 オープンソース メディア コーデック コミュニティの一部の人々が疑問に思っていることの 1 つは、クアルコムがいつサポートするかということです。 AV1デコード そしておそらくエンコーディング。 少し言い過ぎであることは承知していますが、Google は Android 10 上の 4K HDR および 8K テレビが AV1 デコードと Netflix をサポートすることを要求しています。 YouTube、彼らはAV1でエンコードされたビデオの展開を開始しています。 つまり、AV1 でエンコードされたビデオの増加は遅いようです。 したがって、少なくとも Spectra でデコードのサポートが利用可能になるのはいつになるだろうかと考えています。
クアルコムの声明: AV1 に関するご質問によると、今日発表できることは何もありません。 ただし、Snapdragon は現在、ソフトウェア経由で AV1 を再生できます。 クアルコムは常にパートナーと協力して、ソフトウェアとハードウェアの製造を通じて次世代コーデックの開発に取り組んでいます。 Snapdragon は、HEIF、HLG、HDR10、HDR10+、Dolby でのキャプチャと再生を含む HDR コーデックのリーダーです ビジョン。 もちろん、高解像度や低消費電力のサポートなど、最高の CODEC エクスペリエンスをお客様に提供するには、これらを HW に実装することが望ましいことを認識しています。
ビデオ録画 - 動き補償
ミシャール・ラーマン: ということで、Idrees にこれ以上質問があるかどうかはわかりませんが、Snapdragon Tech Summit で読み返したことについて 1 つ質問がありました。 動き補償ビデオコアについてです。 ビデオ録画時のノイズを減らすために、動き補償エンジンが改良されていると聞きました。 具体的に何が改善されたのか、何が行われたのか詳しく教えていただけないでしょうか。
ジャド・ヒープ: EVA (Engine for Video Analytics) エンジンは、より高密度のモーション マップ コアで改良され、EVA が たとえば、エンジンは常に受信ビデオを監視しており、モーションを実行するコアがそこにあります。 推定。 私たちがやったことは、そのコアの精度を大幅に向上させ、より正確なレベルではなく、ほぼピクセルごとのレベルで処理を行うようにしたことです。 粗いブロックレベルなので、以前よりもはるかに多くのモーションベクトルをSnapdragon 865のEVAエンジンから取得しています。 世代。 これが意味するのは、エンコードを実行するビデオ コアは、これらの動きベクトルをより多くの目的に使用できるということです。 エンコードに関しては正確ですが、カメラ側の ISP もその情報をノイズとして使用します 削減。
ご存知のとおり、私たちは何世代にもわたって、動き補償された時間フィルター処理を行ってきました。これは実際にはビデオ中のアクティブなノイズ低減であり、時間の経過とともにフレームを平均してノイズを除去します。
ただし、このテクニックの問題は、シーンに動きがあるかどうかです。 動きは処理できないか汚れるため、結局ノイズリダクションから拒否されるだけで、動いているものに醜い痕跡やアーティファクトが発生します。 したがって、動き補償された時間フィルタリングでは、ローカル用のこの密な動きマップがなかったため、過去に何をしてきたかというと、 モーション、私たちは持っています - カメラを動かしているときにのみケースを処理するだけです。すべてが動いているので非常に簡単です 世界的に。
しかし、何かを撮影していて、シーン内でオブジェクトが動いている場合、以前に私たちが行ったことは[それでした] ローカルに移動しているため、ノイズを処理できなかったため、これらのピクセルを無視しました。 物体。 したがって、フレームごとに平均すると、オブジェクトはフレームごとに異なる場所にあるため、実際には処理できません。
しかし、Snapdragon 865 では、より高密度のモーション マップがあり、ほぼピクセル上のモーション ベクトルを確認できるため、 ピクセルベースで、局所的に移動したピクセルをフレームごとに処理してノイズを低減できるようになりましたが、以前はできませんでした。 講演の中で指標について言及したと思います。 番号は覚えていない (40%でした) しかし、ほとんどのビデオでは平均して大きなピクセルの割合がノイズを処理できるようになりましたが、前世代では処理できませんでした。 そしてそれは、グローバルな動きだけでなく、ローカルな動きを理解する能力を持つことにも大きく影響します。
ビデオ録画 - HDR
イドリース・パテル: もう 1 つの質問は、HDR ビデオについてです。 今年は、さらに多くのデバイス メーカーが HDR10 ビデオ録画を提供しているのを目にします。 つまり、それはSnapdragon 865で推進されたものなのか、それとも数世代前から存在していたものなのでしょうか。
ジャド・ヒープ: そうそう、Tech Summit で話したように、HDR のビデオ規格である HDR10 が登場しました。 カメラのエンコード側は、Snapdragon 845 以来、数世代にわたり、常に改善されてきたと思います。 それ。
昨年、私たちは 10 ビット HDR 録画である HDR10+ について話しましたが、静的メタデータの代わりに動的メタデータがあるため、カメラによってキャプチャされたメタデータは シーン中の様子は実際にリアルタイムで録画されるため、再生すると、再生エンジンが暗い部屋か明るい部屋かを認識し、それを補正することができます。 それ。
昨年の Tech Summit では、HDR10+ に代わる Dolby の代替手段である Dolby Vision キャプチャについても話し合いました。 実際に動的メタデータを生成するところも非常に似ています。 したがって、現在の Snapdragon は、HDR10、HDR10+、Dolby Vision キャプチャの 3 つのフォーマットをすべてサポートできます。 したがって実際には制約はなく、OEM は好みの方法を選択できます。 しばらくの間、HDR10 を使用している顧客がいますが、昨年と今年は HDR10+ を選択する顧客がますます増えています。 そして将来的には、Dolby Vision Capture も採用されることになると思います。
そうです、私たちはそれを大々的に宣伝してきました。 HDR は、スナップショット側とビデオ側の両方において、私たちにとって非常に重要です。 そして、先ほども言ったように、当社は Snapdragon 845 以来、HDR10 と HDR10+、そして現在は Dolby Vision フォーマットに注力してきており、最近では Dolby Vision 用の Snapdragon 865 にも取り組んでいます。
ミシャール・ラーマン：また、ドルビービジョン録画を実装しているベンダーがまだあるかどうかは実際にはわかりませんでしたが、これでその質問の答えは得られると思います。 [それは]私たちが将来目にするものです。
ジャド・ヒープ: もちろんです - どのベンダーが興味を持っているかなどについてはコメントできません。 それはドルビーにとっては疑問だろう。 それはドルビーの機能なので、それについてさらに詳しい情報が必要な場合は、ドルビーに問い合わせることをお勧めします。 しかし、これまでのところ、私の知る限り、Dolby Vision Capture を搭載した端末はまだ発売されていません。
イドリース・パテル: ディスプレイのサポートも必要だからです。 スマートフォンのディスプレイは HDR10 と HDR10+ をサポートしていますが、Dolby Vision はサポートしていないことに気付きました。
ジャド・ヒープ: はい、実際のところ、Dolby Vision の再生は過去にも Snapdragon でサポートされていました。 特定のディスプレイで動作し、ディスプレイがドルビー ビジョンに準拠するために必ずしも特定の基準を満たす必要はありません。 ドルビーはディスプレイをグレーディングし、特定の色域、ガンマ、特定のビット深度、特定の明るさ、特定のコントラストがあることを確認します。 比率。
つまり、HDR10 ディスプレイを購入することもできますが、Dolby Vision をサポートするハンドセットを購入することもできます。 再生しますが、Doby はそのディスプレイを認定して、そのディスプレイが厳格な基準に準拠していることを確認します。 要件。
ソフトウェア ベンダーとのコラボレーション: Imint、Morpho、Arcsoft
ミシャール・ラーマン: フォローアップしてさらに調査する必要がある質問が 1 つだけあると思います。私たちが最近話した 1 つの企業は次のとおりです。 イミント. 彼らは最近アップグレードしました Vidhance 安定化ソフトウェア に Spectra 480 で作業する. 皆さんが Spectra 480 処理を利用している多くの企業と協働していることは知っています。 これらのテクノロジーの例やパートナーをさらに開示していただけないでしょうか。 Spectra 480 がどのように使用されているかについて詳しく知るために、フォローアップできるものです。 分野。
ジャド・ヒープ: 私たちは多くのソフトウェア ベンダーと協力しています。 以前に述べたように、ドルビーもその 1 つです。 他にも、あなたが言及したような、EIS (電子画像安定化) 用の Imint/Vidhance があります。 Morpho と Arcsoft についても以前触れましたが、私たちは彼らとも非常に緊密に連携しています。
しかし、彼らとどのように協力するかということに関して言えば、私たちのポリシーは、これらの独立系ソフトウェア ベンダーと本当に密接に協力して、 ソフトウェアで何を行っていても、Snapdragon のハードウェアを活用して消費電力を最小限に抑えることができることを確認します。 可能。
したがって、私たちがこれらのベンダーと協力して行っていることの 1 つは、ベンダーが HVX エンジン、つまり Hexagon DSP コアに確実にアクセスできるようにすることです。 また、EVA エンジンを使用してモーション ベクトルを取得し、画像操作にハードウェアと EVA エンジンを使用しています。 画像の移動、変換、歪み補正などを、GPU を使用するのではなくハードウェアで実行できます。 それ。
したがって、私たちはこれらの ISV、特に私が特に言及した ISV と緊密に連携して、彼らが単にすべてを提供するだけではないことを確認しています。 CPU にはソフトウェアが組み込まれていますが、EVA では DSP やハードウェア アクセラレータなどを使用して、パフォーマンスの向上と消費電力の削減を実現しています。 消費。 これは、お客様に機能と消費電力の可能な限り最適な組み合わせを提供するため、私たちにとっても非常に重要です。
[ジャッドからの締めくくりのコメント]: 本当に良い質問をしてくれてありがとうと言いたいだけです。 本当に、本当に詳しいんです。 私はクアルコムに約 3 年間在籍しており、以前に Spectra を開始した在職期間を超えて、当社の過去を振り返っています。 Snapdragon 845、私たちは ISP、カメラ、そして過去数年間の全体的なエクスペリエンスを劇的に改善するために非常に熱心に取り組みました。 年。 将来何が起こるのかさえとても楽しみです。 そして、将来の Tech Summit で何を発表し、皆さんが質問したり書いたりできるかに興奮しています。 私の意見では、[Spectra Camera] はおそらくクアルコムで最もエキサイティングなテクノロジーの 1 つです。
最終的な考え
スマートフォン写真に対するクアルコムの貢献についてジャッドと議論できたのは素晴らしいことでした。 同社とその特許ライセンス システムについては複雑な感情を抱くかもしれませんが、スマートフォン業界におけるクアルコムの影響力は、話しているかどうかにかかわらず、誰もが感じています。 特許、4G および 5G、Wi-Fi、Adreno GPU、Spectra ISP、および Android スマートフォンのゴールド スタンダードとして広く信じられている Snapdragon チップ自体 市場。
スマートフォン撮影にはまだ解決すべき課題がたくさんありますが、将来は クアルコムは、ML の広大で成長を続ける分野でさらに進歩することを約束しているので、明るいです。 あい。 次回のSnapdragon Tech Summitでクアルコムがこの分野で何を発表するのか見てみましょう。