Qualcomm Spectra 380 は、コンピュテーショナル フォトグラフィーとカメラ AI において大きな飛躍を遂げます。 今年行われる大規模な改良点についてすべて読んでください。
昨日、ハワイで開催されたSnapdragon Technology Summitでは、待望の クアルコム スナップドラゴン 855 が発売されました。 新しいチップは、さまざまな大幅な変更をもたらします (大幅に精度が向上した GPS から、業界初の新しい 2.4 GHz WiFi バージョンまで) 10 年から 5G セルラー接続まで）、議論はイメージングと Qualcomm Spectra 380 の大幅な改善に戻り続けています。 もたらします。
従来、カメラの ISP は、カメラの生のカラー出力を、残りの部分が出力できるものに変換する処理を行っていました。 電話はマシンビジョンに使用できますが、AI 処理がより複雑になるにつれて、専用のハードウェアとの統合が難しくなってきています。 致命的。 クアルコムは、これに向けて最初の一歩を踏み出しました。 クアルコム スペクトラ 280、マルチフレーム ノイズ リダクションと深度センシングのサポートを ISP に直接組み込みましたが、まだ長い道のりがありました。 今年、クアルコムはその飛躍を遂げ、ハードウェア コンピューター ビジョン アクセラレーションを Qualcomm Spectra 380 ISP に直接組み込み、世界初の CV-ISP と呼ばれるものを作成しました。
Qualcomm Spectra 380 は、マシン ビジョンを実行することで、画像処理パイプラインのボトルネックを解消し、前世代に比べて最大 4 倍の省電力を実現します。 ISP 自体で直接処理できるため、複雑な写真 AI タスクのために CPU、GPU、HSP を起動する必要がなくなり、プロセッサの AR が大幅に向上します。 能力。
これは、ハードウェア深度センシング、オブジェクト分類、オブジェクト セグメンテーションのすべてが、Qualcomm Snapdragon 855 上で最大 4k HDR 60Hz でリアルタイムに実行できることを意味します。 これにより、リアルタイム ビデオでライブ オブジェクトや背景を置き換えることができ、新しい可能性が開かれます。 携帯電話と AR の両方で Qualcomm Snapdragon 855 チップセットを搭載した拡張現実 (XR) アプリケーション ヘッドセット。
ただし、Qualcomm Spectra 380 の改善は AI と AR にとどまりません。 クアルコムは色空間と輝度の改善に多大な労力を費やし、フル HDR10+ ビデオ録画のサポートを追加し、 最新の携帯電話の機能を最大限に活用するために、より広いダイナミック レンジとより広い色空間でビデオを録画することが可能 そしてテレビ。
新しい ISP は、VP9 ビデオおよび HEVC ベースの HEIF 画像フォーマットのハードウェア アクセラレーションも改善し、50% 小型化できます。 古い画像形式よりも拡張され、拡張された機能が提供されます (ただし、ハードウェア アクセラレーションの追加を強く期待しています) の AV1 ベースの AVIF は将来的に利用可能になる予定です)
Qualcomm Spectra 380 は、デュアル 14 ビットにより、前年よりも高解像度のイメージングを処理できるようになります。 CV-ISP パイプラインは、デュアル カメラでの 22MP 30Hz の同時キャプチャと、単一画像での 48MP 30Hz キャプチャをサポートします。 センサー。 ただし、この場合、より高速なセンサー読み取りパイプラインはビデオに変換されません。 Qualcomm Spectra 380 は、Spectra と同じネイティブ 720p 480Hz (センサー上のキャッシュを使用せず) をサポートします。 280人がそうしました。
何よりも、Qualcomm Spectra 380 は、新しいモジュラー ISP 設計により新たな発見がもたらされるため、今後も改良され続ける可能性があります。 イメージング パイプラインの柔軟性により、RAW ピクセルと YUV ピクセルの両方で異なる処理方法の可能性が広がります。 ドメイン。
カメラの AI 機能の拡張に興奮していますか? マシンビジョンを何に使用できるようになりたいと考えていますか? 以下のコメント欄で教えてください。