ソニーは、世界初となるAI処理を搭載したカメライメージセンサー「IMX500」「IMX501」を発表した。
ソニーは、スマートフォン向けカメライメージセンサーの供給において最大のプレーヤーです。 人気のあるセンサーの例には、2019 年にさまざまな価格帯のさまざまな携帯電話で使用された 48MP IMX586 が含まれます。 の IMX586 64MP IMX686 が後継となりました。 もちろん同社はスマートフォンのイメージセンサーだけを扱っているわけではない。 同社は、多くの場合ゴールドスタンダードとみなされているプレミアムミラーレスカメラのラインナップで大成功を収めています。 その絶え間ない革新のペースは止まる気配を見せておらず、現在、AI処理を備えた初のイメージセンサー、それぞれIMX500とIMX501の次期リリースを発表している。
Sony IMX500 および IMX501 は、今後発売されるインテリジェント ビジョン センサーの 2 つのモデルです。 ソニーによれば、AI処理機能を搭載した世界初のイメージセンサーだという。 同社では、イメージセンサー自体にAI処理機能を搭載することで、高速なエッジAI処理と必要なデータのみの抽出が可能になるとしている。 これにより、クラウド サービスを使用する場合と比較して、データ送信の遅延が短縮され、プライバシーの問題に対処し、消費電力と通信コストが削減されます。
これら 2 つのセンサーは携帯電話のカメラ用ではないことに注意することが重要です。 むしろ、小売業や産業機器業界での活用はもちろん、クラウドと連携した「最適なシステム」の構築にも貢献しています。
なぜ AI 処理がセンサー自体と統合されているのでしょうか? ソニーは、IoTの普及によりあらゆる機器がクラウドに接続されるようになり、 機器から得た情報をAIで処理する情報処理システムが普及しています。 雲。 このようなアプローチに関連する問題は、データ送信の遅延が増大し、リアルタイムの情報処理が妨げられることです。 個人を特定できるデータをクラウドに保存することに関連するユーザーからのセキュリティ上の懸念。 クラウドサービスに伴う消費電力や通信コストの増加などの課題もある。
IMX500とIMX501は、ピクセルチップとロジックチップで構成されるスタック構成を特徴としています。 AI画像解析・処理機能をロジックチップ上に搭載。 ピクセルチップで取得した信号はセンサー上のAIを介して処理されるため、高性能プロセッサーや外部メモリーが不要になります。 これにより、エッジ AI システムの開発が可能になります。
センサーは画像情報の代わりにメタデータを出力するため、データ量が削減され、プライバシーの問題に対処できます。 AI 機能により、高速 AI 処理によるリアルタイムのオブジェクト追跡などのアプリケーションが可能になります。 ユーザーの要件や使用場所の状況に応じて、内部メモリを書き換えることにより、異なるAIモデルを選択できます。
これらのセンサーのピクセル チップには BSI が搭載されており、情報をキャプチャするための有効 MP は約 12.3 です。 光学フォーマットは 1/2.3 インチ (対角 7.857mm)、ピクセルサイズは 1.55 ミクロンです。 ベイヤーカラーフィルター配列を備えています。 このセンサーは、AI 処理なしの 4K 60fps ビデオ録画と、AI 処理ありの 30fps 4K ビデオ録画が可能です。 ローカルチップには従来のイメージセンサー動作回路に加え、ソニー独自のDSPも搭載。 DSP は、AI 信号処理と AI モデル用のメモリ専用です。 これにより、高性能プロセッサや外部メモリが必要なくなり、エッジ AI システムにメリットがもたらされます。
イメージセンサーのワークフローをソニーが解説。 ピクセルチップで取得した信号はISPを経由し、ISP上のプロセス段階でAI処理が行われます。 抽出した情報をロジックチップにメタデータとして出力することでデータ量を削減 扱った。 実際の画像情報そのものは出力されないため、セキュリティやプライバシーに有利です。 ISP形式画像(YUV/RGB)やROI(関心領域)特定領域抽出画像などのデータ出力形式を選択できます。
ソニーも高速化を推進している。 従来のイメージセンサーで動画を撮影する場合、個人ごとにデータを送る必要があるとのこと AI 処理の出力フレームが増加するため、データ転送量が増加し、リアルタイム性の実現が困難になります。 パフォーマンス。 一方、新しいIMXセンサーは、ISP処理と高速AI処理（3.1ms）を実行します。 MobileNet V1*2)の処理をロジックチップ上で行うため、全工程を1本の動画で完結 フレーム。 これにより、ソニーによれば、「ビデオ録画中のオブジェクトの高精度でリアルタイムの追跡」が可能になるという。
最後に、ユーザーは選択した AI モデルを組み込みメモリに書き込み、要件やシステムが使用されている場所の条件に応じて更新できます。 ソニーは、この製品を採用した複数のカメラが小売店に設置されている例を挙げています。 単一タイプのカメラを、さまざまな場所、時間、場所にわたって多用途に使用できます。 目的。 施設の入り口にカメラを設置すると、施設の入場者数をカウントすることができます。 店舗の棚に設置すると、在庫切れの検出に使用できます。 天井に設置すると、来店客のヒートマッピングなどに使用できます。 特定のカメラの AI モデルは、ヒート マップの検出に使用されるモデルから、消費者の行動を識別するための AI モデルに書き換えることができます。
文字通り、イメージセンサーの今後のリリースの発表は確かに注目に値する成果です。 ただし、監視にはそれ自体の影響も伴います。 現時点では、センサーはセキュリティ カメラなどの低電力ソリューションを対象としています。 数年後にはスマートフォンのカメラにもこの技術が組み込まれるかもしれないが、今のところは予定されていない 組み込みロジック チップは、最新の ISP が提供する多用途性に匹敵できないため、制限があるためです ( スペクトル ISP Qualcomm Snapdragon SoC では)。 現時点では、スマートフォンのカメラの機能は異なっており、センサー自体は比較的機能せず、携帯電話の SoC の一部として搭載されているスマート ISP によって機能します。 ISP が画像処理のすべての作業を行うため、センサー自体の実際の役割はかなり限定されます。 最新のスマートフォンのカメラでは (画像処理に優れたカメラ ハードウェアを搭載することよりも画像処理の方が重要です) 品質）。 コンピューテーショナル フォトグラフィーは新しい流行語ですが、産業界では、IMX500 と IMX501 はセンサー自体に AI 処理の栄光をもたらそうとしています。
IMX500 と IMX501 は来年製品として発売される予定です。 ソニーは2020年4月と6月にそれぞれ製品のサンプルをリリースする予定だ。 仕様の詳細については、ソースリンクを確認することをお勧めします。
ソース： ソニー