Sony IMX378: Google Pixel のセンサーとその機能の包括的な内訳

IMX378の概要

私たちは、次期 Google で使用される IMX378 センサーについてもう少し詳しく知るためにソニーに連絡を取りました。 ピクセル そして ピクセルXL 電話だけでなく、 シャオミ Mi 5S. 残念ながら、ソニーは Exmor RS IMX378 センサーのデータシートをまだ配布できませんでしたが、 非常に役に立ち、これまでに公開されていない情報をいくつか提供していただきました。 IMX378。

まず、名前自体が間違っていました。 の一部になるという噂にもかかわらず、 エクスモアR IMX377 などの裏面照射型 (BSI) CMOS センサーのライン ネクサス5X そして ネクサス6P、ソニーの連絡先から、IMX378 はソニーの製品の一部として考慮されるとの連絡がありました。 エクスモアRS 積層型 BSI CMOS センサーのライン。

ピクセル サイズ (1.55 μm) やセンサー サイズ (7.81 mm) など、多くの点は IMX377 から IMX378 まで変わっていませんが、いくつかの重要な機能が追加されています。 つまり、スタック型 BSI CMOS 設計となり、PDAF を備え、ソニーの SME-HDR テクノロジーが追加され、高フレーム レート (スローモーション) ビデオのサポートが向上しました。

積層BSI CMOS

裏面照射自体は非常に便利な機能で、ここ数年、主力スマートフォンではほぼ標準となっています。 HTC エボ 4G 2010年に。 一部を移動することで、カメラは（より多くのノイズを犠牲にして）実質的により多くの光を捉えることができます。 従来、前面照射型センサーのフォトダイオードの前、後ろに配置されていた構造 それ。

驚くべきことに、ほとんどのカメラ技術とは異なり、背面照射はもともと DSLR よりも前に携帯電話に搭載され始めました。これは主に、大型の BSI センサーを作成する際の困難が原因でした。 最初の BSI APS-C センサーは、2014 年から同社の NX1 カメラに搭載されていた Samsung S5KVB2 でした。 最初のフルフレームセンサーは、前回の Sony α7R II に搭載されていた Sony Exmor R IMX251 でした。 年。

スタック型 BSI CMOS テクノロジーは、より多くの回路を前層からフォトダイオードの背後の支持基板に移動することで、これをさらに一歩進めています。 これにより、ソニーはイメージ センサーのサイズを大幅に縮小できるだけでなく (同じ設置面積内でより大きなセンサーを搭載できるようになります)、ピクセルと回路を印刷することもできます。 (異なる製造プロセスであっても) 個別に実行できるため、欠陥のリスクが軽減され、歩留まりが向上し、フォトダイオードとサポート間の専門化が可能になります。 回路。

PDAF

IMX378 は、昨年の Nexus 携帯電話と IMX377 ではサポートされていなかった位相検出オートフォーカスを追加します。. これにより、カメラはセンサー上の異なる点間の光強度の違いを効果的に利用して識別することができます。 カメラが焦点を合わせようとしているオブジェクトがフォーカスポイントの前または後ろにある場合は、センサーを調整します それに応じて。 これは、これまで多くのカメラで見られてきた従来のコントラストベースのオートフォーカスと比較して、速度と精度の両方の点で大幅な改善です。 その結果、PDAF を使用する携帯電話が爆発的に増加し、業界全体でカメラ マーケティングの中心として取り上げられる巨大なマーケティング バズワードになりました。

デュアル フォトダイオード PDAF ほどフォーカスは速くありませんが、 サムスンギャラクシーS7 持っています (としても知られています) 「デュアルピクセルPDAF」 そして 「デュオピクセルオートフォーカス」）、ピクセルごとに 2 つのフォトダイオードを組み込むことで、すべての単一ピクセルを位相検出に使用できるようになりますが、PDAF とレーザー オートフォーカスの統合は依然として強力な組み合わせとなるはずです。

高フレームレート

最近、高フレームレートのカメラ (消費者向けアプリケーションとプロの映画制作の両方) について多くの話題が集まっています。 より高いフレーム レートで撮影できるため、非常に滑らかなビデオを作成するために使用できます。 通常の速度 (スポーツやその他の高速シナリオには最適です) と、 本当に 興味深いビデオ すべての速度を遅くしたとき。

残念ながら、より高いフレーム レートでビデオを撮影することは非常に困難です。 センサーはより高いフレーム レートで撮影できるため、携帯電話の画像信号プロセッサがフレーム レートを維持することが困難になる場合があります 上。 そのため、Nexus 5X および 6P で使用されている IMX377 は 300 Hz で 720p ビデオ、120 Hz で 1080p ビデオを撮影できましたが、Nexus 5X では 120 Hz 720p、6P では 240 Hz 720p しか撮影できませんでした。 Nexus デバイスは 30 Hz に制限されているにもかかわらず、IMX377 は 60 Hz の 4k ビデオも可能でした。

Pixel スマートフォンはどちらも、最大 120 Hz 1080p ビデオと 240 Hz 720p ビデオを実現できます。 これは IMX378 に関連する改良の一部であり、最大 240 Hz の能力が向上しています。 1080p。

このセンサーは、フル解像度のバーストショットをより速く撮影することもでき、10 ビット出力では 60 Hz、12 ビット出力では 40 Hz までステップアップします。 出力 (それぞれ 40 Hz と 35 Hz から増加) を使用すると、使用時のモーション ブラーや手ぶれの量を軽減できます。 HDR+。

SME-HDR

従来、ビデオの HDR はトレードオフでした。 フレームレートを半分にするか、解像度を半分にする必要がありました。 その結果、多くの OEM はそれを気にすることすらなく、Samsung と Sony はそれを実装している数少ない企業の 1 つです。 さえも サムスンギャラクシーノート7 HDR ビデオの計算コストが大きいため、1080p 30 Hz の録画に制限されています。

HDR ビデオの 2 つの主要な従来の方法のうちの 1 つ目。Red Digital Cinema Camera Company がこれと呼んでいます。 HDRx ソニーはこれをデジタル オーバーラップ HDR と呼んでいます (DOL-HDR)は、2 つの連続した画像 (1 つは暗く露出した画像、もう 1 つは明るく露出した画像) を撮影し、それらを結合して 1 つのビデオ フレームを作成することで機能します。 これにより、カメラの最大解像度を維持することができます（そして 2 つの別々のシャッタースピードを設定することもできます）。 フレーム）、2 つのフレーム間の時間差により問題が発生することがよくあります（特に動きの速い場合） オブジェクト)。 さらに、DOL-HDR の場合と同様に、携帯電話の ISP が別々のフレームを結合する処理を行うため、プロセッサが対応するのが非常に困難になる場合があります。

ソニーが Binning Multiplexed Exposure HDR (BME-HDR) と呼ぶもう 1 つの従来の方法では、異なる露出設定を設定します。 すべてのペア センサー内の 2 つのピクセル ラインを使用して 2 つの半分の解像度の画像を同時に作成し、これらの画像を結合してビデオの 1 つの HDR フレームを作成します。 この方法では、HDRx に関連する問題、つまりフレーム レートの低下は回避されますが、他の問題もあります。 具体的には、解像度の低下と、2 つのセット間で露出を変更できる制限です。 線。

空間多重露出 (SME-HDR) は、センサーが可能なフル解像度とフル フレーム レートで HDR を撮影できるようにするためにソニーが使用している新しい方法です。 の亜種です 空間的に変化する露出 独自のアルゴリズムを使用して、ソニーが暗いピクセルと明るいピクセルから情報をキャプチャできるようにします。 市松模様のパターンで配置され、暗所と明所の両方の露出に対してフル解像度の画像を推測します。 画像。

残念ながら、ソニーは正確なパターンについてより詳細な説明を私たちに与えることができず、決して開示できない可能性があります -- 企業はカードを切る傾向があります HDR で見られるような最先端のテクノロジーに関しては、彼らは非常に身近な存在であり、Google さえも、HDR 写真用に独自のアルゴリズムを持っています。 HDR+。 ただし、それをどのように実現するかを組み合わせるために使用できる、公開されている情報がまだいくつかあります。 Shree K によっていくつかの論文が出版されています。 コロンビア大学のネイヤー (そのうちの1つ これには、空間的に変化する露出を使用するさまざまな方法と、それを実現できるさまざまなレイアウトが含まれています。 以下は、RGBG イメージ センサーで 4 つの露出レベルを備えたレイアウトの例です。 このレイアウトでは、1 回のキャプチャでフル解像度の HDR 画像をわずか約 20% の解像度で実現できると主張しています。 シナリオに応じて空間解像度が低下する（ソニーが主張しているのと同じ成果） SME-HDR）。

ソニーはすでにいくつかのイメージ センサーで SME-HDR を使用しています。その中には、最近人気が高まっている IMX214 ( ASUS ゼンフォン 3 レーザー、 モトZ、 そしてその Xperia X パフォーマンス) ですが、昨年使用された IMX377 と比較して、IMX378 に新しく追加されました。 これにより、カメラ センサーは、SME-HDR がアクティブな状態で、10 ビットのフル解像度と 60 Hz の 4k ビデオの両方を出力できます。 プロセスの他の場所にボトルネックがあると制限が低くなりますが、これは IMX377 の能力を上回る素晴らしい改善であり、将来良いことが起こる兆しです。

IMX377 に対する IMX378 の大きな改善点の 1 つは、より多くの画像処理をオンチップで処理できるため、 ISP のワークロード (ただし、OEM がどのように使用するかに応じて、ISP は RAW 画像データを要求することができます) センサー）。 欠陥修正やミラーリングなどの多くの小さなことをローカルで処理できますが、さらに重要なのは、ISP を介さずに BME-HDR または SME-HDR も処理できることです。 これにより、将来の電話機で ISP のオーバーヘッドが解放され、将来的には大きな違いとなる可能性があります。

この記事の作成にご協力いただいたソニーに改めて感謝いたします。 この正確さと深さを保証するためにソニーが多大な努力を払ってくれたことに本当に感謝しています。 特に、これまで未公開だった情報を明らかにできるようにする機能です。 IMX378。

そうは言っても、この情報の一部、さらには基本的な製品情報にアクセスするのが非常に難しいのは本当に残念です。 企業が自社の Web サイトに情報を掲載しようとすると、多くの場合、その Web サイトはアクセスしにくく不完全なものになることがよくあります。 その理由の 1 つは、会社の従業員が本業に集中しているため、それが二次的な関心事として扱われることが多いためです。 仕事。 広報を担当する専任担当者が 1 人いるだけで、この種の情報を作成するという点で大きな違いが生まれます。 一般の人々が利用可能であり、アクセスできるものであり、それを無料で行おうとしている人もいます。 時間。 上でも ソニーエクスモア ウィキペディアの記事自体は、数か月にわたって一人の人間が暇なときにほとんど役に立たない状態からその基礎を築き上げたものです。 1,715バイトの記事 それは何年もの間ほとんど同じでしたが、今日私たちがそこで目にするのは 185 人の異なる編集者による約 50,000 バイトの記事です。 この記事は、おそらくオンラインで入手できる Sony Exmor センサー シリーズに関する情報の最良のリポジトリであり、他の記事でも非常によく似たパターンが見られます。 単一の専用ライターによって、顧客が異なる製品をいかに簡単に比較できるかが大幅に変わります。 製品、そしてその主題について興味を持った消費者がどの程度知識を得ているかという点で、広範囲にわたる影響を与える可能性があります。 効果。 しかし、それはまた別の機会にお話します。

いつものように、これらのハードウェアの変更がデバイス自体にどのような影響を与えるのか疑問に思っています。 4k 60 Hz HDR ビデオを取得できないことは明らかです (Google がまだ言及していないため、HDR ビデオをまったく取得できない可能性もあります) が、フル解像度は高速です。 撮影は HDR+ で大幅に役立つ可能性が高く、新しいセンサーの改善が他の同様の小さいながらも重要な方法で携帯電話に少しずつ浸透していくのがわかります。 同じように。

DXOMarkしながら ピクセルをリストします スマートフォンのパフォーマンスは Samsung Galaxy S7 や HTC 10 よりわずかに優れていましたが、Pixel スマートフォンにわずかなリードを与えた要因の多くは主要なソフトウェアでした HDR+ (これは本当に素晴らしい結果をもたらし、DXOMark はそのレビューのセクション全体を捧げました) や Google の特別な EIS などの改善 ジャイロスコープを 1 秒間に 200 回サンプリングするシステム (OIS と連携して動作可能) により、これまでで最高の電子画像安定化機能を提供します。 見た。 確かに、Pixel スマートフォンには優れたカメラが搭載されていますが、OIS とデュアル ピクセル PDAF が追加されていれば、さらに優れたカメラになったでしょうか? 絶対に。

誤解しないでください。先ほども言いましたが、Pixel スマートフォンには本当に素晴らしいカメラが搭載されていますが、特にそれ以上のものを望んでいることを責めることはできません。 これらの改善への道筋が非常に明確な場合（そして、携帯電話の価格が完全なフラッグシップ価格であり、最高の機能が期待できる場合） 最高）。 私の中には、もっと欲しい、バッテリー寿命の向上、より高速なプロセッサー、バッテリー寿命の延長、より明るいものを求める気持ちが常にあります。 より鮮やかな画面、より大きなスピーカー、より優れたカメラ、より多くのストレージ、より長いバッテリー寿命、そして最も重要なことに、より長いバッテリー寿命 （また）。 そうは言っても、Pixel スマートフォンには多くの小さな素晴らしい機能があり、それらを組み合わせることで本当に有望なデバイスが作成される可能性があり、それを見るのが楽しみです。