Sony IMX378: Perincian Komprehensif Sensor Google Pixel dan Fitur-fiturnya

Ikhtisar IMX378

Kami menghubungi Sony untuk mencoba mempelajari lebih banyak tentang sensor IMX378 yang digunakan oleh Google mendatang Piksel Dan Piksel XL telepon, serta oleh Xiaomi Mi 5S. Sayangnya, Sony belum bisa mendistribusikan datasheet untuk sensor Exmor RS IMX378, namun mereka sangat membantu, dan dapat memberi kami beberapa informasi yang belum pernah dirilis sebelumnya tentang IMX378.

Pertama, namanya sendiri salah. Meskipun rumor menyatakan bahwa itu akan menjadi bagian dari Exmor R rangkaian sensor CMOS Backside Illuminated (BSI) seperti IMX377 sebelumnya yang digunakan di Perhubungan 5X Dan Perhubungan 6P, kontak kami di Sony telah memberi tahu kami bahwa IMX378 akan dianggap sebagai bagian dari Sony Exmor RS rangkaian sensor CMOS BSI bertumpuk.

Meskipun banyak hal yang tetap sama dari IMX377 hingga IMX378, termasuk ukuran piksel (1,55 μm) dan ukuran sensor (7,81 mm), ada beberapa fitur utama yang ditambahkan. Yaitu sekarang desain BSI CMOS bertumpuk, memiliki PDAF, menambahkan teknologi SME-HDR Sony, dan memiliki dukungan yang lebih baik untuk video dengan kecepatan bingkai tinggi (gerakan lambat).

CMOS BSI bertumpuk

Penerangan bagian belakang sendiri merupakan fitur yang sangat berguna dan hampir menjadi standar pada ponsel pintar andalan selama beberapa tahun terakhir, dimulai dengan HTC Evo 4G pada tahun 2010. Hal ini memungkinkan kamera menangkap lebih banyak cahaya (dengan mengorbankan lebih banyak noise) dengan menggerakkan sebagian struktur yang biasanya berada di depan fotodioda pada sensor penerangan depan, di belakang dia.

Anehnya, tidak seperti kebanyakan teknologi kamera, pencahayaan bagian belakang awalnya mulai muncul di ponsel sebelum DSLR, sebagian besar disebabkan oleh kesulitan dalam membuat sensor BSI yang lebih besar. Sensor BSI APS-C pertama adalah Samsung S5KVB2 yang ditemukan di kamera NX1 mereka mulai tahun 2014, dan sensor full-frame pertama adalah Sony Exmor R IMX251 yang ditemukan di Sony α7R II dari tahun lalu tahun.

Teknologi Stacked BSI CMOS mengambil satu langkah lebih jauh dengan memindahkan lebih banyak sirkuit dari lapisan depan ke substrat pendukung di belakang fotodioda. Hal ini tidak hanya memungkinkan Sony mengurangi ukuran sensor gambar secara signifikan (memungkinkan sensor yang lebih besar dalam ukuran yang sama), namun juga memungkinkan Sony mencetak piksel dan sirkuit. secara terpisah (bahkan pada proses manufaktur yang berbeda), mengurangi risiko cacat, meningkatkan hasil, dan memungkinkan lebih banyak spesialisasi antara fotodioda dan perangkat pendukungnya. sirkuit.

PDAF

IMX378 menambahkan Phase Detection Autofocus, yang tidak didukung oleh ponsel Nexus tahun lalu dan IMX377. Hal ini memungkinkan kamera untuk secara efektif menggunakan perbedaan intensitas cahaya antara berbagai titik pada sensor untuk mengidentifikasi jika objek yang coba difokuskan kamera berada di depan atau di belakang titik fokus, dan sesuaikan sensornya demikian. Ini merupakan peningkatan besar dalam hal kecepatan dan akurasi dibandingkan autofokus berbasis kontras tradisional yang pernah kita lihat pada banyak kamera di masa lalu. Hasilnya, kita telah melihat ledakan besar ponsel yang menggunakan PDAF, dan ini telah menjadi kata kunci pemasaran besar yang dijadikan sebagai pusat pemasaran kamera di seluruh industri.

Meskipun fokusnya tidak secepat Dual Photodiode PDAF Samsung Galaksi S7 memiliki (juga dikenal sebagai “PDAF Piksel Ganda” Dan “Fokus Otomatis Duo Piksel”), yang memungkinkan setiap piksel digunakan untuk deteksi fase dengan menyertakan dua fotodioda per piksel, penggabungan PDAF dan fokus otomatis laser tetap menjadi kombinasi yang ampuh.

Kecepatan Bingkai Tinggi

Akhir-akhir ini banyak perbincangan tentang kamera dengan frame rate tinggi (baik untuk aplikasi konsumen, maupun dalam pembuatan film profesional). Mampu memotret pada frame rate yang lebih tinggi dapat digunakan untuk membuat video yang sangat halus kecepatan reguler (yang bisa sangat bagus untuk olahraga dan skenario kecepatan tinggi lainnya) dan untuk menciptakannya Sungguh video yang menarik saat kamu memperlambat semuanya.

Sayangnya, sangat sulit untuk merekam video pada frame rate yang lebih tinggi, dan bahkan dengan kamera Anda sensor dapat memotret pada kecepatan bingkai yang lebih tinggi, hal ini mungkin sulit dipertahankan oleh pemroses sinyal gambar ponsel ke atas. Itulah sebabnya meskipun IMX377 yang digunakan di Nexus 5X dan 6P dapat merekam video 720p pada 300 Hz dan video 1080p pada 120 Hz, kami hanya melihat 120 Hz 720p dari Nexus 5X dan 240 Hz 720p dari 6P. IMX377 juga mampu menghasilkan video 4k 60 Hz, meskipun perangkat Nexus dibatasi hingga 30 Hz.

Ponsel Pixel mampu menghadirkan video hingga 120 Hz 1080p dan video 240 Hz 720p berkat bagian dari peningkatan terkait IMX378, yang mengalami peningkatan kemampuan hingga 240 Hz pada 1080p.

Sensornya juga mampu memotret gambar burst resolusi penuh lebih cepat, mencapai 60 Hz pada output 10 bit dan 40 Hz pada output 12 bit. output (masing-masing naik dari 40 Hz dan 35 Hz), yang akan membantu mengurangi jumlah kekaburan gerakan dan guncangan kamera saat menggunakan HDR+.

UKM-HDR

Secara tradisional, HDR untuk video merupakan sebuah trade-off. Anda harus memotong setengah kecepatan bingkai, atau Anda harus memotong setengah resolusi. Akibatnya, banyak OEM yang tidak mempermasalahkannya, dan Samsung dan Sony termasuk di antara sedikit OEM yang menerapkannya. Bahkan Samsung Galaksi Catatan 7 terbatas pada perekaman 1080p 30 Hz karena tingginya biaya komputasi video HDR.

Yang pertama dari dua metode tradisional utama untuk video HDR, yang disebut oleh Red Digital Cinema Camera Company HDRx dan yang oleh Sony disebut Digital Overlap HDR (DOL-HDR), bekerja dengan mengambil dua gambar berturut-turut, satu diekspos lebih gelap dan satu lagi diekspos lebih terang, lalu menggabungkan keduanya untuk membuat satu bingkai video. Meskipun ini memungkinkan Anda untuk mempertahankan resolusi penuh kamera (dan mengatur kecepatan rana berbeda untuk keduanya secara terpisah frame), sering kali dapat menimbulkan masalah karena kesenjangan waktu antara kedua frame (terutama dengan pergerakan cepat objek). Selain itu, akan sangat sulit bagi prosesor untuk mengimbanginya, karena dengan DOL-HDR, ISP ponsel menangani penggabungan frame-frame terpisah menjadi satu.

Metode tradisional lainnya, yang oleh Sony disebut Binning Multiplexing Exposure HDR (BME-HDR), menetapkan pengaturan eksposur berbeda untuk setiap pasangan dari dua baris piksel di sensor untuk membuat dua gambar beresolusi setengah secara bersamaan, yang kemudian digabungkan menjadi satu bingkai HDR untuk video. Meskipun metode ini menghindari masalah yang terkait dengan HDRx, yaitu penurunan kecepatan bingkai, metode ini memiliki masalah lain, khususnya pengurangan resolusi dan batasan bagaimana eksposur dapat diubah antara dua set garis.

Eksposur Multipleks Spasial (SME-HDR) adalah metode baru yang digunakan Sony untuk memungkinkan mereka memotret HDR pada resolusi penuh dan kecepatan bingkai penuh yang mampu dilakukan sensor. Ini adalah varian dari Eksposur yang Bervariasi Secara Spasial yang menggunakan algoritme eksklusif untuk memungkinkan Sony menangkap informasi dari piksel gelap dan terang disusun dalam pola gaya kotak-kotak, dan menyimpulkan gambar resolusi penuh untuk eksposur gelap dan terang gambar-gambar.

Sayangnya, Sony tidak dapat memberikan penjelasan lebih detail mengenai pola pastinya, dan mereka mungkin tidak akan pernah bisa mengungkapkannya -- perusahaan cenderung memainkan peran mereka sendiri. sangat dekat dengan teknologi mutakhir, seperti yang kita lihat di HDR, bahkan Google memiliki algoritme miliknya sendiri untuk foto HDR yang dikenal sebagai HDR+. Namun, masih ada beberapa informasi yang tersedia untuk umum yang dapat kita gunakan untuk mengumpulkan bagaimana hal ini dapat dicapai. Beberapa makalah telah diterbitkan oleh Shree K. Nayar dari Universitas Columbia (salah satunya bekerja sama dengan Tomoo Mitsunaga dari Sony) yang berisi berbagai cara menggunakan Eksposur Bervariasi Spasial, dan tata letak berbeda yang dapat mencapainya. Di bawah ini adalah contoh tata letak dengan empat tingkat eksposur pada sensor gambar RGBG. Tata letak ini mengklaim mampu mencapai pengambilan tunggal gambar HDR resolusi penuh hanya dengan sekitar 20% hilangnya resolusi spasial, tergantung pada skenarionya (pencapaian yang sama seperti yang diklaim Sony UKM-HDR).

Sony telah menggunakan SME-HDR pada beberapa sensor gambar, termasuk pada IMX214 yang mendapatkan banyak popularitas akhir-akhir ini (digunakan dalam asus zenfone 3 Laser, itu Moto Z, dan itu Performa Xperia X), namun merupakan tambahan baru pada IMX378 dibandingkan dengan IMX377 yang digunakan tahun lalu. Hal ini memungkinkan sensor kamera mengeluarkan resolusi penuh 10 bit dan video 4k pada 60 Hz dengan SME-HDR aktif. Meskipun hambatan di bagian lain dalam proses akan menghasilkan batas yang lebih rendah, ini merupakan peningkatan luar biasa dibandingkan kemampuan IMX377, dan merupakan tanda akan adanya hal-hal baik di masa depan.

Salah satu peningkatan besar IMX378 dibandingkan IMX377 adalah ia mampu menangani lebih banyak pemrosesan gambar pada chip, sehingga mengurangi beban kerja ISP (meskipun ISP masih dapat meminta data gambar RAW, tergantung bagaimana OEM memutuskan untuk menggunakan sensor). Ia dapat menangani banyak hal kecil seperti koreksi cacat dan mirroring secara lokal, namun yang lebih penting, ia juga dapat menangani BME-HDR atau SME-HDR tanpa harus melibatkan ISP. Hal ini berpotensi menjadi perbedaan besar di masa depan dengan membebaskan sejumlah overhead untuk ISP pada ponsel masa depan.

Kami ingin mengucapkan terima kasih sekali lagi kepada Sony atas semua bantuannya dalam pembuatan artikel ini. Kami sangat menghargai upaya Sony dalam membantu memastikan keakuratan dan kedalaman informasi ini fitur ini, terutama dalam memungkinkan kami mengungkap beberapa informasi yang belum pernah dirilis sebelumnya tentang IMX378.

Meskipun demikian, sangat disayangkan bahwa sangat sulit untuk mengakses beberapa informasi ini, bahkan informasi dasar produk. Ketika perusahaan mencoba untuk menempatkan informasi di situs web mereka, sering kali informasi tersebut tidak dapat diakses dan tidak lengkap Hal ini karena hal ini sering kali dianggap sebagai kekhawatiran sekunder bagi karyawan perusahaan, yang lebih fokus pada hal utama mereka bekerja. Satu orang yang berdedikasi menangani hubungan masyarakat dapat membuat perbedaan besar dalam menghasilkan informasi seperti ini tersedia dan dapat diakses oleh masyarakat umum, dan kami melihat beberapa orang mencoba melakukan hal itu secara gratis waktu. Bahkan di Sony Exmor Artikel Wikipedia itu sendiri, di mana selama beberapa bulan seseorang di waktu luangnya meletakkan sebagian besar fondasi untuk mengambilnya dari orang yang hampir tidak berguna. artikel 1.715 byte yang sebagian besar masih sama selama bertahun-tahun, ke dalam artikel berukuran ~50.000 byte yang kita lihat di sana hari ini dengan 185 editor berbeda. Sebuah artikel yang bisa dibilang merupakan gudang informasi terbaik tentang lini sensor Sony Exmor yang tersedia online, dan kita dapat melihat pola yang sangat mirip di artikel lain. Seorang penulis yang berdedikasi dapat membuat perbedaan besar dalam betapa mudahnya pelanggan membandingkan berbagai hal produk, dan seberapa terdidiknya konsumen yang berminat terhadap produk tersebut, yang dapat berdampak luas efek. Tapi itu topik untuk lain waktu.

Seperti biasa, kami bertanya-tanya bagaimana perubahan perangkat keras ini akan memengaruhi perangkat itu sendiri. Kami jelas tidak akan mendapatkan video HDR 4k 60 Hz (dan mungkin tidak mendapatkan video HDR sama sekali, karena Google belum menyebutkannya), tetapi resolusi penuh yang lebih cepat pengambilan gambar kemungkinan besar akan sangat membantu dengan HDR+, dan kita akan melihat peningkatan pada sensor yang lebih baru masuk ke dalam ponsel dengan cara serupa, kecil namun substansial. demikian juga.

Sedangkan DXOMark mencantumkan Piksel ponsel berkinerja sedikit lebih baik daripada Samsung Galaxy S7 dan HTC 10, banyak hal yang membuat ponsel Pixel unggul kecil adalah perangkat lunak utama peningkatan seperti HDR+ (yang memberikan hasil yang benar-benar fantastis, dan DXOMark mendedikasikan seluruh bagian ulasannya) dan EIS khusus Google sistem (yang dapat bekerja bersama-sama dengan OIS) yang mengambil sampel giroskop 200 kali per detik untuk memberikan Stabilisasi Gambar Elektronik terbaik yang pernah kami miliki terlihat. Ya, ponsel Pixel memiliki kamera yang bagus, tetapi bisakah mereka menjadi lebih baik lagi dengan tambahan OIS dan Dual Pixel PDAF? Sangat.

Jangan salah paham, seperti yang saya katakan, ponsel Pixel memiliki kamera yang sangat menakjubkan, tetapi Anda tidak dapat menyalahkan saya karena menginginkan lebih, terutama ketika jalur menuju peningkatan tersebut sangat jelas (dan ketika ponsel diberi harga dengan harga andalan penuh, di mana Anda mengharapkan yang terbaik dari yang terbaik). terbaik). Akan selalu ada bagian dari diri saya yang menginginkan lebih, menginginkan daya tahan baterai lebih baik, prosesor lebih cepat, daya tahan baterai lebih baik, lebih terang. dan layar yang lebih jelas, speaker yang lebih keras, kamera yang lebih baik, penyimpanan yang lebih besar, masa pakai baterai yang lebih baik, dan yang paling penting, masa pakai baterai yang lebih baik (lagi). Meskipun demikian, ponsel Pixel memiliki banyak fitur kecil yang fantastis yang dapat digabungkan untuk menciptakan perangkat yang benar-benar menjanjikan, dan saya sangat senang melihatnya.