Sony IMX378: รายละเอียดที่ครอบคลุมของเซนเซอร์ของ Google Pixel และคุณลักษณะต่างๆ

ภาพรวม IMX378

เราติดต่อ Sony เพื่อพยายามเรียนรู้เพิ่มเติมอีกเล็กน้อยเกี่ยวกับเซ็นเซอร์ IMX378 ที่ Google ที่กำลังจะมาถึงใช้ พิกเซล และ พิกเซล เอ็กซ์แอล โทรศัพท์ตลอดจนโดย เสี่ยวหมี่ Mi 5S. น่าเสียดายที่ Sony ยังไม่สามารถแจกจ่ายเอกสารข้อมูลสำหรับเซ็นเซอร์ Exmor RS IMX378 ได้ แต่ทำได้ มีประโยชน์อย่างมากและสามารถให้ข้อมูลที่ยังไม่ได้เผยแพร่ก่อนหน้านี้เกี่ยวกับเรื่องนี้แก่เราได้ IMX378.

อันดับแรก ชื่อตัวเองก็ผิด แม้จะมีข่าวลือระบุว่าจะเป็นส่วนหนึ่งของ เอ็กซ์มอร์ อาร์ กลุ่มผลิตภัณฑ์เซ็นเซอร์ CMOS แบบ Backside Illuminated (BSI) เช่น IMX377 ก่อนหน้านี้ที่เคยใช้ใน เน็กซัส 5X และ เน็กซัส 6พีการติดต่อของเราที่ Sony ได้แจ้งให้เราทราบว่า IMX378 จะถือว่าเป็นส่วนหนึ่งของ Sony แทน เอ็กซ์มอร์ อาร์เอส กลุ่มผลิตภัณฑ์เซนเซอร์ Stacked BSI CMOS

แม้ว่าหลายสิ่งหลายอย่างยังคงเหมือนเดิมตั้งแต่ IMX377 ไปจนถึง IMX378 รวมถึงขนาดพิกเซล (1.55 μm) และขนาดเซ็นเซอร์ (7.81 มม.) แต่ก็มีฟีเจอร์หลักสองสามอย่างที่เพิ่มเข้ามา กล่าวคือตอนนี้เป็นการออกแบบ BSI CMOS แบบซ้อนกัน มี PDAF เพิ่มเทคโนโลยี SME-HDR ของ Sony และรองรับวิดีโอที่มีอัตราเฟรมสูง (สโลว์โมชั่น) ได้ดีขึ้น

BSI CMOS แบบเรียงซ้อน

การส่องสว่างด้านหลังด้วยตัวมันเองถือเป็นคุณสมบัติที่มีประโยชน์อย่างยิ่งซึ่งเกือบจะกลายมาเป็นมาตรฐานในสมาร์ทโฟนเรือธงในช่วงไม่กี่ปีที่ผ่านมาโดยเริ่มจาก เอชทีซี อีโว 4จี ในปี 2010 ช่วยให้กล้องจับแสงได้มากขึ้น (โดยแลกกับสัญญาณรบกวนมากกว่า) โดยการขยับบางส่วน โครงสร้างที่แต่เดิมนั่งอยู่หน้าโฟโตไดโอดบนเซ็นเซอร์เรืองแสงด้านหน้า ด้านหลัง มัน.

น่าแปลกที่ไม่เหมือนเทคโนโลยีกล้องส่วนใหญ่ แสงด้านหลังเริ่มปรากฏในโทรศัพท์ก่อนกล้อง DSLR ส่วนใหญ่ต้องขอบคุณความยากในการสร้างเซ็นเซอร์ BSI ที่ใหญ่ขึ้น เซ็นเซอร์ BSI APS-C ตัวแรกคือ Samsung S5KVB2 ที่พบในกล้อง NX1 ตั้งแต่ปี 2014 และ เซ็นเซอร์ฟูลเฟรมตัวแรกคือ Sony Exmor R IMX251 ที่พบใน Sony α7R II จากครั้งล่าสุด ปี.

เทคโนโลยี Stacked BSI CMOS ก้าวไปอีกขั้นหนึ่งโดยการย้ายวงจรเพิ่มเติมจากเลเยอร์ด้านหน้าไปยังซับสเตรตที่รองรับด้านหลังโฟโตไดโอด สิ่งนี้ไม่เพียงแต่ช่วยให้ Sony สามารถลดขนาดของเซ็นเซอร์ภาพลงได้อย่างมาก (ช่วยให้เซ็นเซอร์มีขนาดใหญ่ขึ้นในพื้นที่เดียวกัน) แต่ยังช่วยให้ Sony สามารถพิมพ์พิกเซลและวงจร แยกกัน (แม้ในกระบวนการผลิตที่แตกต่างกัน) ลดความเสี่ยงของข้อบกพร่อง ปรับปรุงผลผลิต และช่วยให้มีความเชี่ยวชาญมากขึ้นระหว่างโฟโตไดโอดและส่วนรองรับ วงจรไฟฟ้า

พีดีเอเอฟ

IMX378 เพิ่ม Phase Detection Autofocus ซึ่งโทรศัพท์ Nexus ของปีที่แล้วและ IMX377 ไม่รองรับ. ช่วยให้กล้องใช้ความแตกต่างของความเข้มของแสงระหว่างจุดต่างๆ บนเซนเซอร์เพื่อระบุได้อย่างมีประสิทธิภาพ หากวัตถุที่กล้องพยายามโฟกัสอยู่ด้านหน้าหรือด้านหลังจุดโฟกัส และทำการปรับเซ็นเซอร์ ตามนั้น นี่เป็นการปรับปรุงครั้งใหญ่ทั้งในแง่ของความเร็วและความแม่นยำเหนือโฟกัสอัตโนมัติแบบคอนทราสต์แบบเดิมที่เราเคยเห็นในกล้องหลายตัวในอดีต ด้วยเหตุนี้ เราจึงได้เห็นโทรศัพท์ที่ใช้ PDAF จำนวนมาก และกลายเป็นคำศัพท์ทางการตลาดขนาดใหญ่ที่ถือเป็นหัวใจสำคัญของการตลาดกล้องทั่วทั้งอุตสาหกรรม

แม้จะโฟกัสได้ไม่เร็วเท่า Dual Photodiode PDAF ก็ตาม ซัมซุงกาแล็คซี่ S7 มี (หรือเรียกอีกอย่างว่า “PDAF พิกเซลคู่” และ “โฟกัสอัตโนมัติแบบ Dual Pixel”) ซึ่งช่วยให้ทุกพิกเซลสามารถใช้ในการตรวจจับเฟสโดยรวมโฟโตไดโอดสองตัวต่อพิกเซล การรวม PDAF และเลเซอร์โฟกัสอัตโนมัติควรยังคงเป็นการผสมผสานที่ทรงพลัง

อัตราเฟรมสูง

ช่วงนี้มีการพูดคุยกันมากมายเกี่ยวกับกล้องที่มีอัตราเฟรมสูง (ทั้งสำหรับการใช้งานของผู้บริโภคและในการสร้างภาพยนตร์ระดับมืออาชีพ) ความสามารถในการถ่ายภาพที่อัตราเฟรมที่สูงขึ้นสามารถนำมาใช้เพื่อสร้างวิดีโอที่ราบรื่นอย่างไม่น่าเชื่อ ความเร็วปกติ (ซึ่งยอดเยี่ยมมากสำหรับกีฬาและสถานการณ์ความเร็วสูงอื่นๆ) และเพื่อสร้างความเร็วบางอย่าง จริงหรือ วิดีโอที่น่าสนใจ เมื่อคุณทำให้ทุกอย่างช้าลง

น่าเสียดายที่การถ่ายวิดีโอด้วยอัตราเฟรมที่สูงขึ้นนั้นเป็นเรื่องยากมาก และแม้แต่ในขณะที่กล้องของคุณ เซ็นเซอร์สามารถถ่ายภาพที่อัตราเฟรมที่สูงขึ้น ซึ่งอาจเป็นเรื่องยากที่ตัวประมวลผลสัญญาณภาพของโทรศัพท์จะคงไว้ ขึ้น. นั่นคือเหตุผลว่าทำไมในขณะที่ IMX377 ที่ใช้ใน Nexus 5X และ 6P สามารถถ่ายวิดีโอ 720p ที่ 300 Hz และวิดีโอ 1080p ที่ 120 Hz แต่เราเห็นเพียง 120 Hz 720p จาก Nexus 5X และ 240 Hz 720p จาก 6P IMX377 ยังสามารถถ่ายวิดีโอ 60 Hz 4k ได้อีกด้วย แม้ว่าอุปกรณ์ Nexus จะถูกจำกัดไว้ที่ 30 Hz ก็ตาม

โทรศัพท์ Pixel สามารถรองรับวิดีโอ 1080p สูงสุด 120 Hz และวิดีโอ 720p 240 Hz ได้ ส่วนหนึ่งของการปรับปรุงที่เกี่ยวข้องกับ IMX378 ซึ่งเห็นความสามารถที่เพิ่มขึ้นถึง 240 Hz ที่ 1080p.

เซ็นเซอร์ยังสามารถถ่ายภาพต่อเนื่องความละเอียดเต็มเร็วขึ้น โดยเพิ่มขึ้นเป็น 60 Hz ที่เอาต์พุต 10 บิต และ 40 Hz ที่ 12 บิต เอาท์พุต (เพิ่มขึ้นจาก 40 Hz และ 35 Hz ตามลำดับ) ซึ่งจะช่วยลดปริมาณภาพเบลอจากการเคลื่อนไหวและการสั่นของกล้องเมื่อใช้ HDR+.

SME-HDR

ตามเนื้อผ้า HDR สำหรับวิดีโอถือเป็นการแลกเปลี่ยน คุณต้องลดอัตราเฟรมลงครึ่งหนึ่งหรือต้องลดความละเอียดลงครึ่งหนึ่ง เป็นผลให้ OEM จำนวนมากไม่ได้ใส่ใจกับมันด้วยซ้ำ โดยมี Samsung และ Sony เป็นหนึ่งในไม่กี่รายที่นำไปใช้ แม้แต่ ซัมซุงกาแล็คซี่โน้ต 7 จำกัดอยู่ที่การบันทึกที่ 1080p 30 Hz เนื่องจากส่วนหนึ่งมีค่าใช้จ่ายในการคำนวณจำนวนมากของวิดีโอ HDR

วิธีแรกจากสองวิธีดั้งเดิมหลักสำหรับวิดีโอ HDR ซึ่งบริษัท Red Digital Cinema Camera เรียกว่า HDRx และที่ Sony เรียกว่า Digital Overlap HDR (DOL-HDR)ทำงานโดยการถ่ายภาพสองภาพติดต่อกัน ภาพหนึ่งมืดกว่าและอีกภาพสว่างกว่า แล้วรวมเข้าด้วยกันเพื่อสร้างเฟรมวิดีโอเดียว ขณะนี้คุณสามารถรักษาความละเอียดของกล้องได้เต็มที่ (และตั้งค่าความเร็วชัตเตอร์ที่แตกต่างกันสำหรับทั้งสองแยกกัน เฟรม) มักส่งผลให้เกิดปัญหาเนื่องจากช่องว่างเวลาระหว่างสองเฟรม (โดยเฉพาะอย่างยิ่งกับการเคลื่อนไหวที่รวดเร็ว วัตถุ) นอกจากนี้ อาจเป็นเรื่องยากมากที่โปรเซสเซอร์จะตามทัน เช่นเดียวกับ DOL-HDR ที่ ISP ของโทรศัพท์จัดการรวมเฟรมที่แยกจากกันเข้าด้วยกัน

วิธีดั้งเดิมอีกวิธีหนึ่งซึ่ง Sony เรียกว่า Binning Multiplexed Exposure HDR (BME-HDR) จะตั้งค่าการเปิดรับแสงที่แตกต่างกันสำหรับ ทุกคู่ ของพิกเซลสองบรรทัดในเซ็นเซอร์เพื่อสร้างภาพที่มีความละเอียดครึ่งหนึ่งสองภาพในเวลาเดียวกัน ซึ่งจากนั้นจะรวมเข้าด้วยกันเป็นเฟรม HDR เดียวสำหรับวิดีโอ แม้ว่าวิธีนี้จะหลีกเลี่ยงปัญหาที่เกี่ยวข้องกับ HDRx กล่าวคือ การลดอัตราเฟรม แต่ก็ยังมีปัญหาอื่นๆ โดยเฉพาะการลดความละเอียดและขีดจำกัดในการเปลี่ยนแปลงการรับแสงระหว่างสองชุด เส้น

Spatally Multiplexed Exposure (SME-HDR) เป็นวิธีใหม่ที่ Sony ใช้เพื่ออนุญาตให้ถ่ายภาพ HDR ที่ความละเอียดเต็มและที่อัตราเฟรมเต็มที่เซ็นเซอร์สามารถทำได้ มันเป็นตัวแปรของ การเปิดรับแสงที่แตกต่างกันเชิงพื้นที่ ที่ใช้อัลกอริธึมที่เป็นกรรมสิทธิ์เพื่อให้ Sony สามารถจับภาพข้อมูลจากพิกเซลที่มืดและสว่างได้ซึ่งก็คือ จัดเรียงในรูปแบบกระดานหมากรุก และอนุมานภาพความละเอียดเต็มสำหรับทั้งการรับแสงที่มืดและสว่าง ภาพ

น่าเสียดายที่ Sony ไม่สามารถให้คำอธิบายโดยละเอียดเพิ่มเติมเกี่ยวกับรูปแบบที่แน่นอนได้ และพวกเขาอาจไม่สามารถเปิดเผยได้ เนื่องจากบริษัทต่างๆ มักจะเล่นไพ่ของตัวเอง ใกล้กับหน้าอกของพวกเขามากเมื่อพูดถึงเทคโนโลยีล้ำสมัยอย่างที่เราเห็นใน HDR แม้แต่ Google ก็ยังมีอัลกอริธึมที่เป็นกรรมสิทธิ์ของตัวเองสำหรับภาพถ่าย HDR ที่เรียกว่า HDR+. ยังคงมีข้อมูลที่เปิดเผยต่อสาธารณะบางส่วนที่เราสามารถใช้เพื่อปะติดปะต่อว่าจะสามารถบรรลุผลสำเร็จได้อย่างไร เอกสารสองสามฉบับได้รับการตีพิมพ์โดย Shree K. นายาร์แห่งมหาวิทยาลัยโคลัมเบีย (ซึ่งหนึ่งในนั้น อยู่ในความร่วมมือกับ Tomoo Mitsunaga จาก Sony) ซึ่งมีวิธีการต่างๆ ในการใช้ Spatially Varying Exposure และเลย์เอาต์ต่างๆ ที่สามารถทำได้ ด้านล่างนี้คือตัวอย่างเค้าโครงที่มีการเปิดรับแสงสี่ระดับบนเซนเซอร์ภาพ RGBG เลย์เอาต์นี้อ้างว่าสามารถจับภาพ HDR ความละเอียดสูงเต็มรูปแบบเพียงครั้งเดียวโดยมีเพียงประมาณ 20% เท่านั้น การสูญเสียความละเอียดเชิงพื้นที่ ขึ้นอยู่กับสถานการณ์ (ความสำเร็จแบบเดียวกับที่ Sony อ้างสิทธิ์) SME-HDR)

Sony ได้ใช้ SME-HDR ในเซ็นเซอร์รับภาพมาสองสามตัวแล้ว รวมถึงใน IMX214 ที่ได้รับความนิยมอย่างมากในช่วงหลังๆ นี้ (กำลังถูกนำมาใช้ใน เอซุส เซนโฟน 3 เลเซอร์ โมโต ซี, และ ประสิทธิภาพของ Xperia X) แต่เป็นส่วนเสริมใหม่ของ IMX378 เมื่อเทียบกับ IMX377 ที่ใช้เมื่อปีที่แล้ว ช่วยให้เซ็นเซอร์กล้องสามารถส่งออกทั้งความละเอียดเต็ม 10 บิตและวิดีโอ 4k ที่ 60 Hz โดยที่ SME-HDR ทำงานอยู่ แม้ว่าปัญหาคอขวดในส่วนอื่นๆ ของกระบวนการจะส่งผลให้เกิดขีดจำกัดที่ต่ำกว่า แต่นี่เป็นการปรับปรุงที่เหนือกว่าความสามารถของ IMX377 อย่างมาก และเป็นสัญญาณของสิ่งดีๆ ที่จะเกิดขึ้นในอนาคต

การปรับปรุงครั้งใหญ่อย่างหนึ่งของ IMX378 ที่เหนือกว่า IMX377 คือสามารถจัดการกับการประมวลผลภาพบนชิปได้มากขึ้น ซึ่งช่วยลด ปริมาณงานของ ISP (แม้ว่า ISP ยังสามารถขอข้อมูลภาพ RAW ได้ขึ้นอยู่กับว่า OEM ตัดสินใจใช้งานอย่างไร เซ็นเซอร์) สามารถจัดการสิ่งเล็กๆ น้อยๆ มากมาย เช่น การแก้ไขข้อบกพร่องและการมิเรอร์ในเครื่อง แต่ที่สำคัญกว่านั้น ยังสามารถจัดการ BME-HDR หรือ SME-HDR ได้โดยไม่ต้องเกี่ยวข้องกับ ISP นั่นอาจเป็นความแตกต่างที่สำคัญในอนาคตโดยการเพิ่มค่าใช้จ่ายให้กับ ISP บนโทรศัพท์ในอนาคต

เราขอขอบคุณ Sony อีกครั้งสำหรับความช่วยเหลือทั้งหมดในการสร้างบทความนี้ เราซาบซึ้งอย่างยิ่งที่ Sony ทุ่มเทในการช่วยให้มั่นใจในความถูกต้องและความลึกของสิ่งนี้ โดยเฉพาะอย่างยิ่งในการช่วยให้เราสามารถเปิดเผยข้อมูลที่ยังไม่ได้เผยแพร่ก่อนหน้านี้เกี่ยวกับ IMX378.

ดังที่กล่าวไปแล้ว เป็นเรื่องน่าเสียดายจริงๆ ที่การเข้าถึงข้อมูลบางส่วนนี้เป็นเรื่องยาก แม้แต่ข้อมูลผลิตภัณฑ์ขั้นพื้นฐานก็ตาม เมื่อบริษัทต่างๆ พยายามใส่ข้อมูลบนเว็บไซต์ของตน ข้อมูลโดยรวมมักจะไม่สามารถเข้าถึงได้และไม่สมบูรณ์ ส่วนหนึ่งเป็นเพราะมักถือเป็นข้อกังวลรองของพนักงานของบริษัทที่ให้ความสำคัญกับเรื่องหลักมากกว่า งาน. บุคคลที่ทุ่มเทเพียงคนเดียวที่ดูแลงานประชาสัมพันธ์สามารถสร้างความแตกต่างอย่างมากในแง่ของการสร้างข้อมูลประเภทนี้ พร้อมใช้งานและเข้าถึงได้สำหรับบุคคลทั่วไป และเราเห็นบางคนพยายามทำแบบนั้นแบบฟรีๆ เวลา. แม้แต่บน โซนี่ เอ็กซ์มอร์ บทความวิกิพีเดียเอง ซึ่งในช่วงสองสามเดือนที่คนๆ เดียวในเวลาว่างได้วางรากฐานส่วนใหญ่เพื่อเอามันมาจากสิ่งที่เกือบจะไร้ประโยชน์ บทความ 1,715 ไบต์ ซึ่งส่วนใหญ่เหมือนกันมาหลายปีแล้วในบทความขนาดประมาณ 50,000 ไบต์ซึ่งเราเห็นในปัจจุบันพร้อมกับบรรณาธิการที่แตกต่างกัน 185 คน บทความที่อาจเป็นแหล่งเก็บข้อมูลที่ดีที่สุดเกี่ยวกับกลุ่มผลิตภัณฑ์เซ็นเซอร์ Sony Exmor ที่หาได้ทางออนไลน์ และเราจะเห็นรูปแบบที่คล้ายกันมากในบทความอื่นๆ นักเขียนเฉพาะรายเพียงคนเดียวสามารถสร้างความแตกต่างได้อย่างมากในการที่ลูกค้าสามารถเปรียบเทียบความแตกต่างได้อย่างง่ายดาย ผลิตภัณฑ์และความรู้ของผู้บริโภคที่สนใจเกี่ยวกับเรื่องนี้ซึ่งสามารถขยายวงกว้างได้ ผลกระทบ แต่นั่นเป็นหัวข้อสำหรับอีกครั้ง

และเช่นเคย เรายังคงสงสัยว่าการเปลี่ยนแปลงฮาร์ดแวร์เหล่านี้จะส่งผลต่ออุปกรณ์อย่างไร เราค่อนข้างชัดเจนว่าจะไม่ได้รับวิดีโอ 4k 60 Hz HDR (และอาจไม่ได้รับวิดีโอ HDR เลยตามที่ Google ยังไม่ได้กล่าวถึง) แต่ความละเอียดเต็มจะเร็วขึ้น การถ่ายภาพน่าจะช่วยได้มากกับ HDR + และเราจะได้เห็นการปรับปรุงเซ็นเซอร์รุ่นใหม่ที่ไหลเข้าสู่โทรศัพท์ด้วยวิธีอื่น ๆ ที่คล้ายกันเล็กน้อย แต่สำคัญ เช่นกัน.

ขณะที่ดีเอ็กซ์โอมาร์ค แสดงรายการพิกเซล โทรศัพท์มีประสิทธิภาพดีกว่า Samsung Galaxy S7 และ HTC 10 เล็กน้อย หลายสิ่งที่ทำให้โทรศัพท์ Pixel เป็นผู้นำขนาดเล็กคือซอฟต์แวร์หลัก การปรับปรุงเช่น HDR+ (ซึ่งให้ผลลัพธ์ที่ยอดเยี่ยมอย่างยิ่ง และ DXOMark ทุ่มเทให้กับการตรวจสอบทั้งส่วน) และ EIS พิเศษของ Google (ซึ่งสามารถทำงานควบคู่กับ OIS ได้) ที่จะสุ่มตัวอย่างไจโรสโคป 200 ครั้งต่อวินาทีเพื่อให้ระบบป้องกันภาพสั่นไหวแบบอิเล็กทรอนิกส์ที่ดีที่สุดที่เราเคยมีมา เห็น. ใช่ โทรศัพท์ Pixel มีกล้องที่ยอดเยี่ยม แต่จะดีกว่านี้ไหมหากเพิ่ม OIS และ Dual Pixel PDAF เข้าไป อย่างแน่นอน.

อย่าเข้าใจฉันผิดอย่างที่ฉันบอก โทรศัพท์ Pixel มีกล้องที่น่าทึ่งมาก แต่คุณไม่สามารถตำหนิฉันได้จริงๆ ที่ต้องการมากกว่านี้ โดยเฉพาะอย่างยิ่ง เมื่อเส้นทางสู่การปรับปรุงเหล่านั้นชัดเจนมาก (และเมื่อโทรศัพท์มีราคาเต็มราคาเรือธงซึ่งคุณคาดหวังสิ่งที่ดีที่สุด ดีที่สุด). จะมีส่วนหนึ่งของฉันที่ต้องการมากขึ้นเสมอ ต้องการอายุการใช้งานแบตเตอรี่ที่ดีขึ้น โปรเซสเซอร์ที่เร็วขึ้น อายุการใช้งานแบตเตอรี่ที่ดีขึ้น สว่างยิ่งขึ้น และหน้าจอที่คมชัดมากขึ้น ลำโพงที่ดังขึ้น กล้องที่ดีกว่า พื้นที่เก็บข้อมูลมากขึ้น อายุการใช้งานแบตเตอรี่ที่ดีขึ้น และที่สำคัญที่สุดคืออายุการใช้งานแบตเตอรี่ที่ดีขึ้น (อีกครั้ง). ดังที่กล่าวไปแล้ว โทรศัพท์ Pixel มีคุณสมบัติที่ยอดเยี่ยมเล็กๆ น้อยๆ มากมายที่สามารถนำมารวมกันเพื่อสร้างอุปกรณ์ที่มีแนวโน้มอย่างแท้จริง ซึ่งฉันตื่นเต้นที่ได้เห็น