Sony IMX378: детальна розробка сенсора Google Pixel і його функцій

Огляд IMX378

Ми звернулися до Sony, щоб спробувати дізнатися трохи більше про датчик IMX378, який використовується майбутнім Google піксель і Pixel XL телефонів, а також по Xiaomi Mi 5S. На жаль, Sony ще не змогла розповсюдити таблицю даних для датчика Exmor RS IMX378, але вони були надзвичайно корисними та змогли надати нам деяку раніше неоприлюднену інформацію про IMX378.

По-перше, сама назва була неправильною. Незважаючи на чутки про те, що це буде частиною Ексмор Р лінія CMOS-датчиків із заднім підсвічуванням (BSI), як-от IMX377, яка використовувалася в Nexus 5X і Nexus 6P, наш контакт із Sony повідомив, що IMX378 натомість вважатиметься частиною Sony Exmor RS лінійка датчиків Stacked BSI CMOS.

Хоча багато речей залишилися незмінними від IMX377 до IMX378, включаючи розмір пікселя (1,55 мкм) і розмір датчика (7,81 мм), було додано кілька ключових функцій. Зокрема, тепер це багатошаровий дизайн BSI CMOS, він має PDAF, додає технологію Sony SME-HDR і має кращу підтримку відео з високою частотою кадрів (уповільнений рух).

Багатошаровий BSI CMOS

Заднє підсвічування саме по собі є надзвичайно корисною функцією, яка стала майже стандартною для флагманських смартфонів за останні кілька років, починаючи з HTC Evo 4G у 2010 році. Це дозволяє камері захоплювати значно більше світла (ціною більшого шуму), переміщаючи частину структура, яка традиційно розташовувалася перед фотодіодом на передніх датчиках з підсвічуванням, ззаду це.

Дивно, але на відміну від більшості технологій камер, заднє підсвічування спочатку почало з’являтися в телефонах перед цифровими дзеркальними фотокамерами, багато в чому через труднощі зі створенням більших датчиків BSI. Першим сенсором BSI APS-C був Samsung S5KVB2, який був знайдений у їхній камері NX1 з 2014 року, і першим повнокадровим сенсором був Sony Exmor R IMX251, який використовувався в Sony α7R II минулого року. рік.

Технологія Stacked BSI CMOS робить ще один крок далі, переміщуючи більше схем з переднього шару на опорну підкладку за фотодіодами. Це не тільки дозволяє Sony суттєво зменшити розмір датчика зображення (дозволяє встановлювати більші датчики в тій самій площі), але також дозволяє Sony друкувати пікселі та схеми окремо (навіть у різних виробничих процесах), зменшуючи ризик дефектів, покращуючи врожайність і дозволяючи більшу спеціалізацію між фотодіодами та підтримкою схема.

PDAF

IMX378 додає фазове автофокусування, яке минулорічні телефони Nexus і IMX377 не підтримували. Це дозволяє камері ефективно використовувати різницю в інтенсивності світла між різними точками датчика для ідентифікації якщо об’єкт, на якому камера намагається сфокусуватися, знаходиться перед або позаду точки фокусування, налаштуйте датчик відповідно. Це величезне покращення як у швидкості, так і в точності порівняно з традиційним автофокусом на основі контрасту, який ми бачили на багатьох камерах у минулому. У результаті ми спостерігали абсолютний вибух телефонів, які використовують PDAF, і це стало величезним маркетинговим модним словом, яке вважається центральним елементом маркетингу камер у всій галузі.

Хоча фокусування не таке швидке, як PDAF із подвійним фотодіодом Samsung Galaxy S7 має (також відомий як «Dual Pixel PDAF» і «Автофокус Duo Pixel»), що дозволяє використовувати кожен окремий піксель для виявлення фази, включаючи два фотодіоди на піксель, злиття PDAF і лазерного автофокусування все ще має бути потужною комбінацією.

Висока частота кадрів

Останнім часом багато говорять про камери з високою частотою кадрів (як для споживчих програм, так і для професійного кіно). Можливість зйомки з вищою частотою кадрів може бути використана для створення неймовірно плавних відео звичайної швидкості (яка може бути фантастичною для спортивних та інших високошвидкісних сценаріїв) і створити деякі насправді цікаві відео коли ти все сповільнюєш.

На жаль, надзвичайно складно знімати відео з високою частотою кадрів, та ще й за допомогою камери датчик може знімати з вищою частотою кадрів, процесору сигналу зображення телефону може бути важко зберегти вгору. Ось чому, хоча IMX377, який використовується в Nexus 5X і 6P, міг знімати відео 720p при 300 Гц і відео 1080p при 120 Гц, ми бачили лише 120 Гц 720p від Nexus 5X і 240 Гц 720p від 6P. IMX377 також міг відтворювати відео 4k з частотою 60 Гц, незважаючи на те, що пристрої Nexus обмежені 30 Гц.

Обидва телефони Pixel здатні відтворювати відео 1080p до 120 Гц і відео 720p до 240 Гц завдяки частиною покращень, пов’язаних із IMX378, які бачать збільшення можливостей до 240 Гц при 1080p.

Датчик також може швидше знімати серійні знімки з повною роздільною здатністю, підвищуючи частоту до 60 Гц при 10-бітному вихідному сигналі та 40 Гц при 12-бітному вихідному сигналі. вихід (з 40 Гц і 35 Гц відповідно), що має допомогти зменшити кількість розмиття руху та тремтіння камери під час використання HDR+.

SME-HDR

Традиційно HDR для відео був компромісом. Вам довелося або скоротити частоту кадрів вдвічі, або роздільну здатність вдвічі. Як наслідок, багато OEM-виробників навіть не турбувалися про це, а Samsung і Sony були одними з небагатьох, хто впровадив це. Навіть Samsung Galaxy Note 7 обмежується записом 1080p 30 Гц частково через високу обчислювальну вартість відео HDR.

Перший з двох основних традиційних методів для відео HDR, які компанія Red Digital Cinema Camera називає HDRx і який Sony називає Digital Overlap HDR (DOL-HDR), працює, роблячи два послідовних зображення, одне темніше, а інше світліше, і об’єднуючи їх разом, щоб створити один відеокадр. Хоча це дозволяє зберегти повну роздільну здатність камери (і встановити різні витримки для двох окремих кадрів), це часто може призвести до проблем через часовий проміжок між двома кадрами (особливо при швидкому русі об'єкти). Крім того, процесору може бути дуже важко впоратися, оскільки з DOL-HDR ISP телефону обробляє об’єднання окремих кадрів.

Інший традиційний метод, який Sony називає Binning Multiplexed Exposure HDR (BME-HDR), встановлює інше налаштування експозиції для кожна пара двох рядків пікселів у сенсорі, щоб одночасно створити два зображення половинної роздільної здатності, які потім об’єднуються в один кадр HDR для відео. Хоча цей метод дозволяє уникнути проблем, пов’язаних із HDRx, а саме зниження частоти кадрів, він має інші проблеми, зокрема зменшення роздільної здатності та обмеження щодо того, як можна змінювати експозицію між двома наборами лінії.

Просторова мультиплексована експозиція (SME-HDR) — це новий метод, який Sony використовує, щоб дозволити їм знімати HDR із повною роздільною здатністю та повною частотою кадрів, на які здатний датчик. Це варіант Просторова змінна експозиція який використовує власні алгоритми, щоб дозволити Sony отримувати інформацію з темних і світлих пікселів, які розташовані в шаховому порядку, і виведіть зображення повної роздільної здатності як для темної, так і для світлої експозиції зображення.

На жаль, Sony не змогла надати нам більш детальних пояснень щодо точного шаблону, і вони, можливо, ніколи не зможуть його розкрити – компанії схильні розігрувати свої карти дуже близькі до них, коли мова заходить про передову технологію, подібну до тієї, яку ми бачимо в HDR, і навіть Google має власний алгоритм для фотографій HDR, відомий як HDR+. Проте все ще є деяка загальнодоступна інформація, яку ми можемо використати, щоб об’єднати, як це можна зробити. Кілька статей були опубліковані Shree K. Наяр з Колумбійського університету (один з яких був у співпраці з Томоо Міцунагою з Sony), які містять різні способи використання просторово змінної експозиції та різні макети, за допомогою яких це можна досягти. Нижче наведено приклад макета з чотирма рівнями експозиції на датчику зображення RGBG. Цей макет стверджує, що він здатний досягти одноразового захоплення зображень HDR із повною роздільною здатністю лише з приблизно 20% втрата просторової роздільної здатності залежно від сценарію (те саме досягнення, про яке претендує Sony SME-HDR).

Sony уже використовувала SME-HDR у кількох датчиках зображення, зокрема в IMX214, який останнім часом користується великою популярністю (використовується в Asus Zenfone 3 Лазер, Moto Z, і Xperia X Performance), але це нове доповнення до IMX378 порівняно з IMX377, який використовувався минулого року. Це дозволяє датчику камери виводити як 10-бітну повну роздільну здатність, так і відео 4k на 60 Гц з активним SME-HDR. Хоча вузьке місце в іншому місці процесу призведе до нижчого ліміту, це фантастичне покращення в порівнянні з тим, на що був здатний IMX377, і є ознакою хороших речей у майбутньому.

Одним із значних удосконалень IMX378 порівняно з IMX377 є те, що він здатний обробляти більшу частину обробки зображень на мікросхемі, зменшуючи робоче навантаження Інтернет-провайдера (хоча Інтернет-провайдер усе ще може запитувати дані зображення RAW, залежно від того, як OEM вирішить використовувати датчик). Він може обробляти багато дрібних речей, як-от виправлення дефектів і віддзеркалення локально, але, що важливіше, він також може обробляти BME-HDR або SME-HDR без залучення провайдера. Це потенційно може стати серйозною різницею в майбутньому, оскільки звільнить деякі накладні витрати для провайдера на майбутніх телефонах.

Ми хотіли б ще раз подякувати Sony за допомогу у створенні цієї статті. Ми щиро вдячні Sony за те, що вона докладала, щоб забезпечити точність і глибину цього функція, особливо в тому, що дозволяє нам відкрити деяку раніше неопубліковану інформацію про IMX378.

Зважаючи на це, дуже прикро, що так важко отримати доступ до частини цієї інформації, навіть до основної інформації про продукт. Коли компанії намагаються розмістити інформацію на своїх веб-сайтах, вона часто може бути досить недоступною та неповною. частково тому, що це часто розглядається як другорядна турбота працівників компанії, які більше зосереджені на своєму головному працювати. Одна спеціальна особа, яка займається зв’язками з громадськістю, може зробити величезний внесок у створення такого типу інформації доступні для широкого загалу, і ми бачимо, як деякі люди намагаються робити саме це у своїх безкоштовних час. Навіть на Sony Exmor Сама стаття у Вікіпедії, де протягом кількох місяців одна людина у вільний час заклала більшу частину основи, щоб взяти її з майже марної Стаття розміром 1715 байт яка була майже однаковою протягом багатьох років, у статтю ~50 000 байт, яку ми бачимо там сьогодні зі 185 різними редакторами. Стаття, яка, мабуть, є найкращим сховищем інформації про лінійку датчиків Sony Exmor, доступна в Інтернеті, і ми можемо побачити дуже схожу схему в інших статтях. Один відданий автор може суттєво змінити те, наскільки легко клієнти можуть порівнювати різні продукти, а також наскільки обізнані зацікавлені споживачі щодо теми, яка може мати далекосяжні результати ефекти. Але це тема іншого разу.

Як завжди, нам залишається гадати, як ці апаратні зміни вплинуть на самі пристрої. Очевидно, що ми не будемо отримувати HDR-відео 4k 60 Гц (і, можливо, взагалі не будемо отримувати HDR-відео, оскільки Google ще не згадував про це), але швидшу повну роздільну здатність зйомка, ймовірно, суттєво допоможе з HDR+, і ми побачимо, що вдосконалення нового датчика проникають у телефон іншими подібними невеликими, але суттєвими способами так само.

Поки DXOMark містить список Pixel телефони працюють трохи краще, ніж Samsung Galaxy S7 і HTC 10, багато речей, які давали телефонам Pixel таку невелику перевагу, були основним програмним забезпеченням такі вдосконалення, як HDR+ (який дає абсолютно фантастичні результати, і якому DXOMark присвятив цілий розділ свого огляду) і спеціальний EIS від Google система (яка може працювати в тандемі з оптичною стабілізацією зображення), яка бере вибірку гіроскопа 200 разів на секунду, щоб забезпечити найкращу електронну стабілізацію зображення, яку ми коли-небудь мали бачив. Так, телефони Pixel мають чудову камеру, але чи могли вони бути ще кращими з OIS і Dual Pixel PDAF? Абсолютно.

Не зрозумійте мене неправильно, як я вже сказав, телефони Pixel мають абсолютно приголомшливу камеру, але ви не можете звинувачувати мене в тому, що я хочу більше, особливо коли шлях до цих удосконалень настільки ясний (і коли ціна телефонів відповідає повній ціні флагмана, де ви очікуєте найкращого з найкращий). Завжди буде частина мене, яка хоче більшого, кращого часу автономної роботи, швидших процесорів, кращого часу автономної роботи, яскравішого і більш яскраві екрани, гучніші динаміки, кращі камери, більше пам’яті, кращий час автономної роботи та, що найважливіше, кращий час автономної роботи (знову). З огляду на це, телефони Pixel мають багато маленьких фантастичних функцій, які можуть об’єднатися, щоб створити справді багатообіцяючий пристрій, який я радий бачити.