Sony IMX378: подробный анализ сенсора Google Pixel и его функций

Обзор IMX378

Мы обратились к Sony, чтобы попытаться узнать больше о сенсоре IMX378, который будет использоваться в предстоящем смартфоне Google. Пиксель и Пиксель XL телефонах, а также через Сяоми Ми 5С. К сожалению, Sony пока не смогла распространить техническое описание сенсора Exmor RS IMX378, но они были чрезвычайно полезны и смогли предоставить нам некоторую ранее неопубликованную информацию о IMX378.

Во-первых, само название было неправильным. Несмотря на слухи о том, что это будет частью Эксмор Р линейка CMOS-сенсоров с задней подсветкой (BSI), таких как IMX377, которая раньше использовалась в Нексус 5X и Нексус 6П, наш контакт в Sony сообщил нам, что вместо этого IMX378 будет считаться частью Sony. Эксмор РС линейка многослойных CMOS-сенсоров BSI.

Хотя многие вещи от IMX377 до IMX378 остались прежними, включая размер пикселя (1,55 мкм) и размер сенсора (7,81 мм), было добавлено несколько ключевых функций. А именно, теперь это многоуровневая конструкция BSI CMOS, она имеет PDAF, добавлена ​​технология Sony SME-HDR и улучшена поддержка видео с высокой частотой кадров (замедленное движение).

Сложенная BSI CMOS

Задняя подсветка сама по себе является чрезвычайно полезной функцией, ставшей практически стандартной во флагманских смартфонах за последние несколько лет, начиная с HTC Эво 4G в 2010. Это позволяет камере захватывать значительно больше света (за счет большего шума), перемещая некоторые части изображения. структура, которая традиционно располагалась перед фотодиодом на датчиках с передней подсветкой, сзади это.

Удивительно, но в отличие от большинства камерных технологий задняя подсветка изначально начала появляться в телефонах раньше, чем в зеркалках, во многом благодаря трудностям с созданием более крупных датчиков BSI. Первым датчиком BSI APS-C был Samsung S5KVB2, который был установлен в их камере NX1 в 2014 году. Первым полнокадровым сенсором был Sony Exmor R IMX251, который был установлен в Sony α7R II с прошлого года. год.

Технология Stacked BSI CMOS делает еще один шаг вперед, перемещая большую часть схемы с переднего слоя на опорную подложку за фотодиодами. Это не только позволяет Sony существенно уменьшить размер датчика изображения (что позволяет использовать более крупные датчики на той же площади), но также позволяет Sony печатать пиксели и схемы. отдельно (даже в разных производственных процессах), что снижает риск возникновения дефектов, повышает производительность и обеспечивает большую специализацию между фотодиодами и вспомогательными устройствами. схема.

ПДАФ

В IMX378 добавлен фазовый автофокус, который не поддерживался прошлогодними телефонами Nexus и IMX377.. Это позволяет камере эффективно использовать разницу в интенсивности света между разными точками сенсора для идентификации если объект, на котором пытается сфокусироваться камера, находится перед или позади точки фокусировки, отрегулируйте датчик соответственно. Это огромное улучшение как с точки зрения скорости, так и точности по сравнению с традиционной автофокусировкой на основе контраста, которую мы видели на многих камерах в прошлом. В результате мы стали свидетелями абсолютного взрыва телефонов, использующих PDAF, и это стало огромным маркетинговым модным словечком, которое считается центральным элементом маркетинга камер во всей отрасли.

Хоть и не так быстро фокусируется, как двойной фотодиод PDAF, который Самсунг Галакси С7 имеет (также известный как «Двухпиксельный PDAF» и «Дуопиксельный автофокус»), что позволяет использовать каждый пиксель для определения фазы за счет включения двух фотодиодов на пиксель, объединение PDAF и лазерной автофокусировки по-прежнему должно оставаться мощной комбинацией.

Высокая частота кадров

В последнее время много говорят о камерах с высокой частотой кадров (как для потребительских приложений, так и для профессионального кинопроизводства). Возможность снимать с более высокой частотой кадров можно использовать как для создания невероятно плавных видеороликов с обычную скорость (которая может быть фантастической для занятий спортом и других высокоскоростных сценариев) и создать некоторую Действительно интересные видео когда ты все замедляешь.

К сожалению, снимать видео с более высокой частотой кадров крайне сложно, и даже если ваша камера сенсор может снимать с более высокой частотой кадров, процессору сигналов изображения телефона может быть сложно поддерживать вверх. Вот почему, хотя IMX377, используемый в Nexus 5X и 6P, мог снимать видео 720p с частотой 300 Гц и 1080p с частотой 120 Гц, мы видели только 120 Гц 720p у Nexus 5X и 240 Гц 720p у 6P. IMX377 также мог воспроизводить видео 4K с частотой 60 Гц, несмотря на то, что устройства Nexus были ограничены частотой 30 Гц.

Оба телефона Pixel способны воспроизводить видео 1080p с частотой до 120 Гц и видео 720p с частотой 240 Гц. часть улучшений, связанных с IMX378, в котором наблюдается увеличение возможностей до 240 Гц при 1080р.

Датчик также способен делать серийные снимки в полном разрешении быстрее: частота кадров увеличивается до 60 Гц при 10-битном разрешении и до 40 Гц при 12-битном разрешении. выходной частоты (с 40 Гц и 35 Гц соответственно), что должно помочь уменьшить размытие изображения при движении и дрожание камеры при использовании HDR+.

МСП-HDR

Традиционно HDR для видео был компромиссом. Вам приходилось либо уменьшать частоту кадров вдвое, либо уменьшать вдвое разрешение. В результате многие OEM-производители даже не озаботились этим, а Samsung и Sony оказались среди немногих, кто его реализовал. Даже Самсунг Галакси Ноут 7 ограничено записью в разрешении 1080p с частотой 30 Гц, отчасти из-за больших вычислительных затрат при HDR-видео.

Первый из двух основных традиционных методов создания HDR-видео, который компания Red Digital Cinema Camera называет HDRx и который Sony называет Digital Overlap HDR (ДОЛ-HDR), берет два последовательных изображения, одно экспонированное темнее, другое экспонированное более светлое, и объединяет их вместе для создания одного видеокадра. Хотя это позволяет сохранить полное разрешение камеры (и установить разные выдержки для двух отдельных кадров), это часто может привести к проблемам из-за временного разрыва между двумя кадрами (особенно при быстром движении). объекты). Кроме того, процессору может быть очень трудно справиться с этой задачей, поскольку в случае с DOL-HDR интернет-провайдер телефона обрабатывает объединение отдельных кадров вместе.

Другой традиционный метод, который Sony называет Binning Multiplexed Exposure HDR (BME-HDR), устанавливает другую настройку экспозиции для каждая пара из двух строк пикселей в сенсоре для одновременного создания двух изображений с половинным разрешением, которые затем объединяются в один кадр HDR для видео. Хотя этот метод позволяет избежать проблем, связанных с HDRx, а именно снижения частоты кадров, у него есть и другие проблемы: в частности, снижение разрешения и ограничения на изменение экспозиции между двумя наборами линии.

Пространственно-мультиплексная экспозиция (SME-HDR) — это новый метод, который Sony использует, чтобы позволить им снимать HDR с полным разрешением и с полной частотой кадров, на которые способен сенсор. Это вариант Пространственно изменяющаяся экспозиция который использует собственные алгоритмы, позволяющие Sony захватывать информацию из темных и светлых пикселей, которые расположены в шахматном порядке и определяют изображение в полном разрешении как для темной, так и для светлой экспозиции. изображений.

К сожалению, Sony не смогла дать нам более подробное объяснение точной закономерности, и они, возможно, никогда не смогут ее раскрыть — компании склонны разыгрывать свои карты. очень близки к их груди, когда дело доходит до передовых технологий, подобных той, которую мы видим в HDR, причем даже у Google есть собственный алгоритм для HDR-фотографий, известный как HDR+. Однако все еще существует некоторая общедоступная информация, которую мы можем использовать, чтобы понять, как этого можно достичь. Несколько статей были опубликованы Шри К. Наяр из Колумбийского университета (англ.один из которых был в сотрудничестве с Томоо Мицунагой из Sony), которые содержат различные способы использования пространственно изменяющейся экспозиции и различные макеты, позволяющие этого добиться. Ниже приведен пример схемы с четырьмя уровнями экспозиции на датчике изображения RGBG. В этой компоновке утверждается, что можно за один раз получить HDR-изображения с полным разрешением всего за 20 %. потеря пространственного разрешения в зависимости от сценария (то же самое достижение, о котором заявляет Sony МСП-HDR).

Sony уже использовала SME-HDR в нескольких датчиках изображения, в том числе в IMX214, которая в последнее время пользуется большой популярностью (используется в Асус Зенфон 3 Лазер, Мото Зи Xperia X Производительность), но является новым дополнением к IMX378 по сравнению с IMX377, который использовался в прошлом году. Он позволяет датчику камеры выводить как 10-битное видео с полным разрешением, так и видео 4K с частотой 60 Гц с активным SME-HDR. Хотя узкое место в другом месте процесса приведет к снижению предела, это фантастическое улучшение по сравнению с тем, на что был способен IMX377, и признак того, что в будущем нас ждут хорошие вещи.

Одним из больших улучшений IMX378 по сравнению с IMX377 является то, что он может выполнять большую часть обработки изображений на кристалле, сокращая рабочая нагрузка интернет-провайдера (хотя интернет-провайдер по-прежнему может запрашивать данные изображения RAW, в зависимости от того, как OEM решит использовать датчик). Он может выполнять множество мелких задач, таких как исправление дефектов и зеркалирование локально, но, что более важно, он также может обрабатывать BME-HDR или SME-HDR без привлечения интернет-провайдера. Потенциально это может стать серьезным изменением в будущем, поскольку освободит интернет-провайдера от некоторых накладных расходов на будущих телефонах.

Мы хотели бы еще раз поблагодарить Sony за помощь в создании этой статьи. Мы очень ценим усилия, которые Sony приложила, чтобы обеспечить точность и глубину этого функция, особенно позволяющая нам раскрыть некоторую ранее неопубликованную информацию о IMX378.

При этом очень жаль, что так сложно получить доступ к некоторой части этой информации, даже к базовой информации о продукте. Когда компании пытаются разместить информацию на своих веб-сайтах, она зачастую оказывается весьма недоступной и неполной. отчасти потому, что к этому часто относятся как к второстепенной заботе сотрудников компании, которые больше сосредоточены на своей основной работе. работа. Один преданный своему делу человек, занимающийся связями с общественностью, может иметь огромное значение с точки зрения предоставления такого типа информации. доступен широкой публике, и мы видим, как некоторые люди пытаются сделать именно это в своих бесплатных время. Даже на Сони Эксмор Сама статья в Википедии, где в течение пары месяцев одинокий человек в свободное время заложил большую часть фундамента, чтобы забрать его у почти бесполезного Статья размером 1715 байт в течение многих лет это было практически одинаково, вплоть до статьи размером около 50 000 байт, которую мы видим сегодня со 185 разными редакторами. Статья, которая, возможно, является лучшим хранилищем информации о линейке сенсоров Sony Exmor, доступной в Интернете, и мы можем видеть очень похожую картину в других статьях. Один преданный автор может существенно повлиять на то, насколько легко клиенты смогут сравнивать разные продуктов, а также от того, насколько образованы заинтересованные потребители в этом вопросе, что может иметь далеко идущие последствия. последствия. Но это тема для другого раза.

Как всегда, нам остается задаться вопросом, как эти аппаратные изменения повлияют на сами устройства. Совершенно очевидно, что мы не получим HDR-видео 4K с частотой 60 Гц (и, возможно, вообще не получим HDR-видео, поскольку Google еще не упомянул об этом), но более быстрое полное разрешение съемка, вероятно, существенно поможет с HDR+, и мы увидим, как улучшения нового сенсора проникнут в телефон другими подобными небольшими, но существенными способами. также.

В то время как DXOMark перечисляет пиксель телефоны работают немного лучше, чем Samsung Galaxy S7 и HTC 10, многие из вещей, которые дали телефонам Pixel такое небольшое преимущество, были основным программным обеспечением. такие улучшения, как HDR+ (который дает совершенно фантастические результаты и которому DXOMark посвятил целый раздел своего обзора) и специальный EIS от Google. система (которая может работать в тандеме с OIS), которая производит выборку данных гироскопа 200 раз в секунду, обеспечивая лучшую электронную стабилизацию изображения, которую мы когда-либо видели. видимый. Да, у телефонов Pixel отличная камера, но могли ли они быть еще лучше с добавлением OIS и Dual Pixel PDAF? Абсолютно.

Не поймите меня неправильно, как я уже сказал, у телефонов Pixel просто потрясающая камера, но вы не можете винить меня за то, что я хочу большего, особенно когда путь к этим улучшениям настолько ясен (и когда телефоны будут продаваться по полной флагманской цене, и вы ожидаете лучшего из лучший). Всегда будет какая-то часть меня, которая хочет большего, хочет большего времени автономной работы, более быстрых процессоров, лучшего времени автономной работы, более яркого и более яркие экраны, более громкие динамики, лучшие камеры, больше памяти, лучшее время автономной работы и, самое главное, лучшее время автономной работы. (снова). При этом у телефонов Pixel есть множество небольших фантастических функций, которые могут объединиться в действительно многообещающее устройство, и я очень рад видеть это.