Свързахме се със Sony, за да се опитаме да научим малко повече за сензора IMX378, който се използва от предстоящите телефони Google Pixel и Pixel XL. Научете всичко за това!
Преглед на IMX378
Свързахме се със Sony, за да се опитаме да научим малко повече за сензора IMX378, който се използва от предстоящия Google пиксел и Pixel XL телефони, както и от Xiaomi Mi 5S. За съжаление, Sony все още не успя да разпространи листа с данни за сензора Exmor RS IMX378, но те бяха изключително полезни и успяха да ни предоставят непубликувана досега информация за IMX378.
Първо, самото име беше грешно. Въпреки слуховете, че ще бъде част от Exmor R линия CMOS сензори със задно осветяване (BSI) като IMX377 преди него, който беше използван в Nexus 5X и Nexus 6P, нашият контакт в Sony ни информира, че вместо това IMX378 ще се счита за част от Sony Exmor RS линия от подредени BSI CMOS сензори.
Въпреки че много неща са останали същите от IMX377 до IMX378, включително размера на пиксела (1,55 μm) и размера на сензора (7,81 mm), има добавени няколко ключови характеристики. А именно, вече е подреден BSI CMOS дизайн, има PDAF, добавя SME-HDR технологията на Sony и има по-добра поддръжка за видео с висока кадрова честота (забавен каданс).
Подреден BSI CMOS
Задното осветление само по себе си е изключително полезна функция, която се превърна в почти стандарт във водещите смартфони през последните няколко години, започвайки с HTC Evo 4G в 2010. Позволява на камерата да улавя значително повече светлина (с цената на повече шум), като премести част от структурата, която традиционно седи пред фотодиода на предните осветени сензори, отзад то.
Изненадващо, за разлика от повечето технологии за камери, задното осветление първоначално започна да се появява в телефоните преди DSLR, до голяма степен благодарение на трудностите при създаването на по-големи BSI сензори. Първият BSI APS-C сензор беше Samsung S5KVB2, който беше открит в тяхната камера NX1 от 2014 г. и първият пълноформатен сензор беше Sony Exmor R IMX251, който беше открит в Sony α7R II от миналата година.
Технологията Stacked BSI CMOS прави тази стъпка напред, като премества повече от електрическата верига от предния слой върху поддържащия субстрат зад фотодиодите. Това не само позволява на Sony да намали значително размера на сензора за изображения (позволявайки по-големи сензори в същия отпечатък), но също така позволява на Sony да отпечата пикселите и веригите отделно (дори при различни производствени процеси), намалявайки риска от дефекти, подобрявайки добивите и позволявайки по-голяма специализация между фотодиодите и поддържащите схема.
PDAF
IMX378 добавя автофокус с фазово откриване, който миналогодишните телефони Nexus и IMX377 не поддържаха. Позволява на фотоапарата ефективно да използва разликите в интензитета на светлината между различните точки на сензора, за да ги идентифицира ако обектът, върху който камерата се опитва да фокусира, е пред или зад фокусната точка, и регулирайте сензора съответно. Това е огромно подобрение както по отношение на скоростта, така и на точността спрямо традиционния автофокус, базиран на контраст, който сме виждали на много камери в миналото. В резултат на това станахме свидетели на абсолютна експлозия на телефони, използващи PDAF, и това се превърна в огромна маркетингова модна дума, която се поддържа като център на маркетинга на камери в цялата индустрия.
Въпреки че не е толкова бърз за фокусиране като PDAF с двоен фотодиод Samsung Galaxy S7 има (известен също като “Dual Pixel PDAF” и „Автофокус Duo Pixel“), което позволява всеки един пиксел да се използва за фазово откриване чрез включване на два фотодиода на пиксел, сливането на PDAF и лазерен автофокус все още трябва да бъде мощна комбинация.
Висока честота на кадрите
Напоследък се говори много за камери с висока честота на кадрите (както за потребителски приложения, така и за професионално заснемане на филми). Възможността да снимате с по-висока честота на кадрите може да се използва както за създаване на невероятно гладки видеоклипове нормална скорост (което може да бъде фантастично за спорт и други сценарии с висока скорост) и да създадете някои наистина ли интересни видеа когато забавиш всичко.
За съжаление е изключително трудно да снимате видео с по-висока честота на кадрите и дори когато камерата ви е включена сензорът може да снима с по-високи честоти на кадрите, може да е трудно за процесора за обработка на изображения на телефона да го запази нагоре. Ето защо, докато IMX377, използван в Nexus 5X и 6P, можеше да заснема 720p видео при 300 Hz и 1080p видео при 120 Hz, видяхме само 120 Hz 720p от Nexus 5X и 240 Hz 720p от 6P. IMX377 също можеше да 60 Hz 4k видео, въпреки че устройствата Nexus бяха ограничени до 30 Hz.
И двата телефона Pixel могат да доведат това до 120 Hz 1080p видео и 240 Hz 720p видео благодарение на част от подобренията, свързани с IMX378, който вижда увеличение на възможностите до 240 Hz при 1080p.
Сензорът също така може да заснема серия от снимки с пълна разделителна способност по-бързо, увеличавайки до 60 Hz при 10 бита изход и 40 Hz при 12 бита изход (съответно от 40 Hz и 35 Hz), което трябва да помогне за намаляване на количеството замъгляване на движението и трептенето на камерата при използване HDR+.
МСП-HDR
Традиционно HDR за видео е компромис. Или трябваше да намалите скоростта на кадрите наполовина, или трябваше да намалите разделителната способност наполовина. В резултат на това много OEM производители дори не са се притеснявали от него, като Samsung и Sony са сред малкото, които го прилагат. Дори и Samsung Galaxy Note 7 е ограничен до 1080p 30 Hz запис поради отчасти високите изчислителни разходи за HDR видео.
Първият от двата основни традиционни метода за HDR видео, които Red Digital Cinema Camera Company нарича HDRx и което Sony нарича Digital Overlap HDR (DOL-HDR), работи, като прави две последователни изображения, едно експонирано по-тъмно и едно експонирано по-светло, и ги обединява, за да създаде единичен видео кадър. Докато това ви позволява да запазите пълната разделителна способност на камерата (и да зададете различни скорости на затвора за двете отделни кадри), често може да доведе до проблеми поради времевата разлика между двата кадъра (особено при бързо движещи се обекти). Освен това може да бъде много трудно за процесора да поддържа темпото, тъй като при DOL-HDR ISP на телефона се справя със сливането на отделните кадри заедно.
Другият традиционен метод, който Sony нарича Binning Multiplexed Exposure HDR (BME-HDR), задава различна настройка на експозицията за всеки чифт от две линии от пиксели в сензора, за да създадат две изображения с половин разделителна способност едновременно, които след това се обединяват в един HDR кадър за видеото. Въпреки че този метод избягва проблемите, свързани с HDRx, а именно намаляване на кадровата честота, той има други проблеми, по-специално намаляването на разделителната способност и ограниченията за това как експозицията може да се променя между двата комплекта линии.
Пространствено мултиплексираната експозиция (SME-HDR) е нов метод, който Sony използва, за да им позволи да снимат HDR при пълна разделителна способност и при пълна кадрова честота, на която е способен сензорът. Тя е вариант на Пространствено променяща се експозиция който използва патентовани алгоритми, за да позволи на Sony да улови информацията от тъмните и светлите пиксели, които са подредени в шахматен стил, и изведете изображението с пълна разделителна способност както за тъмната, така и за светлата експозиция изображения.
За съжаление Sony не успя да ни даде по-подробни обяснения за точния модел и може никога да не успее да го разкрие - компаниите са склонни да играят картите си много близо до гърдите им, когато става въпрос за авангардна технология, като тази, която виждаме в HDR, като дори Google има свой собствен собствен алгоритъм за HDR снимки, известен като HDR+. Все пак има известна публично достъпна информация, която можем да използваме, за да съберем заедно как може да бъде постигнато. Няколко статии са публикувани от Shree K. Наяр от Колумбийския университет (един от които беше в сътрудничество с Tomoo Mitsunaga от Sony), които съдържат различни начини за използване на пространствено променяща се експозиция и различни оформления, които могат да го постигнат. По-долу е даден пример за оформление с четири нива на експозиция върху RGBG сензор за изображения. Това оформление твърди, че може да постигне едно заснемане на HDR изображения с пълна разделителна способност само с около 20% загуба на пространствена разделителна способност, в зависимост от сценария (същото постижение, за което Sony твърди SME-HDR).
Sony вече използва SME-HDR в няколко сензора за изображения, включително в IMX214, който се радва на голяма популярност напоследък (използва се в Asus Zenfone 3 Лазер, Мото Z, и Xperia X Performance), но е ново допълнение към IMX378 в сравнение с IMX377, който беше използван миналата година. Той позволява на сензора на камерата да извежда както 10-битова пълна разделителна способност, така и 4k видео при 60 Hz с активен SME-HDR. Въпреки че затруднение на друго място в процеса ще доведе до по-ниска граница, това е фантастично подобрение спрямо възможностите на IMX377 и е знак за добри неща, които предстоят в бъдеще.
Едно от големите подобрения на IMX378 спрямо IMX377 е, че той може да се справи с по-голяма част от обработката на изображения в чипа, намалявайки работното натоварване на доставчика на интернет услуги (въпреки че доставчикът на интернет услуги все още може да изиска данните за RAW изображения, в зависимост от това как OEM реши да използва сензор). Той може да се справи с много дребни неща като коригиране на дефекти и огледално отразяване локално, но по-важното е, че може да се справи и с BME-HDR или SME-HDR, без да се налага да включва ISP. Това потенциално би могло да бъде голяма разлика в бъдеще, като освободи някои режийни разходи за ISP на бъдещи телефони.
Бихме искали още веднъж да благодарим на Sony за цялата помощ при създаването на тази статия. Наистина оценяваме усилията, които Sony положи, за да гарантира точността и дълбочината на това функция, особено като ни позволява да разкрием някаква непубликувана досега информация за IMX378.
Като се има предвид това, наистина е жалко, че е толкова трудно да получите достъп до част от тази информация, дори до основна информация за продукта. Когато компаниите се опитват да поставят информация на своите уебсайтове, тя често може да бъде доста недостъпна и непълна, в големи част, защото често се третира като второстепенна грижа на служителите на компанията, които са по-фокусирани върху основното си работа. Един посветен човек, занимаващ се с връзки с обществеността, може да направи огромна разлика по отношение на създаването на този тип информация достъпни и достъпни за широката публика и виждаме някои хора да се опитват да направят точно това в своите безплатни време. Дори на Sony Exmor Самата статия в Уикипедия, където в течение на няколко месеца един човек в свободното си време положи по-голямата част от основата, за да я вземе от почти безполезен Статия от 1715 байта това беше почти същото от години, в статията от ~50 000 байта, която виждаме там днес със 185 различни редактора. Статия, която може би е най-доброто хранилище на информация за линията сензори Sony Exmor, налична онлайн, и можем да видим много подобен модел в други статии. Един единствен посветен писател може да направи съществена разлика в това колко лесно клиентите могат да сравняват различни продукти и колко образовани са заинтересованите потребители по темата, която може да има далечни обхвати ефекти. Но това е тема за друг път.
Както винаги, оставаме да се чудим как тези хардуерни промени ще се отразят на самите устройства. Ние съвсем ясно няма да получаваме 4k 60 Hz HDR видео (и може изобщо да не получаваме HDR видео, тъй като Google все още не го е споменал), но по-бързата пълна разделителна способност снимането вероятно ще помогне значително с HDR+ и ще видим подобренията на по-новия сензор да проникват в телефона по други подобни малки, но съществени начини както добре.
Докато DXOMark изброява Pixel телефоните се представят малко по-добре от Samsung Galaxy S7 и HTC 10, много от нещата, които дадоха малка преднина на телефоните Pixel, бяха основен софтуер подобрения като HDR+ (който дава абсолютно фантастични резултати и на който DXOMark посвети цял раздел от своя преглед) и специалния EIS на Google система (която може да работи в тандем с OIS), която взема проби от жироскопа 200 пъти в секунда, за да осигури някои от най-добрите електронни стабилизации на изображението, които някога сме имали видяно. Да, телефоните Pixel имат страхотна камера, но можеха ли да бъдат още по-добри с добавени OIS и Dual Pixel PDAF? Абсолютно.
Не ме разбирайте погрешно, както казах, телефоните Pixel имат абсолютно зашеметяваща камера, но не можете да ме вините, че искам повече, особено когато пътят към тези подобрения е толкова ясен (и когато телефоните са на цена на пълни флагмански цени, където очаквате най-доброто от най-доброто). Винаги ще има част от мен, която иска повече, която иска по-добър живот на батерията, по-бързи процесори, по-добър живот на батерията, по-ярки и по-ярки екрани, по-силни високоговорители, по-добри камери, повече място за съхранение, по-добър живот на батерията и най-важното, по-добър живот на батерията (отново). Като се има предвид това, телефоните Pixel имат много малки фантастични функции, които могат да се съберат, за да създадат наистина обещаващо устройство, което съм развълнуван да видя.