Obrnili smo se na Sony, da bi izvedeli nekaj več o senzorju IMX378, ki ga uporabljajo prihajajoči telefoni Google Pixel in Pixel XL. Izvedite vse o tem!
IMX378 Pregled
Obrnili smo se na Sony, da bi izvedeli nekaj več o senzorju IMX378, ki ga uporablja prihajajoči Google Pixel in Pixel XL telefonov, pa tudi po Xiaomi Mi 5S. Na žalost Sony še ni mogel razdeliti podatkovnega lista za senzor Exmor RS IMX378, vendar so so bili izjemno koristni in so nam lahko posredovali nekaj prej neobjavljenih informacij o IMX378.
Prvič, samo ime je bilo napačno. Kljub govoricam, da bo del Exmor R linija senzorjev CMOS z zadnjo osvetlitvijo (BSI), kot je pred njim IMX377, ki je bil uporabljen v Nexus 5X in Nexus 6P, nas je naš kontakt pri Sonyju obvestil, da bo IMX378 namesto tega veljal za del Sonyja Exmor RS linija senzorjev Stacked BSI CMOS.
Čeprav je veliko stvari ostalo nespremenjenih od IMX377 do IMX378, vključno z velikostjo slikovnih pik (1,55 μm) in velikostjo senzorja (7,81 mm), je bilo dodanih nekaj ključnih funkcij. Namreč zdaj je zasnova zloženega BSI CMOS, ima PDAF, dodaja Sonyjevo tehnologijo SME-HDR in ima boljšo podporo za video z visoko hitrostjo sličic (počasni posnetek).
Zložen BSI CMOS
Osvetlitev hrbtne strani je sama po sebi izjemno uporabna funkcija, ki je v zadnjih nekaj letih postala skoraj standard v vodilnih pametnih telefonih, začenši z HTC Evo 4G leta 2010. Fotoaparatu omogoča, da zajame bistveno več svetlobe (za ceno več šuma) s premikanjem nekaterih struktura, ki je tradicionalno sedela pred fotodiodo na sprednjih osvetljenih senzorjih, zadaj to.
Presenetljivo je, da se je za razliko od večine tehnologij fotoaparatov osvetlitev hrbtne strani prvotno začela pojavljati v telefonih pred DSLR-ji, predvsem zaradi težav pri ustvarjanju večjih senzorjev BSI. Prvi senzor BSI APS-C je bil Samsung S5KVB2, ki so ga našli v njihovi kameri NX1 iz leta 2014, in prvi senzor polnega formata je bil Sony Exmor R IMX251, ki je bil najden v Sonyju α7R II iz prejšnjega leto.
Tehnologija zloženega BSI CMOS naredi korak dlje, tako da premakne več vezja s sprednje plasti na nosilno podlago za fotodiodami. To ne le omogoča Sonyju, da bistveno zmanjša velikost slikovnega senzorja (kar omogoča večje senzorje v enakem odtisu), ampak Sonyju tudi omogoča tiskanje slikovnih pik in vezij ločeno (tudi pri različnih proizvodnih procesih), kar zmanjša tveganje za napake, izboljša izkoristek in omogoči večjo specializacijo med fotodiodami in podpornimi vezje.
PDAF
IMX378 doda samodejno ostrenje s faznim zaznavanjem, ki ga lanski telefoni Nexus in IMX377 niso podpirali. Fotoaparatu omogoča učinkovito uporabo razlik v jakosti svetlobe med različnimi točkami na senzorju za prepoznavanje če je predmet, ki ga kamera poskuša izostriti, pred ali za točko ostrenja, prilagodite senzor temu primerno. To je velik napredek v smislu hitrosti in natančnosti v primerjavi s tradicionalnim samodejnim ostrenjem na podlagi kontrasta, ki smo ga v preteklosti videli na številnih fotoaparatih. Posledično smo bili priča absolutni eksploziji telefonov, ki uporabljajo PDAF, in postal je velika marketinška modna beseda, ki velja za osrednji del trženja fotoaparatov v celotni industriji.
Čeprav ni tako hiter za ostrenje kot PDAF z dvojno fotodiodo Samsung Galaxy S7 ima (znan tudi kot »Dual Pixel PDAF« in »Duo Pixel Autofocus«), ki omogoča uporabo vsake posamezne slikovne pike za fazno zaznavanje z vključitvijo dveh fotodiod na slikovno piko, bi morala biti združitev PDAF in laserskega samodejnega ostrenja še vedno močna kombinacija.
Visoka hitrost sličic
Zadnje čase je bilo veliko govora o kamerah z visoko hitrostjo sličic (tako za potrošniške aplikacije kot pri profesionalnem filmskem ustvarjanju). Možnost snemanja pri višjih hitrostih sličic lahko uporabite za ustvarjanje neverjetno gladkih videoposnetkov običajne hitrosti (kar je lahko fantastično za šport in druge hitre scenarije) in ustvariti nekaj res zanimivi videi ko vse upočasniš.
Na žalost je izredno težko snemati video pri višjih hitrostih sličic in celo s kamero senzor lahko snema z večjo hitrostjo sličic, procesor slikovnega signala telefona to lahko težko obdrži gor. Zato je IMX377, ki se uporablja v Nexusu 5X in 6P, lahko snemal 720p video pri 300 Hz in 1080p video pri 120 Hz, pri Nexusu 5X pa smo videli samo 120 Hz 720p in 240 Hz 720p pri 6P. IMX377 je zmogel tudi 60 Hz 4k video, kljub temu, da so bile naprave Nexus omejene na 30 Hz.
Oba telefona Pixel lahko preneseta video do 120 Hz 1080p in 240 Hz 720p video zahvaljujoč del izboljšav, povezanih z IMX378, ki vidi povečanje zmogljivosti do 240 Hz pri 1080p.
Senzor lahko tudi hitreje snema rafalne posnetke v polni ločljivosti, saj stopnjuje do 60 Hz pri 10-bitnem izhodu in 40 Hz pri 12-bitnem izhodu. izhod (s 40 Hz oziroma 35 Hz), kar bi moralo pomagati zmanjšati zameglitev gibanja in tresenje fotoaparata pri uporabi HDR+.
MSP-HDR
Tradicionalno je bil HDR za video kompromis. Ali ste morali prepoloviti hitrost sličic ali prepoloviti ločljivost. Posledično se številni proizvajalci originalne opreme sploh niso ukvarjali s tem, pri čemer sta Samsung in Sony med redkimi, ki to izvajajo. Celo Samsung Galaxy Note 7 je omejen na snemanje 1080p 30 Hz, delno zaradi visokih računskih stroškov videa HDR.
Prva od dveh glavnih tradicionalnih metod za video HDR, ki ju podjetje Red Digital Cinema Camera imenuje HDRx in ki ga Sony imenuje Digital Overlap HDR (DOL-HDR), deluje tako, da posname dve zaporedni sliki, eno osvetljeno temnejšo in drugo osvetljeno svetlejšo, in ju združi v en sam video okvir. Čeprav vam to omogoča, da ohranite polno ločljivost kamere (in nastavite različne hitrosti zaklopa za oba ločena okvirji), lahko pogosto povzroči težave zaradi časovne vrzeli med okvirjema (zlasti pri hitro premikajočih se predmeti). Poleg tega je procesorju lahko zelo težko slediti, saj pri DOL-HDR ponudnik internetnih storitev telefona skrbi za združevanje ločenih okvirjev.
Druga tradicionalna metoda, ki jo Sony imenuje Binning Multiplexed Exposure HDR (BME-HDR), nastavi drugačno nastavitev osvetlitve za vsak par dveh linij slikovnih pik v senzorju za istočasno ustvarjanje dveh slik polovične ločljivosti, ki se nato združita v en okvir HDR za video. Čeprav se ta metoda izogne težavam, povezanim s HDRx, in sicer zmanjšanju hitrosti sličic, ima druge težave, zlasti zmanjšanje ločljivosti in omejitve, kako se lahko osvetlitev spreminja med dvema nizoma vrstice.
Prostorsko večkratna osvetlitev (SME-HDR) je nova metoda, ki jo Sony uporablja za snemanje HDR pri polni ločljivosti in pri polni hitrosti sličic, ki ju senzor zmore. Je različica Prostorsko spremenljiva izpostavljenost ki uporablja lastniške algoritme, ki Sonyju omogočajo zajemanje informacij iz temnih in svetlih slikovnih pik, ki so razporejeni v vzorcu šahovnice in sklepati o sliki polne ločljivosti za temno in svetlo osvetlitev slike.
Na žalost nam Sony ni mogel dati podrobnejših pojasnil o točnem vzorcu in ga morda nikoli ne bodo mogli razkriti - podjetja ponavadi igrajo na svoje karte zelo blizu njihove prsi, ko gre za vrhunsko tehnologijo, kot je tista, ki jo vidimo v HDR, pri čemer ima celo Google svoj lastniški algoritem za fotografije HDR, znan kot HDR+. Še vedno pa je nekaj javno dostopnih informacij, ki jih lahko uporabimo, da sestavimo, kako bi to lahko dosegli. Nekaj člankov je objavil Shree K. Nayar z univerze Columbia (eden od katerih je bil v sodelovanju s Tomoo Mitsunaga iz Sonyja), ki vsebujejo različne načine uporabe prostorsko spreminjajoče se osvetlitve in različne postavitve, s katerimi je to mogoče doseči. Spodaj je primer postavitve s štirimi nivoji osvetlitve na slikovnem senzorju RGBG. Ta postavitev trdi, da lahko doseže enkraten zajem slik HDR v polni ločljivosti s samo okoli 20 % izguba prostorske ločljivosti, odvisno od scenarija (isti dosežek, za katerega trdi Sony SME-HDR).
Sony je že uporabil SME-HDR v nekaj slikovnih senzorjih, vključno z IMX214, ki je v zadnjem času zelo priljubljen (uporablja se v Asus Zenfone 3 Laser, Moto Z, in Zmogljivost Xperia X), vendar je nov dodatek k IMX378 v primerjavi z IMX377, ki je bil uporabljen lani. Senzorju kamere omogoča oddajanje tako 10-bitne polne ločljivosti kot videa 4k pri 60 Hz z aktivnim SME-HDR. Medtem ko bo ozko grlo drugje v procesu povzročilo nižjo mejo, je to fantastičen napredek glede na to, česar je bil zmožen IMX377, in je znak dobrih stvari, ki prihajajo v prihodnosti.
Ena od velikih izboljšav IMX378 v primerjavi z IMX377 je ta, da lahko obdela več slike na čipu, kar zmanjša delovna obremenitev ponudnika internetnih storitev (čeprav lahko ponudnik internetnih storitev še vedno zahteva slikovne podatke RAW, odvisno od tega, kako se OEM odloči za uporabo senzor). Lahko obravnava veliko majhnih stvari, kot je popravljanje napak in lokalno zrcaljenje, še pomembneje pa je, da lahko obravnava tudi BME-HDR ali SME-HDR, ne da bi moral vključiti ponudnika internetnih storitev. To bi lahko bila velika razlika v prihodnje, saj bi ponudniku internetnih storitev sprostili nekaj režijskih stroškov na prihodnjih telefonih.
Še enkrat bi se radi zahvalili podjetju Sony za vso pomoč pri ustvarjanju tega članka. Resnično cenimo vse, kar je Sony vložil pri zagotavljanju točnosti in globine tega funkcija, zlasti ker nam omogoča, da odkrijemo nekatere prej neobjavljene informacije o IMX378.
Kot rečeno, res je škoda, da je tako težko dostopati do nekaterih teh informacij, celo do osnovnih informacij o izdelku. Ko podjetja poskušajo objaviti informacije na svojih spletnih mestih, so te pogosto lahko precej nedostopne in nepopolne, v veliki delno zato, ker se pogosto obravnava kot sekundarna skrb zaposlenih v podjetju, ki so bolj osredotočeni na svojo glavno delo. Ena predana oseba, ki se ukvarja z odnosi z javnostmi, lahko veliko spremeni v smislu ustvarjanja tovrstnih informacij na voljo in dostopna širši javnosti, in opažamo, da nekateri ljudje poskušajo narediti prav to v svojem brezplačnem čas. Tudi na Sony Exmor Sam članek v Wikipediji, kjer je v nekaj mesecih ena sama oseba v svojem prostem času postavila večino temeljev, da jih je vzela iz skoraj neuporabnega 1715 bajtov velik članek ki je bil leta večinoma enak, v ~50.000 bajtov velik članek, ki ga tam vidimo danes s 185 različnimi uredniki. Članek, ki je nedvomno najboljše skladišče informacij o liniji senzorjev Sony Exmor, ki je na voljo na spletu, in zelo podoben vzorec lahko vidimo v drugih člankih. En sam predan pisec lahko bistveno spremeni, kako enostavno lahko stranke primerjajo različne izdelkov in v tem, kako izobraženi so zainteresirani potrošniki o temi, kar je lahko daljnosežno učinki. Ampak to je tema za kdaj drugič.
Kot vedno se sprašujemo, kako bodo te spremembe strojne opreme vplivale na same naprave. Jasno je, da ne bomo prejeli videa 4k 60 Hz HDR (in morda sploh ne bomo dobili videa HDR, saj ga Google še ni omenil), ampak hitrejšo polno ločljivost fotografiranje bo verjetno bistveno pomagalo pri HDR+ in videli bomo, kako se izboljšave novejšega tipala pretakajo v telefon na druge podobne majhne, a bistvene načine prav tako.
Medtem ko DXOMark navaja Pixel telefoni nekoliko boljši od Samsung Galaxy S7 in HTC 10, veliko stvari, ki so telefonom Pixel dale tako majhno prednost, je bila velika programska oprema izboljšave, kot je HDR+ (ki daje absolutno fantastične rezultate in ki mu je DXOMark posvetil cel del svojega pregleda) in Googlov poseben EIS sistem (ki lahko deluje v tandemu z OIS), ki vzorči žiroskop 200-krat na sekundo, da zagotovi najboljšo elektronsko stabilizacijo slike, kar jih je bilo videl. Da, telefoni Pixel imajo odlično kamero, toda ali bi lahko bili še boljši z dodanim OIS in Dual Pixel PDAF? Vsekakor.
Ne razumite me narobe, kot sem rekel, telefoni Pixel imajo popolnoma osupljivo kamero, vendar mi ne morete zameriti, da želim več, še posebej ko je pot do teh izboljšav tako jasna (in ko so telefoni ocenjeni po celotni vodilni ceni, kjer pričakujete najboljše od najboljši). Vedno bo del mene, ki bo želel več, ki bo želel boljšo življenjsko dobo baterije, hitrejše procesorje, boljšo življenjsko dobo baterije, svetlejše in bolj živahni zasloni, glasnejši zvočniki, boljše kamere, več prostora za shranjevanje, boljša življenjska doba baterije in, kar je najpomembnejše, boljša življenjska doba baterije (ponovno). Kot rečeno, imajo telefoni Pixel veliko majhnih fantastičnih funkcij, ki bi se lahko združile v resnično obetavno napravo, nad katero sem navdušen.