Sony IMX378: Sveobuhvatna analiza senzora Google Pixela i njegovih značajki

IMX378 Pregled

Obratili smo se Sonyju kako bismo saznali nešto više o IMX378 senzoru koji koristi nadolazeći Google Pixel i Pixel XL telefona, kao i od strane Xiaomi Mi 5S. Nažalost, Sony još nije bio u mogućnosti distribuirati podatkovnu tablicu za Exmor RS IMX378 senzor, ali su bili od velike pomoći i mogli su nam pružiti neke prethodno neobjavljene informacije o IMX378.

Prvo, sam naziv je pogrešan. Unatoč glasinama da će biti dio Exmor R linija CMOS senzora sa stražnjim osvjetljenjem (BSI) poput IMX377 prije njega koji se koristio u Nexus 5X i Nexus 6P, naš kontakt u Sonyju obavijestio nas je da će se IMX378 umjesto toga smatrati dijelom Sonyja Exmor RS linija naslaganih BSI CMOS senzora.

Iako su mnoge stvari ostale iste od IMX377 do IMX378, uključujući veličinu piksela (1,55 μm) i veličinu senzora (7,81 mm), dodano je nekoliko ključnih značajki. Naime, to je sada složeni BSI CMOS dizajn, ima PDAF, dodaje Sonyjevu SME-HDR tehnologiju i ima bolju podršku za video visoke brzine kadrova (usporeni).

Složeni BSI CMOS

Stražnje osvjetljenje je samo po sebi iznimno korisna značajka koja je postala gotovo standard u vodećim pametnim telefonima u posljednjih nekoliko godina, počevši od HTC Evo 4G u 2010. Omogućuje fotoaparatu da uhvati znatno više svjetla (po cijenu više šuma) pomicanjem nekih od struktura koja se tradicionalno nalazila ispred fotodiode na prednjim osvijetljenim senzorima, iza to.

Iznenađujuće, za razliku od većine tehnologija fotoaparata, stražnje osvjetljenje izvorno se počelo pojavljivati ​​u telefonima prije DSLR-a, velikim dijelom zahvaljujući poteškoćama s stvaranjem većih BSI senzora. Prvi BSI APS-C senzor bio je Samsung S5KVB2 koji se nalazio u njihovoj NX1 kameri iz 2014. godine, a prvi full-frame senzor bio je Sony Exmor R IMX251 koji se nalazio u Sony α7R II od prošlog godina.

Tehnologija naslaganog BSI CMOS-a ide korak dalje premještajući više sklopova s ​​prednjeg sloja na potpornu podlogu iza fotodioda. Ovo ne samo da omogućuje Sonyu da značajno smanji veličinu senzora slike (dopuštajući veće senzore u istom otisku), već također omogućuje Sonyju da ispisuje piksele i sklopove zasebno (čak i na različitim proizvodnim procesima), smanjujući rizik od nedostataka, poboljšavajući prinose i dopuštajući veću specijalizaciju između fotodioda i potpornih sklopovlje.

PDAF

IMX378 dodaje autofokus detekcije faze, koji prošlogodišnji Nexus telefoni i IMX377 nisu podržavali. Omogućuje kameri da učinkovito koristi razlike u intenzitetu svjetla između različitih točaka na senzoru za prepoznavanje ako je objekt koji kamera pokušava fokusirati ispred ili iza točke fokusa, i podesite senzor prema tome. Ovo je veliko poboljšanje u pogledu brzine i točnosti u odnosu na tradicionalni autofokus temeljen na kontrastu koji smo vidjeli na mnogim fotoaparatima u prošlosti. Kao rezultat toga, vidjeli smo apsolutnu eksploziju telefona koji koriste PDAF, i to je postala velika marketinška poštapalica koja se drži kao središnji dio marketinga kamera u cijeloj industriji.

Iako nije tako brz za fokusiranje kao PDAF s dvostrukom fotodiodom Samsung Galaxy S7 ima (također poznat kao “Dual Pixel PDAF” i “Duo Pixel Autofokus”), koji omogućuje da se svaki pojedini piksel koristi za detekciju faze uključivanjem dvije fotodiode po pikselu, spajanje PDAF-a i laserskog autofokusa i dalje bi trebala biti moćna kombinacija.

Visok broj sličica u sekundi

U posljednje se vrijeme mnogo govori o kamerama s velikom brzinom snimanja (i za potrošačke aplikacije i za profesionalnu izradu filmova). Mogućnost snimanja s većim brojem sličica u sekundi može se koristiti za stvaranje nevjerojatno glatkih videozapisa redovne brzine (što može biti fantastično za sport i druge scenarije velike brzine) i stvoriti neke stvarno zanimljivi videi kad sve usporiš.

Nažalost, iznimno je teško snimati video s većim brojem sličica u sekundi, pa čak i kada je vaša kamera senzor može snimati s većim brojem sličica u sekundi, procesoru signala slike telefona to može biti teško zadržati gore. Zato dok je IMX377 korišten u Nexusu 5X i 6P mogao snimati 720p video pri 300 Hz i 1080p video pri 120 Hz, vidjeli smo samo 120 Hz 720p od Nexusa 5X i 240 Hz 720p od 6P. IMX377 također je bio sposoban za 4k video od 60 Hz, unatoč tome što su Nexus uređaji bili ograničeni na 30 Hz.

Pixel telefoni mogu dovesti do 120 Hz 1080p video i 240 Hz 720p video zahvaljujući dio poboljšanja povezanih s IMX378, koji bilježi povećanje mogućnosti do 240 Hz na 1080p.

Senzor također može brže snimati rafalne snimke pune razlučivosti, pojačavajući do 60 Hz pri 10-bitnom izlazu i 40 Hz pri 12-bitnom izlazu izlaz (od 40 Hz odnosno 35 Hz), što bi trebalo pomoći u smanjenju količine zamućenja pokreta i podrhtavanja fotoaparata pri korištenju HDR+.

MSP-HDR

Tradicionalno, HDR za video bio je kompromis. Ili ste morali prepoloviti broj sličica u sekundi ili ste morali prepoloviti rezoluciju. Kao rezultat toga, mnogi proizvođači originalne opreme nisu se ni zamarali time, a Samsung i Sony su među rijetkima koji to implementiraju. Čak i Samsung Galaxy Note 7 je ograničen na 1080p 30 Hz snimanje djelomično zbog visokih računalnih troškova HDR videa.

Prva od dvije glavne tradicionalne metode za HDR video, koju tvrtka Red Digital Cinema Camera Company naziva HDRx i koji Sony naziva Digital Overlap HDR (DOL-HDR), radi tako što snima dvije uzastopne slike, jednu tamniju i jednu svjetliju, te ih spaja kako bi stvorio jedan video kadar. Iako vam to omogućuje da zadržite punu razlučivost kamere (i postavite različite brzine zatvarača za dvije odvojene okvira), često može rezultirati problemima zbog vremenskog razmaka između dva okvira (osobito s brzim pomicanjem objekti). Osim toga, procesoru može biti vrlo teško držati korak, jer s DOL-HDR-om ISP telefona obrađuje spajanje zasebnih okvira.

Druga tradicionalna metoda, koju Sony naziva Binning Multiplexed Exposure HDR (BME-HDR), postavlja različite postavke ekspozicije za svaki par dvije linije piksela u senzoru za stvaranje dvije slike polovične rezolucije u isto vrijeme, koje se zatim spajaju u jedan HDR okvir za video. Iako ova metoda izbjegava probleme povezane s HDRx-om, naime smanjenje broja sličica u sekundi, ona ima druge probleme, posebno smanjenje rezolucije i ograničenja kako se ekspozicija može mijenjati između dva skupa linije.

Spatially Multiplexed Exposure (SME-HDR) nova je metoda koju Sony koristi kako bi im omogućio snimanje HDR-a u punoj razlučivosti i pri punoj brzini kadrova za koju je senzor sposoban. To je varijanta od Prostorno promjenjiva ekspozicija koji koristi vlasničke algoritme kako bi Sonyju omogućio snimanje informacija iz tamnih i svijetlih piksela, koji su poredane u šahovskom stilu i zaključiti sliku pune razlučivosti i za tamnu i za svijetlu ekspoziciju slike.

Nažalost, Sony nam nije mogao dati detaljnija objašnjenja o točnom uzorku i možda ga nikada neće moći otkriti - tvrtke imaju tendenciju igrati na svoje karte vrlo bliski njihovim prsima kada je riječ o vrhunskoj tehnologiji, poput one koju vidimo u HDR-u, a čak i Google ima svoj vlastiti algoritam za HDR fotografije poznat kao HDR+. Ipak, još uvijek postoje neke javno dostupne informacije koje možemo upotrijebiti da složimo kako bi se to moglo postići. Nekoliko radova objavio je Shree K. Nayar sa Sveučilišta Columbia (jedan od kojih je u suradnji s Tomoo Mitsunaga iz Sonyja) koji sadrže različite načine korištenja prostorno promjenjive ekspozicije i različite rasporede koji to mogu postići. Ispod je primjer rasporeda s četiri razine ekspozicije na RGBG senzoru slike. Ovaj raspored tvrdi da može postići pojedinačno snimanje HDR slika pune rezolucije sa samo oko 20% gubitak u prostornoj razlučivosti, ovisno o scenariju (isto postignuće za koje Sony tvrdi SME-HDR).

Sony je već koristio SME-HDR u nekoliko senzora slike, uključujući IMX214 koji je u posljednje vrijeme stekao veliku popularnost (koristi se u Asus Zenfone 3 Laser, Moto Z, i Xperia X Performance), ali je novi dodatak IMX378 u usporedbi s IMX377 koji se koristio prošle godine. Omogućuje senzoru kamere da emitira 10-bitnu punu razlučivost i 4k video na 60 Hz s aktivnim SME-HDR. Dok će usko grlo negdje drugdje u procesu rezultirati nižom granicom, ovo je fantastičan napredak u odnosu na ono za što je IMX377 bio sposoban i znak je dobrih stvari koje dolaze u budućnosti.

Jedno od velikih poboljšanja IMX378 u odnosu na IMX377 je to što može podnijeti više obrade slike na čipu, smanjujući radno opterećenje ISP-a (iako ISP još uvijek može zatražiti RAW slikovne podatke, ovisno o tome kako OEM odluči koristiti senzor). Može se nositi s mnogim malim stvarima poput ispravljanja nedostataka i zrcaljenja lokalno, ali što je još važnije, može se nositi i s BME-HDR ili SME-HDR bez potrebe za uključivanjem ISP-a. To bi potencijalno mogla biti velika razlika u budućnosti oslobađanjem nekih režijskih troškova za ISP-a na budućim telefonima.

Željeli bismo još jednom zahvaliti tvrtki Sony na pomoći pri izradi ovog članka. Zaista cijenimo sve što je Sony učinio kako bi osigurao točnost i dubinu ovoga značajku, posebno u omogućavanju otkrivanja nekih prethodno neobjavljenih informacija o IMX378.

Uz to, doista je šteta što je tako teško pristupiti nekim od ovih informacija, čak i osnovnim podacima o proizvodu. Kada tvrtke pokušavaju staviti informacije na svoje web stranice, one često mogu biti prilično nedostupne i nepotpune, u velikim dio jer se često tretira kao sekundarna briga zaposlenika tvrtke, koji su više usredotočeni na svoje glavne raditi. Jedna predana osoba koja se bavi odnosima s javnošću može napraviti veliku razliku u smislu izrade ove vrste informacija dostupan i dostupan široj javnosti, a vidimo da neki ljudi pokušavaju učiniti upravo to u svojoj besplatnoj ponudi vrijeme. Čak i na Sony Exmor Sam članak na Wikipediji, gdje je tijekom nekoliko mjeseci jedna osoba u svoje slobodno vrijeme postavila većinu temelja da ih preuzme od gotovo beskorisnog Članak od 1715 bajtova koji je uglavnom bio isti godinama, u članak od ~50 000 bajtova koji tamo vidimo danas sa 185 različitih urednika. Članak koji je nedvojbeno najbolji repozitorij informacija o liniji senzora Sony Exmor dostupan na internetu, a vrlo sličan uzorak možemo vidjeti u drugim člancima. Jedan predani pisac može značajno utjecati na to koliko lako kupci mogu usporediti različite proizvoda, te koliko su zainteresirani potrošači obrazovani o toj temi, što može imati dalekosežne rezultate učinci. Ali to je tema za drugi put.

Kao i uvijek, pitamo se kako će ove hardverske promjene utjecati na same uređaje. Sasvim je jasno da nećemo dobiti 4k 60 Hz HDR video (i možda uopće nećemo dobiti HDR video, jer Google to još nije spomenuo), ali bržu punu rezoluciju snimanje će vjerojatno znatno pomoći s HDR+, a vidjet ćemo kako poboljšanja novijeg senzora kapaju u telefon na druge slične male, ali značajne načine također.

Dok DXOMark navodi Pixel telefoni imaju malo bolje performanse od Samsung Galaxy S7 i HTC 10, mnoge od stvari koje su Pixel telefonima dale to malo vodstvo bili su glavni softver poboljšanja poput HDR+ (koji daje apsolutno fantastične rezultate, a kojem je DXOMark posvetio cijeli dio svoje recenzije) i Googleov poseban EIS sustav (koji može raditi u tandemu s OIS-om) koji uzorkuje žiroskop 200 puta u sekundi kako bi pružio najbolju elektroničku stabilizaciju slike koju smo ikada imali vidio. Da, Pixel telefoni imaju izvrsnu kameru, ali jesu li mogli biti još bolji s dodanim OIS-om i Dual Pixel PDAF? Apsolutno.

Nemojte me krivo shvatiti, kao što sam rekao, Pixel telefoni imaju apsolutno nevjerojatnu kameru, ali ne možete me kriviti što želim više, posebno kada je put do tih poboljšanja tako jasan (i kada telefoni imaju punu glavnu cijenu, gdje očekujete najbolje od najbolje). Uvijek će postojati dio mene koji želi više, koji želi bolje trajanje baterije, brže procesore, bolje trajanje baterije, svjetlije i živopisniji zasloni, glasniji zvučnici, bolje kamere, više prostora za pohranu, bolji vijek trajanja baterije i što je najvažnije, bolji vijek trajanja baterije (opet). Uz to, telefoni Pixel imaju mnogo malih fantastičnih značajki koje bi mogle zajedno stvoriti uređaj koji uistinu obećava, što sam uzbuđen vidjeti.