Sony IMX378: Omfattende oversikt over Google Pixel-sensoren og dens funksjoner

IMX378 Oversikt

Vi tok kontakt med Sony for å prøve å lære litt mer om IMX378-sensoren som brukes av den kommende Google Pixel og Pixel XL telefoner, samt av Xiaomi Mi 5S. Dessverre var ikke Sony i stand til å distribuere dataarket for Exmor RS IMX378-sensoren ennå, men de var ekstremt hjelpsomme, og var i stand til å gi oss noe tidligere ikke-utgitt informasjon om IMX378.

For det første var selve navnet feil. Til tross for rykter om at det ville være en del av Exmor R linje med Backside Illuminated (BSI) CMOS-sensorer som IMX377 før den ble brukt i Nexus 5X og Nexus 6P, vår kontakt hos Sony har informert oss om at IMX378 i stedet vil bli betraktet som en del av Sonys Exmor RS linje med stablede BSI CMOS-sensorer.

Mens mange ting har forblitt det samme fra IMX377 til IMX378, inkludert pikselstørrelsen (1,55 μm) og sensorstørrelsen (7,81 mm), har det blitt lagt til et par nøkkelfunksjoner. Det er nemlig nå en stablet BSI CMOS-design, den har PDAF, den legger til Sonys SME-HDR-teknologi, og den har bedre støtte for video med høy bildefrekvens (sakte film).

Stablet BSI CMOS

Baksidebelysning i seg selv er en ekstremt nyttig funksjon som har blitt nesten standard i flaggskipsmarttelefoner de siste årene, og starter med HTC Evo 4G i 2010. Det lar kameraet fange opp betydelig mer lys (på bekostning av mer støy) ved å flytte noe av strukturen som tradisjonelt satt foran fotodioden på foran belyste sensorer, bak den.

Overraskende nok, i motsetning til de fleste kamerateknologier, begynte baksidebelysning opprinnelig å dukke opp i telefoner før DSLR-er, mye takket være vanskelighetene med å lage større BSI-sensorer. Den første BSI APS-C-sensoren var Samsung S5KVB2 som ble funnet i deres NX1-kamera fra 2014, og den første fullformatsensoren var Sony Exmor R IMX251 som ble funnet i Sony α7R II fra sist år.

Stablet BSI CMOS-teknologi tar dette ett skritt videre ved å flytte mer av kretsene fra frontlaget til støttesubstratet bak fotodiodene. Dette gjør ikke bare at Sony kan redusere størrelsen på bildesensoren betydelig (som gir mulighet for større sensorer i samme fotavtrykk), men lar også Sony skrive ut piksler og kretser separat (selv på forskjellige produksjonsprosesser), reduserer risikoen for defekter, forbedrer utbyttet og gir mulighet for mer spesialisering mellom fotodiodene og støtten. kretsløp.

PDAF

IMX378 legger til Fase Detection Autofocus, som fjorårets Nexus-telefoner og IMX377 ikke støttet. Det lar kameraet effektivt bruke forskjellene i lysintensitet mellom ulike punkter på sensoren for å identifisere hvis objektet som kameraet prøver å fokusere på er foran eller bak fokuspunktet, og juster sensoren tilsvarende. Dette er en enorm forbedring både når det gjelder hastighet og nøyaktighet i forhold til den tradisjonelle kontrastbaserte autofokusen som vi har sett på mange kameraer tidligere. Som et resultat har vi sett en absolutt eksplosjon av telefoner som bruker PDAF, og det har blitt et stort markedsføringsord som blir holdt frem som et midtpunkt i kameramarkedsføring i bransjen.

Selv om det ikke er fullt så raskt å fokusere som Dual Photodiode PDAF Samsung Galaxy S7 har (også kjent som "Dual Pixel PDAF" og "Duo Pixel Autofokus"), som gjør at hver enkelt piksel kan brukes til fasedeteksjon ved å inkludere to fotodioder per piksel, bør sammenslåingen av PDAF og laserautofokus fortsatt være en potent kombinasjon.

Høy bildefrekvens

Det har vært mye snakk i det siste om kameraer med høy bildefrekvens (både for forbrukerapplikasjoner og i profesjonell filmskaping). Å kunne ta bilder med høyere bildefrekvenser kan brukes både til å lage utrolig jevne videoer på vanlig hastighet (som kan være fantastisk for sport og andre høyhastighetsscenarier) og for å skape noen egentlig interessante videoer når du bremser alt.

Dessverre er det ekstremt vanskelig å ta opp video med høyere bildefrekvenser, og selv når kameraet ditt sensor kan fotografere med høyere bildefrekvenser, kan det være vanskelig for telefonens bildesignalprosessor å beholde opp. Det er derfor mens IMX377 brukt i Nexus 5X og 6P kunne ta opp 720p-video ved 300 Hz og 1080p-video ved 120 Hz, så vi bare 120 Hz 720p fra Nexus 5X og 240 Hz 720p fra 6P. IMX377 var også i stand til 60 Hz 4k-video, til tross for at Nexus-enhetene var begrenset til 30 Hz.

Pixel-telefonene er både i stand til å gi denne opptil 120 Hz 1080p-videoen og 240 Hz 720p-videoen takket være del av forbedringer knyttet til IMX378, som ser en økning i kapasiteter på opptil 240 Hz ved 1080p.

Sensoren kan også ta bilder med full oppløsning raskere, og øker til 60 Hz ved 10-bits utgang og 40 Hz ved 12-bit. utgang (opp fra henholdsvis 40 Hz og 35 Hz), noe som bør bidra til å redusere mengden bevegelsesuskarphet og kamerarystelser ved bruk HDR+.

SME-HDR

Tradisjonelt har HDR for video vært en avveining. Du måtte enten halvere bildefrekvensen, eller så måtte du halvere oppløsningen. Som et resultat har mange OEM-er ikke engang brydd seg med det, og Samsung og Sony er blant de få som implementerer det. Tilogmed Samsung Galaxy Note 7 er begrenset til 1080p 30 Hz-opptak delvis på grunn av de høye beregningskostnadene til HDR-video.

Den første av de to viktigste tradisjonelle metodene for HDR-video, som Red Digital Cinema Camera Company kaller HDRx og som Sony kaller Digital Overlap HDR (DOL-HDR), fungerer ved å ta to påfølgende bilder, ett eksponert mørkere og ett eksponert lysere, og slå dem sammen for å lage en enkelt videoramme. Mens dette lar deg beholde den fulle oppløsningen til kameraet (og angi forskjellige lukkerhastigheter for de to separate rammer), kan det ofte føre til problemer på grunn av tidsgapet mellom de to rammene (spesielt med rask bevegelse gjenstander). I tillegg kan det være svært vanskelig for prosessoren å følge med, ettersom med DOL-HDR håndterer telefonens ISP å slå sammen de separate rammene.

Den andre tradisjonelle metoden, som Sony kaller Binning Multiplexed Exposure HDR (BME-HDR), setter en annen eksponeringsinnstilling for hvert par av to linjer med piksler i sensoren for å lage to bilder med halv oppløsning samtidig, som deretter slås sammen til én HDR-ramme for videoen. Selv om denne metoden unngår problemene knyttet til HDRx, nemlig en reduksjon i bildefrekvens, har den andre problemer, spesifikt reduksjonen i oppløsning og grensene for hvordan eksponeringen kan endres mellom de to settene av linjer.

Spatial Multiplexed Exposure (SME-HDR) er en ny metode som Sony bruker for å la dem ta opp HDR med full oppløsning og med full bildefrekvens som sensoren er i stand til. Det er en variant av Romlig varierende eksponering som bruker proprietære algoritmer for å tillate Sony å fange informasjonen fra de mørke og lyse pikslene, som er arrangert i et sjakkbrettstilmønster, og utlede bildet i full oppløsning for både mørk og lys eksponering Bilder.

Dessverre var ikke Sony i stand til å gi oss mer detaljerte forklaringer om det nøyaktige mønsteret, og de vil kanskje aldri kunne avsløre det - selskaper har en tendens til å spille kortene sine svært nær brystet når det kommer til nyskapende teknologi, som den vi ser i HDR, med til og med Google som har sin egen proprietære algoritme for HDR-bilder kjent som HDR+. Det er fortsatt noe offentlig tilgjengelig informasjon som vi kan bruke for å sette sammen hvordan det kan oppnås. Et par artikler er utgitt av Shree K. Nayar fra Columbia University (en av dem var i samarbeid med Tomoo Mitsunaga fra Sony) som inneholder forskjellige måter å bruke Spatally Varying Exposure på, og forskjellige oppsett som kan oppnå det. Nedenfor er et eksempel på en layout med fire eksponeringsnivåer på en RGBG-bildesensor. Denne layouten hevder å være i stand til å oppnå enkeltopptak i full oppløsning HDR-bilder med bare rundt 20 % tap i romlig oppløsning, avhengig av scenariet (den samme prestasjonen som Sony hevder SME-HDR).

Sony har allerede brukt SME-HDR i et par bildesensorer, inkludert i IMX214 som har sett mye popularitet i det siste (blir brukt i Asus Zenfone 3 Laser, den Moto Z, og Xperia X Ytelse), men er et nytt tillegg til IMX378 sammenlignet med IMX377 som ble brukt i fjor. Den lar kamerasensoren sende ut både 10-bits full oppløsning og 4k-video ved 60 Hz med SME-HDR aktiv. Mens en flaskehals andre steder i prosessen vil resultere i en nedre grense, er dette en fantastisk forbedring i forhold til hva IMX377 var i stand til, og er et tegn på gode ting som kommer i fremtiden.

En av de store forbedringene til IMX378 i forhold til IMX377 er at den er i stand til å håndtere mer av bildebehandlingen på brikken, noe som reduserer arbeidsbelastningen til Internett-leverandøren (selv om Internett-leverandøren fortsatt kan be om RAW-bildedata, avhengig av hvordan OEM bestemmer seg for å bruke sensor). Den kan håndtere mange små ting som feilretting og speiling lokalt, men enda viktigere, den kan også håndtere BME-HDR eller SME-HDR uten å måtte involvere ISP. Det kan potensielt være en stor forskjell fremover ved å frigjøre noe overhead for Internett-leverandøren på fremtidige telefoner.

Vi vil takke Sony nok en gang for all hjelpen med å lage denne artikkelen. Vi setter stor pris på lengden Sony har lagt ned for å sikre nøyaktigheten og dybden til dette funksjon, spesielt ved å la oss avdekke noe tidligere ikke-utgitt informasjon om IMX378.

Når det er sagt, er det virkelig synd at det er så vanskelig å få tilgang til noe av denne informasjonen, til og med grunnleggende produktinformasjon. Når bedrifter prøver å legge informasjon på nettsidene sine, kan den ofte være ganske utilgjengelig og ufullstendig, i store trekk del fordi det ofte blir behandlet som en sekundær bekymring for selskapets ansatte, som er mer fokusert på deres viktigste arbeid. En dedikert person som håndterer PR kan gjøre en stor forskjell når det gjelder å lage denne typen informasjon tilgjengelig og tilgjengelig for allmennheten, og vi ser at noen prøver å gjøre nettopp det gratis tid. Selv på Sony Exmor Wikipedia-artikkelen selv, der i løpet av et par måneder en enkelt person på fritiden la det meste av grunnlaget for å ta det fra en nesten ubrukelig 1715 byte artikkel som stort sett hadde vært det samme i årevis, inn i artikkelen om ~50 000 byte som vi ser der i dag med 185 distinkte redaktører. En artikkel som uten tvil er det beste depotet med informasjon om Sony Exmor-sensorlinjen tilgjengelig på nettet, og vi kan se et veldig lignende mønster på andre artikler. En enkelt dedikert skribent kan utgjøre en betydelig forskjell i hvor enkelt kunder kan sammenligne forskjellige produkter, og i hvor utdannet interesserte forbrukere er om emnet, som kan ha vidtrekkende effekter. Men det er et tema for en annen gang.

Som alltid lurer vi på hvordan disse maskinvareendringene vil påvirke selve enhetene. Vi vil helt klart ikke få 4k 60 Hz HDR-video (og kanskje ikke få HDR-video i det hele tatt, siden Google ikke har nevnt det ennå), men den raskere fulloppløsningen fotografering vil sannsynligvis hjelpe betydelig med HDR+, og vi vil se forbedringene av den nyere sensoren sildre inn i telefonen på andre lignende små, men betydelige måter også.

Mens DXOMark viser Pixel telefoner som presterte litt bedre enn Samsung Galaxy S7 og HTC 10, mange av tingene som ga Pixel-telefonene det lille forspranget var viktig programvare forbedringer som HDR+ (som gir helt fantastiske resultater, og som DXOMark dedikerte en hel del av anmeldelsen til) og Googles spesielle EIS system (som kan fungere sammen med OIS) som sampler gyroskopet 200 ganger i sekundet for å gi noe av den beste elektroniske bildestabiliseringen vi noensinne har sett. Ja, Pixel-telefonene har et flott kamera, men kunne de vært enda bedre med OIS og Dual Pixel PDAF lagt til? Absolutt.

Misforstå meg rett, som jeg sa, Pixel-telefonene har et helt fantastisk kamera, men du kan egentlig ikke klandre meg for at jeg vil ha mer, spesielt når veien til disse forbedringene er så tydelig (og når telefonene er priset til full flaggskippris, der du forventer det beste av beste). Det kommer alltid til å være en del av meg som vil ha mer, som vil ha bedre batterilevetid, raskere prosessorer, bedre batterilevetid, lysere og mer levende skjermer, høyere høyttalere, bedre kameraer, mer lagringsplass, bedre batterilevetid, og viktigst av alt, bedre batterilevetid (en gang til). Når det er sagt, har Pixel-telefonene mange små fantastiske funksjoner som kan komme sammen for å skape en virkelig lovende enhet, som jeg er spent på å se.