Oslovili sme spoločnosť Sony, aby sme sa pokúsili dozvedieť niečo viac o senzore IMX378, ktorý používajú nadchádzajúce telefóny Google Pixel a Pixel XL. Dozviete sa o tom všetko!
Prehľad IMX378
Oslovili sme Sony, aby sme sa pokúsili dozvedieť niečo viac o senzore IMX378, ktorý používa nadchádzajúci Google Pixel a Pixel XL telefónov, ako aj prostredníctvom Xiaomi Mi 5S. Bohužiaľ, spoločnosť Sony ešte nedokázala distribuovať údajový list pre snímač Exmor RS IMX378, ale boli mimoriadne nápomocní a dokázali nám poskytnúť niektoré predtým nezverejnené informácie o IMX378.
Po prvé, samotný názov bol nesprávny. Napriek fámam, ktoré hovoria, že bude súčasťou Exmor R rad snímačov Backside Illuminated (BSI) CMOS, ako je pred ním IMX377, ktorý sa používal v Nexus 5X a Nexus 6P, náš kontakt v Sony nás informoval, že IMX378 bude namiesto toho považovaný za súčasť Sony Exmor RS rad Stacked BSI CMOS snímačov.
Zatiaľ čo veľa vecí zostalo rovnakých od IMX377 po IMX378, vrátane veľkosti pixelov (1,55 μm) a veľkosti snímača (7,81 mm), bolo pridaných niekoľko kľúčových funkcií. Konkrétne ide teraz o skladaný dizajn BSI CMOS, má PDAF, pridáva technológiu SME-HDR od Sony a má lepšiu podporu pre video s vysokou snímkovou frekvenciou (spomalený pohyb).
Skladaný BSI CMOS
Samotné podsvietenie zadnej strany je mimoriadne užitočná funkcia, ktorá sa za posledných pár rokov stala takmer štandardom vo vlajkových smartfónoch, počnúc HTC Evo 4G v roku 2010. Umožňuje fotoaparátu zachytiť podstatne viac svetla (za cenu väčšieho šumu) pohybom niektorých z nich štruktúra, ktorá tradične sedela pred fotodiódou na predných osvetlených senzoroch, vzadu to.
Prekvapivo, na rozdiel od väčšiny technológií fotoaparátov, sa zadné osvetlenie pôvodne začalo objavovať v telefónoch pred digitálnymi zrkadlovkami, z veľkej časti kvôli problémom s vytváraním väčších BSI snímačov. Prvým snímačom BSI APS-C bol Samsung S5KVB2, ktorý sa našiel v ich fotoaparáte NX1 z roku 2014 a Prvým plnoformátovým snímačom bol Sony Exmor R IMX251, ktorý bol nájdený v Sony α7R II z minulého rok.
Technológia Stacked BSI CMOS ide ešte o krok ďalej tým, že presunie viac obvodov z prednej vrstvy na podporný substrát za fotodiódami. Toto nielenže umožňuje spoločnosti Sony podstatne zmenšiť veľkosť obrazového snímača (čo umožňuje väčšie snímače s rovnakou stopou), ale tiež umožňuje spoločnosti Sony tlačiť pixely a obvody. samostatne (aj pri rôznych výrobných procesoch), čím sa znižuje riziko defektov, zlepšuje sa výťažnosť a umožňuje sa väčšia špecializácia medzi fotodiódami a podpornými obvodov.
PDAF
IMX378 pridáva automatické zaostrovanie s detekciou fázy, ktoré minuloročné telefóny Nexus a IMX377 nepodporovali. Umožňuje fotoaparátu efektívne využívať rozdiely v intenzite svetla medzi rôznymi bodmi na snímači na identifikáciu ak je objekt, na ktorý sa fotoaparát pokúša zaostriť, pred alebo za bodom zaostrenia, a nastavte snímač podľa toho. Ide o obrovské zlepšenie z hľadiska rýchlosti a presnosti oproti tradičnému automatickému zaostrovaniu založenému na kontraste, ktoré sme v minulosti videli na mnohých fotoaparátoch. V dôsledku toho sme videli absolútnu explóziu telefónov používajúcich PDAF a stalo sa obrovským marketingovým módnym slovom, ktoré sa považuje za ústredný prvok marketingu fotoaparátov v celom odvetví.
Aj keď zaostrovanie nie je také rýchle ako pri dvojitom fotodiódovom PDAF Samsung Galaxy S7 má (tiež známy ako „Dual Pixel PDAF“ a „Duo Pixel Autofocus“), ktorý umožňuje použitie každého jednotlivého pixelu na fázovú detekciu zahrnutím dvoch fotodiód na pixel, spojenie PDAF a laserového automatického zaostrovania by malo byť stále účinnou kombináciou.
Vysoká snímková frekvencia
V poslednej dobe sa veľa hovorí o kamerách s vysokou snímkovou frekvenciou (pre spotrebiteľské aplikácie aj v profesionálnej filmovej tvorbe). Možnosť snímania s vyššími snímkovými frekvenciami sa dá použiť na vytváranie neuveriteľne plynulých videí pravidelná rýchlosť (čo môže byť fantastické pre športy a iné vysokorýchlostné scenáre) a vytvoriť nejaké naozaj zaujímavé videá keď všetko spomalíš.
Bohužiaľ je mimoriadne ťažké natáčať video pri vyšších snímkových frekvenciách, a to aj vtedy, keď váš fotoaparát snímač dokáže snímať s vyššou snímkovou frekvenciou, pre procesor obrazového signálu v telefóne môže byť ťažké udržať ho hore. To je dôvod, prečo zatiaľ čo IMX377 používaný v Nexus 5X a 6P dokázal natáčať 720p video pri 300 Hz a 1080p video pri 120 Hz, videli sme len 120 Hz 720p z Nexus 5X a 240 Hz 720p z 6P. IMX377 bol tiež schopný prehrávať 60 Hz 4k video, napriek tomu, že zariadenia Nexus boli obmedzené na 30 Hz.
Telefóny Pixel sú schopné priniesť toto video až do 120 Hz 1080p a 240 Hz 720p video vďaka časť k vylepšeniam súvisiacim s IMX378, ktorý zaznamenáva zvýšenie schopností až o 240 Hz pri 1080p.
Snímač je tiež schopný rýchlejšie snímať sériové zábery v plnom rozlíšení, a to až na 60 Hz pri 10-bitovom výstupe a 40 Hz pri 12-bitovom výstup (až od 40 Hz, resp. 35 Hz), čo by malo pomôcť znížiť množstvo rozmazania pohybu a chvenia fotoaparátu pri používaní HDR+.
SME-HDR
HDR pre video bolo tradične kompromisom. Buď ste museli znížiť snímkovú frekvenciu na polovicu, alebo ste museli znížiť rozlíšenie na polovicu. Výsledkom je, že mnohí výrobcovia OEM sa s tým ani neobťažovali, pričom Samsung a Sony sú jedny z mála, ktoré to implementujú. Dokonca aj Samsung Galaxy Note 7 je obmedzené na nahrávanie 1080p 30 Hz čiastočne kvôli vysokým výpočtovým nákladom HDR videa.
Prvá z dvoch hlavných tradičných metód pre HDR video, ktorú nazýva Red Digital Cinema Camera Company HDRx a ktoré Sony nazýva Digital Overlap HDR (DOL-HDR), funguje tak, že nasníma dva po sebe idúce obrázky, jeden exponovaný tmavší a druhý exponovaný svetlejšie, a ich zlúčením vytvoríte jednu snímku videa. Aj keď vám to umožňuje zachovať plné rozlíšenie fotoaparátu (a nastaviť rôzne rýchlosti uzávierky pre dva samostatné snímky), môže to často viesť k problémom v dôsledku časovej medzery medzi dvoma snímkami (najmä pri rýchlom pohybe). predmety). Okrem toho môže byť pre procesor veľmi ťažké držať krok, pretože v prípade DOL-HDR sa poskytovateľ internetových služieb telefónu stará o zlúčenie samostatných snímok dohromady.
Ďalšia tradičná metóda, ktorú Sony nazýva Binning Multiplexed Exposure HDR (BME-HDR), nastavuje iné nastavenie expozície pre každý pár dvoch riadkov pixelov v snímači na vytvorenie dvoch obrázkov s polovičným rozlíšením súčasne, ktoré sa potom zlúčia do jedného HDR snímku pre video. Aj keď sa táto metóda vyhýba problémom spojeným s HDRx, konkrétne zníženiu snímkovej frekvencie, má ďalšie problémy, konkrétne zníženie rozlíšenia a limity toho, ako možno zmeniť expozíciu medzi týmito dvoma súbormi linky.
Spatially Multiplexed Exposure (SME-HDR) je nová metóda, ktorú Sony používa, aby im umožnila snímať HDR v plnom rozlíšení a pri plnej snímkovej frekvencii, ktorú snímač dokáže. Ide o variant Priestorovo sa meniaca expozícia ktorý používa vlastné algoritmy, ktoré spoločnosti Sony umožňujú zachytiť informácie z tmavých a svetlých pixelov, ktoré sú usporiadané do šachovnicového vzoru a odvodiť obraz v plnom rozlíšení pre tmavú aj svetlú expozíciu snímky.
Bohužiaľ, spoločnosť Sony nám nedokázala poskytnúť podrobnejšie vysvetlenie presného vzoru a možno ho nikdy nebude môcť zverejniť - spoločnosti majú tendenciu hrať do kariet veľmi blízko k ich hrudi, pokiaľ ide o špičkovú technológiu, ako je tá, ktorú vidíme v HDR, pričom dokonca aj Google má svoj vlastný algoritmus pre fotografie HDR známy ako HDR+. Stále však existujú nejaké verejne dostupné informácie, ktoré môžeme použiť na to, aby sme dali dokopy, ako to možno dosiahnuť. Niekoľko článkov bolo publikovaných Shree K. Nayar z Kolumbijskej univerzity (jeden z nich bolo v spolupráci s Tomoo Mitsunaga zo Sony), ktoré obsahujú rôzne spôsoby využitia priestorovej expozície a rôzne rozloženia, ktorými sa to dá dosiahnuť. Nižšie je uvedený príklad rozloženia so štyrmi úrovňami expozície na obrazovom snímači RGBG. Toto rozloženie tvrdí, že dokáže dosiahnuť jedno zachytenie obrázkov HDR v plnom rozlíšení len s približne 20 % strata priestorového rozlíšenia, v závislosti od scenára (rovnaký úspech, na ktorý spoločnosť Sony nárokuje SME-HDR).
Spoločnosť Sony už použila SME-HDR v niekoľkých obrazových snímačoch, vrátane modelu IMX214, ktorý sa v poslednej dobe teší veľkej obľube (používa sa v Asus Zenfone 3 Laser, Moto Z, a Xperia X Performance), ale je novým prírastkom k IMX378 v porovnaní s IMX377, ktorý sa používal minulý rok. Umožňuje snímaču kamery prenášať 10-bitové plné rozlíšenie a 4k video pri 60 Hz s aktívnym SME-HDR. Zatiaľ čo prekážka inde v procese bude mať za následok nižší limit, je to fantastické zlepšenie oproti tomu, čoho bol IMX377 schopný, a je znakom dobrých vecí, ktoré prídu v budúcnosti.
Jedným z veľkých vylepšení IMX378 oproti IMX377 je, že dokáže zvládnuť viac spracovania obrazu na čipe, čím sa zníži pracovné zaťaženie ISP (hoci ISP je stále schopný vyžiadať si obrazové dáta RAW v závislosti od toho, ako sa výrobca OEM rozhodne použiť senzor). Dokáže lokálne zvládnuť mnoho malých vecí, ako je korekcia defektov a zrkadlenie, ale čo je dôležitejšie, dokáže zvládnuť aj BME-HDR alebo SME-HDR bez toho, aby ste museli zapojiť ISP. To by mohol byť potenciálne veľký rozdiel v budúcnosti, pretože by sa uvoľnili určité režijné náklady pre ISP na budúcich telefónoch.
Chceli by sme sa ešte raz poďakovať spoločnosti Sony za všetku pomoc pri vytváraní tohto článku. Naozaj oceňujeme dĺžku, do ktorej spoločnosť Sony zašla, aby pomohla zabezpečiť presnosť a hĺbku najmä tým, že nám umožňuje odhaliť niektoré predtým nezverejnené informácie o IMX378.
Ako už bolo povedané, je naozaj škoda, že je tak ťažké získať prístup k niektorým z týchto informácií, dokonca aj k základným informáciám o produkte. Keď sa spoločnosti snažia umiestniť informácie na svoje webové stránky, často môžu byť dosť neprístupné a neúplné. čiastočne preto, že sa to často považuje za druhoradý záujem zamestnancov spoločnosti, ktorí sa viac zameriavajú na svoje hlavné práca. Jedna oddaná osoba, ktorá sa zaoberá stykom s verejnosťou, môže znamenať obrovský rozdiel, pokiaľ ide o vytváranie tohto typu informácií dostupné a prístupné širokej verejnosti a vidíme, že niektorí ľudia sa o to pokúšajú zadarmo čas. Dokonca aj na Sony Exmor Samotný článok na Wikipédii, kde v priebehu niekoľkých mesiacov jeden človek vo svojom voľnom čase položil väčšinu základov na to, aby to zobral z takmer zbytočného 1 715 bajtový článok ktoré boli celé roky väčšinou rovnaké, do článku s približne 50 000 bajtmi, ktorý tam dnes vidíme so 185 rôznymi editormi. Článok, ktorý je pravdepodobne najlepším úložiskom informácií o rade snímačov Sony Exmor dostupným online a veľmi podobný vzor môžeme vidieť aj v iných článkoch. Jediný špecializovaný spisovateľ môže urobiť podstatný rozdiel v tom, ako ľahko môžu zákazníci porovnávať rôzne o produktoch ao tom, ako vzdelaní spotrebitelia majú o túto tému záujem, čo môže mať ďalekosiahle účinky. Ale to je téma na inokedy.
Ako vždy sme zvedaví, ako tieto zmeny hardvéru ovplyvnia samotné zariadenia. Je jasné, že nebudeme dostávať 4k 60 Hz HDR video (a možno nebudeme dostávať HDR video vôbec, keďže to Google ešte nespomenul), ale rýchlejšie plné rozlíšenie fotografovanie pravdepodobne výrazne pomôže s HDR+ a uvidíme, ako sa vylepšenia novšieho snímača dostanú do telefónu inými podobnými malými, ale podstatnými spôsobmi tiež.
Zatiaľ čo DXOMark uvádza Pixel telefóny fungujú o niečo lepšie ako Samsung Galaxy S7 a HTC 10, mnohé z vecí, ktoré dali telefónom Pixel tak malý náskok, boli hlavným softvérom vylepšenia ako HDR+ (ktoré prináša úplne fantastické výsledky a ktorým DXOMark venoval celú časť svojej recenzie) a špeciálny EIS spoločnosti Google systém (ktorý môže pracovať v tandeme s OIS), ktorý vzorkuje gyroskop 200-krát za sekundu, aby poskytol jednu z najlepších elektronických stabilizácií obrazu, akú sme kedy mali videný. Áno, telefóny Pixel majú skvelý fotoaparát, ale mohli byť ešte lepšie s pridaným OIS a Dual Pixel PDAF? Absolútne.
Nechápte ma zle, ako som už povedal, telefóny Pixel majú úplne úžasný fotoaparát, ale nemôžete ma viniť, že chcem viac, najmä keď je cesta k týmto vylepšeniam taká jasná (a keď sú telefóny ocenené za plné ceny vlajkových lodí, kde očakávate to najlepšie z najlepšie). Vždy tu bude časť mňa, ktorá chce viac, ktorá chce lepšiu výdrž batérie, rýchlejšie procesory, lepšiu výdrž batérie, jasnejšie a živšie obrazovky, hlasnejšie reproduktory, lepšie fotoaparáty, väčší úložný priestor, lepšia výdrž batérie a čo je najdôležitejšie, lepšia výdrž batérie (opäť). Ako už bolo povedané, telefóny Pixel majú veľa malých fantastických funkcií, ktoré by sa mohli spojiť a vytvoriť skutočne sľubné zariadenie, na ktoré sa teším.