Sony IMX378: Komplexní rozbor senzoru Google Pixel a jeho funkcí

Přehled IMX378

Oslovili jsme Sony, abychom se pokusili dozvědět něco více o senzoru IMX378, který používá nadcházející Google Pixel a Pixel XL telefony, stejně jako prostřednictvím Xiaomi Mi 5S. Bohužel společnost Sony zatím nedokázala distribuovat datasheet pro snímač Exmor RS IMX378, ale byli velmi nápomocní a byli schopni nám poskytnout některé dříve nezveřejněné informace o IMX378.

Za prvé, samotný název byl špatný. Navzdory fámám, že by to bylo součástí Exmor R řada snímačů Backside Illuminated (BSI) CMOS, jako je před ním IMX377, který byl použit v Nexus 5X a Nexus 6P, náš kontakt v Sony nás informoval, že IMX378 bude místo toho považován za součást Sony Exmor RS řada Stacked BSI CMOS snímačů.

Zatímco mnoho věcí zůstalo stejných od IMX377 po IMX378, včetně velikosti pixelu (1,55 μm) a velikosti snímače (7,81 mm), bylo přidáno několik klíčových funkcí. Konkrétně se nyní jedná o skládaný BSI CMOS design, má PDAF, přidává technologii SME-HDR od Sony a má lepší podporu pro video s vysokou snímkovou frekvencí (zpomalený pohyb).

Skládaný BSI CMOS

Osvětlení zadní strany je samo o sobě mimořádně užitečnou funkcí, která se v posledních několika letech stala téměř standardem u vlajkových smartphonů, počínaje HTC Evo 4G v roce 2010. Umožňuje kameře zachytit podstatně více světla (za cenu většího šumu) pohybem některých z nich konstrukce, která tradičně seděla před fotodiodou na předních osvětlených senzorech, vzadu to.

Překvapivě, na rozdíl od většiny technologií fotoaparátů, se zadní osvětlení původně začalo objevovat v telefonech před DSLR, z velké části díky potížím s vytvářením větších BSI senzorů. Prvním snímačem BSI APS-C byl Samsung S5KVB2, který byl nalezen v jejich fotoaparátu NX1 z roku 2014 a prvním plnoformátovým snímačem byl Sony Exmor R IMX251, který byl nalezen v Sony α7R II z minulého roku. rok.

Technologie Stacked BSI CMOS to posouvá ještě o krok dále tím, že přesune více obvodů z přední vrstvy na nosný substrát za fotodiodami. To nejen umožňuje společnosti Sony podstatně zmenšit velikost obrazového snímače (umožňuje použití větších snímačů na stejné ploše), ale také umožňuje společnosti Sony tisknout pixely a obvody. odděleně (i na různých výrobních procesech), což snižuje riziko defektů, zlepšuje výtěžnost a umožňuje větší specializaci mezi fotodiodami a podpůrnými obvody.

PDAF

IMX378 přidává Phase Detection Autofocus, které loňské telefony Nexus a IMX377 nepodporovaly. Umožňuje kameře efektivně využívat rozdíly v intenzitě světla mezi různými body na snímači k identifikaci pokud je objekt, na který se fotoaparát pokouší zaostřit, před nebo za zaostřovacím bodem, a upravte snímač podle toho. Jde o obrovské zlepšení z hlediska rychlosti i přesnosti oproti tradičnímu automatickému zaostřování založenému na kontrastu, které jsme v minulosti viděli u mnoha fotoaparátů. V důsledku toho jsme viděli absolutní explozi telefonů využívajících PDAF a stalo se to obrovským marketingovým módním pojmem, který je držen jako ústřední bod marketingu fotoaparátů v celém odvětví.

I když není tak rychlé ostření jako u Dual Photodiode PDAF Samsung Galaxy S7 má (také známý jako "Dual Pixel PDAF" a „Duo Pixel Autofocus“), který umožňuje použití každého jednotlivého pixelu pro fázovou detekci zahrnutím dvou fotodiod na pixel, by spojení PDAF a laserového autofokusu mělo být stále účinnou kombinací.

Vysoká snímková frekvence

V poslední době se hodně mluví o kamerách s vysokou snímkovou frekvencí (jak pro spotřebitelské aplikace, tak pro profesionální filmování). Možnost natáčet při vyšších frekvencích snímků lze využít k vytvoření neuvěřitelně plynulých videí běžná rychlost (která může být fantastická pro sporty a jiné vysokorychlostní scénáře) a nějaké vytvořit opravdu zajímavá videa když všechno zpomalíš.

Bohužel je extrémně obtížné natáčet video při vyšších snímkových frekvencích, a to i při použití fotoaparátu může snímat vyšší snímkovou frekvencí, může být obtížné pro procesor obrazového signálu telefonu udržet nahoru. To je důvod, proč zatímco IMX377 použitý v Nexus 5X a 6P mohl natáčet 720p video při 300 Hz a 1080p video při 120 Hz, viděli jsme pouze 120 Hz 720p z Nexus 5X a 240 Hz 720p z 6P. IMX377 byl také schopen 60 Hz 4k videa, přestože zařízení Nexus byla omezena na 30 Hz.

Telefony Pixel dokážou toto video přenést až na 120 Hz 1080p a 240 Hz 720p díky část vylepšení souvisejících s IMX378, která zaznamenala zvýšení schopností až o 240 Hz při 1080p.

Snímač je také schopen rychleji pořizovat sériové snímky v plném rozlišení, a to až na 60 Hz při 10bitovém výstupu a 40 Hz při 12bitovém výstup (až od 40 Hz, resp. 35 Hz), což by mělo pomoci snížit množství rozmazání pohybu a chvění fotoaparátu při použití HDR+.

SME-HDR

HDR pro video bylo tradičně kompromisem. Buď jste museli snížit snímkovou frekvenci na polovinu, nebo jste museli snížit rozlišení na polovinu. V důsledku toho se s tím mnoho výrobců OEM ani neobtěžovalo, přičemž Samsung a Sony jsou jedny z mála, kteří to implementují. Dokonce Samsung Galaxy Note 7 je omezeno na záznam 1080p 30 Hz částečně kvůli vysokým nákladům na výpočetní techniku ​​HDR videa.

První ze dvou hlavních tradičních metod pro HDR video, které Red Digital Cinema Camera Company nazývá HDRx a které Sony nazývá Digital Overlap HDR (DOL-HDR), funguje tak, že pořídí dva po sobě jdoucí snímky, jeden exponovaný tmavší a jeden exponovaný světlejší, a jejich spojením dohromady vytvoříte jeden snímek videa. I když vám to umožňuje zachovat plné rozlišení fotoaparátu (a nastavit různé rychlosti závěrky pro dva samostatné snímků), může to často vést k problémům kvůli časové prodlevě mezi dvěma snímky (zejména při rychlém pohybu). předměty). Navíc může být pro procesor velmi obtížné držet krok, protože u DOL-HDR se ISP telefonu stará o sloučení samostatných snímků dohromady.

Další tradiční metoda, kterou Sony nazývá Binning Multiplexed Exposure HDR (BME-HDR), nastavuje jiné nastavení expozice pro každý pár dvou řádků pixelů ve snímači k vytvoření dvou snímků s polovičním rozlišením současně, které jsou poté sloučeny do jednoho snímku HDR pro video. I když se tato metoda vyhýbá problémům spojeným s HDRx, konkrétně snížení snímkové frekvence, má další problémy, konkrétně snížení rozlišení a limity toho, jak lze změnit expozici mezi dvěma sadami linky.

Spatially Multiplexed Exposure (SME-HDR) je nová metoda, kterou Sony používá, aby jim umožnila natáčet HDR v plném rozlišení a při plné snímkové frekvenci, kterou snímač dokáže. Jedná se o variantu Prostorově se měnící expozice který používá proprietární algoritmy, které společnosti Sony umožňují zachytit informace z tmavých a světlých pixelů, které jsou uspořádány do šachovnicového vzoru a odvodit obraz v plném rozlišení pro tmavou i světlou expozici snímky.

Sony nám bohužel nebyla schopna podat podrobnější vysvětlení přesného vzoru a možná ho nikdy nebude schopna zveřejnit – společnosti mají tendenci hrát do karet velmi blízko jejich hrudi, pokud jde o špičkovou technologii, jako je ta, kterou vidíme v HDR, přičemž dokonce i Google má svůj vlastní algoritmus pro fotografie HDR známý jako HDR+. Stále však existují některé veřejně dostupné informace, které můžeme použít k tomu, abychom dali dohromady, jak toho lze dosáhnout. Několik článků bylo publikováno Shree K. Nayar z Kolumbijské univerzity (jeden z nich bylo ve spolupráci s Tomoo Mitsunaga ze Sony), které obsahují různé způsoby použití prostorově proměnlivé expozice a různá rozvržení, která toho mohou dosáhnout. Níže je uveden příklad rozložení se čtyřmi úrovněmi expozice na obrazovém snímači RGBG. Toto rozvržení tvrdí, že je schopno dosáhnout jediného zachycení obrázků HDR v plném rozlišení pouze s přibližně 20 % ztráta prostorového rozlišení, v závislosti na scénáři (stejný úspěch, o kterém Sony tvrdí SME-HDR).

Společnost Sony již použila SME-HDR v několika obrazových snímačích, včetně modelu IMX214, který se v poslední době těší velké oblibě (používá se v Asus Zenfone 3 Laser, Moto Za Xperia X Performance), ale je novým přírůstkem k IMX378 ve srovnání s IMX377, který byl používán v loňském roce. Umožňuje snímači kamery na výstupu jak 10bitové plné rozlišení, tak 4k video při 60 Hz s aktivní SME-HDR. Zatímco překážka jinde v procesu bude mít za následek nižší limit, je to fantastické zlepšení oproti tomu, čeho byl IMX377 schopen, a je to známka dobrých věcí, které přijdou v budoucnu.

Jedním z velkých vylepšení IMX378 oproti IMX377 je, že je schopen zvládnout více zpracování obrazu na čipu, čímž se sníží pracovní vytížení ISP (i když ISP je stále schopen požadovat obrazová data RAW v závislosti na tom, jak se výrobce OEM rozhodne použít senzor). Zvládne mnoho malých věcí, jako je oprava defektů a zrcadlení lokálně, ale co je důležitější, zvládne také BME-HDR nebo SME-HDR, aniž byste museli zapojit ISP. To by mohl být potenciálně velký rozdíl do budoucna, protože uvolníme určitou režii pro ISP na budoucích telefonech.

Rádi bychom ještě jednou poděkovali společnosti Sony za veškerou pomoc s vytvořením tohoto článku. Opravdu oceňujeme délku, kterou společnost Sony zašla, aby pomohla zajistit přesnost a hloubku tohoto funkce, zejména tím, že nám umožňuje odhalit některé dříve nezveřejněné informace o IMX378.

Jak již bylo řečeno, je opravdu škoda, že je tak těžké získat přístup k některým z těchto informací, dokonce i k základním informacím o produktu. Když se společnosti snaží umístit informace na své webové stránky, mohou být často spíše nepřístupné a neúplné. částečně proto, že je často považován za druhotný zájem zaměstnanců společnosti, kteří se více zaměřují na své hlavní práce. Jedna oddaná osoba, která se zabývá vztahy s veřejností, může mít obrovský rozdíl, pokud jde o vytváření tohoto typu informací dostupné a přístupné široké veřejnosti a vidíme, že někteří lidé se o to snaží bezplatně čas. Dokonce i na Sony Exmor Samotný článek na Wikipedii, kde během několika měsíců jeden člověk ve svém volném čase položil většinu základů k tomu, aby to vzal z téměř zbytečného Článek o velikosti 1 715 bajtů který byl po léta většinou stejný, do článku o ~50 000 bajtech, který tam dnes vidíme se 185 různými editory. Článek, který je pravděpodobně nejlepším úložištěm informací o řadě senzorů Sony Exmor dostupným online, a velmi podobný vzorec můžeme vidět u dalších článků. Jediný specializovaný spisovatel může výrazně změnit, jak snadno mohou zákazníci porovnávat různé a jak vzdělaní spotřebitelé mají o toto téma zájem, což může mít dalekosáhlý dosah efekty. Ale to je téma na jindy.

Jako vždy jsme zvědaví, jak tyto změny hardwaru ovlivní samotná zařízení. Zcela jasně nebudeme dostávat 4k 60 Hz HDR video (a možná nebudeme dostávat HDR video vůbec, protože to Google ještě nezmínil), ale rychlejší plné rozlišení fotografování pravděpodobně výrazně pomůže s HDR+ a uvidíme, jak se vylepšení novějšího snímače dostanou do telefonu jinými podobnými malými, ale podstatnými způsoby také.

Zatímco DXOMark uvádí Pixel telefony si vedou o něco lépe než Samsung Galaxy S7 a HTC 10, mnohé z věcí, díky nimž měly telefony Pixel malý náskok, byl hlavní software vylepšení, jako je HDR+ (které poskytuje naprosto fantastické výsledky a kterému DXOMark věnoval celou část své recenze) a speciální EIS společnosti Google systém (který může pracovat v tandemu s OIS), který vzorkuje gyroskop 200krát za sekundu, aby poskytl jedny z nejlepších elektronických stabilizací obrazu, jakou jsme kdy měli viděl. Ano, telefony Pixel mají skvělý fotoaparát, ale mohly být ještě lepší s přidaným OIS a Dual Pixel PDAF? Absolutně.

Nechápejte mě špatně, jak jsem řekl, telefony Pixel mají naprosto úžasný fotoaparát, ale nemůžete mě vinit, že chci víc, zvláště když je cesta k těmto vylepšením tak jasná (a když jsou telefony oceněny za plnou vlajkovou loď, kde očekáváte to nejlepší z nejlepší). Vždy tu bude část mě, která chce víc, která chce lepší výdrž baterie, rychlejší procesory, lepší výdrž baterie, jasnější a živější obrazovky, hlasitější reproduktory, lepší fotoaparáty, větší úložiště, lepší výdrž baterie a co je nejdůležitější, lepší výdrž baterie (znovu). Jak již bylo řečeno, telefony Pixel mají mnoho malých fantastických funkcí, které by se mohly spojit a vytvořit skutečně slibné zařízení, na které jsem nadšený.