Sony IMX378: Defalcare cuprinzătoare a senzorului Google Pixel și a caracteristicilor acestuia

IMX378 Prezentare generală

Am contactat Sony pentru a încerca să aflăm ceva mai multe despre senzorul IMX378 care este folosit de viitorul Google. Pixel și Pixel XL telefoane, precum și de către Xiaomi Mi 5S. Din păcate, Sony nu a reușit să distribuie încă fișa de date pentru senzorul Exmor RS IMX378, dar au au fost extrem de utile și au putut să ne ofere câteva informații nepublicate anterior despre IMX378.

În primul rând, chiar numele în sine a fost greșit. În ciuda zvonurilor care spuneau că ar face parte din Exmor R linie de senzori CMOS iluminați în spate (BSI), precum IMX377 înainte de acesta, care a fost utilizat în Nexus 5X și Nexus 6P, contactul nostru de la Sony ne-a informat că IMX378 va fi considerat, în schimb, parte a programului Sony. Exmor RS linie de senzori Stacked BSI CMOS.

Deși multe lucruri au rămas aceleași de la IMX377 la IMX378, inclusiv dimensiunea pixelilor (1,55 μm) și dimensiunea senzorului (7,81 mm), au fost adăugate câteva caracteristici cheie. Și anume, acum este un design BSI CMOS stivuit, are PDAF, adaugă tehnologia SME-HDR de la Sony și are un suport mai bun pentru videoclipuri cu rată ridicată de cadre (mișcare lentă).

CMOS BSI stivuite

Iluminarea spatelui în sine este o caracteristică extrem de utilă care a devenit aproape standard în smartphone-urile emblematice în ultimii ani, începând cu HTC Evo 4G în 2010. Acesta permite camerei să capteze substanțial mai multă lumină (cu prețul unui zgomot mai mare) prin mișcarea unora dintre ele structura care stătea în mod tradițional în fața fotodiodei pe senzorii iluminați din față, în spate aceasta.

În mod surprinzător, spre deosebire de majoritatea tehnologiei camerelor, iluminarea din spate a început inițial să apară în telefoane înaintea DSLR-urilor, datorită în mare parte din cauza dificultăților de a crea senzori BSI mai mari. Primul senzor BSI APS-C a fost Samsung S5KVB2 care a fost găsit în camera lor NX1 din 2014 și primul senzor full-frame a fost Sony Exmor R IMX251 care a fost găsit în Sony α7R II de la ultimul an.

Tehnologia stacked BSI CMOS duce acest pas mai departe prin mutarea mai multor circuite din stratul frontal pe substratul suport din spatele fotodiodelor. Acest lucru nu numai că permite Sony să reducă substanțial dimensiunea senzorului de imagine (permițând senzori mai mari în aceeași amprentă), dar îi permite și Sony să imprime pixelii și circuitele. separat (chiar și pe diferite procese de fabricație), reducând riscul de defecte, îmbunătățind randamentele și permițând mai multă specializare între fotodiode și suport circuite.

PDAF

IMX378 adaugă Phase Detection Autofocus, pe care telefoanele Nexus de anul trecut și IMX377 nu l-au acceptat.. Acesta permite camerei să utilizeze eficient diferențele de intensitate a luminii dintre diferitele puncte ale senzorului pentru a le identifica dacă obiectul pe care camera încearcă să focalizeze se află în fața sau în spatele punctului de focalizare și reglați senzorul în consecinţă. Aceasta este o îmbunătățire uriașă atât în ​​ceea ce privește viteza, cât și precizia față de focalizarea automată tradițională bazată pe contrast, pe care am văzut-o pe multe camere în trecut. Drept urmare, am văzut o explozie absolută de telefoane care folosesc PDAF și a devenit un cuvânt de interes de marketing uriaș, care este considerat un element central al marketingului camerelor în întreaga industrie.

Deși nu este la fel de rapid de focalizat ca PDAF cu fotodiodă duală Samsung Galaxy S7 are (cunoscut și ca „PDAF Dual Pixel” și „Focalizare automată Duo Pixel”), care permite ca fiecare pixel să fie utilizat pentru detectarea fazei prin includerea a două fotodiode per pixel, fuziunea PDAF și autofocusul cu laser ar trebui să fie în continuare o combinație puternică.

Rată de cadre ridicată

S-a vorbit mult în ultimul timp despre camerele cu frecvență ridicată de cadre (atât pentru aplicații de consum, cât și în realizarea de filme profesionale). Posibilitatea de a filma la rate de cadre mai mari poate fi folosită atât pentru a crea videoclipuri incredibil de fluide viteza obișnuită (care poate fi fantastică pentru sport și alte scenarii de mare viteză) și pentru a crea unele într-adevăr videoclipuri interesante când încetini totul.

Din păcate, este extrem de dificil să înregistrezi video la rate de cadre mai mari și chiar și când camera ta senzorul poate filma la rate de cadre mai mari, poate fi dificil de păstrat pentru procesorul de semnal de imagine al telefonului sus. De aceea, în timp ce IMX377 folosit în Nexus 5X și 6P ar putea filma videoclipuri 720p la 300 Hz și videoclipuri 1080p la 120 Hz, am văzut doar 120 Hz 720p de la Nexus 5X și 240 Hz 720p de la 6P. IMX377 era, de asemenea, capabil de videoclipuri 4k de 60 Hz, în ciuda faptului că dispozitivele Nexus erau limitate la 30 Hz.

Ambele telefoane Pixel pot aduce acest videoclip la 120 Hz 1080p și 240 Hz 720p video datorită parte a îmbunătățirilor legate de IMX378, care vede o creștere a capacităților de până la 240 Hz la 1080p.

Senzorul este, de asemenea, capabil să înregistreze fotografii în rafală cu rezoluție completă mai rapid, crescând până la 60 Hz la ieșire de 10 biți și 40 Hz la 12 biți ieșire (de la 40 Hz și, respectiv, 35 Hz), care ar trebui să contribuie la reducerea cantității de estompare a mișcării și a mișcării camerei atunci când utilizați HDR+.

IMM-HDR

În mod tradițional, HDR pentru video a fost un compromis. Fie trebuia să reduceți rata de cadre la jumătate, fie să reduceți rezoluția la jumătate. Drept urmare, mulți producători OEM nici măcar nu s-au deranjat cu el, Samsung și Sony fiind printre puținii care îl implementează. Pana si Samsung Galaxy Note 7 este limitată la înregistrarea 1080p 30 Hz datorită costului de calcul ridicat al video HDR.

Prima dintre cele două metode tradiționale principale pentru video HDR, pe care Red Digital Cinema Camera Company o numește HDRx și pe care Sony îl numește Digital Overlap HDR (DOL-HDR), funcționează prin realizarea a două imagini consecutive, una expusă mai întunecată și una expusă mai deschisă și îmbinându-le împreună pentru a crea un singur cadru video. În timp ce acest lucru vă permite să păstrați rezoluția completă a camerei (și să setați diferite viteze de expunere pentru cele două separate cadre), poate duce adesea la probleme din cauza intervalului de timp dintre cele două cadre (în special în cazul mișcării rapide obiecte). În plus, procesorului poate fi foarte dificil să țină pasul, așa cum în cazul DOL-HDR, ISP-ul telefonului se ocupă de îmbinarea cadrelor separate.

Cealaltă metodă tradițională, pe care Sony o numește Binning Multiplexed Exposure HDR (BME-HDR), setează o setare diferită de expunere pentru fiecare pereche a două linii de pixeli în senzor pentru a crea două imagini de jumătate de rezoluție în același timp, care sunt apoi îmbinate într-un cadru HDR pentru videoclip. Deși această metodă evită problemele asociate cu HDRx, și anume o reducere a ratei de cadre, are alte probleme, în special reducerea rezoluției și limitele modului în care expunerea poate fi modificată între cele două seturi de linii.

Expunerea spațială multiplexată (SME-HDR) este o nouă metodă pe care Sony o folosește pentru a le permite să înregistreze HDR la rezoluția completă și la rata maximă de cadre de care este capabil senzorul. Este o variantă a Expunere variabilă în spațiu care folosește algoritmi proprietari pentru a permite Sony să capteze informațiile din pixelii întunecați și lumini, care sunt aranjate într-un model în stil tablă de șah și deduceți imaginea cu rezoluție completă atât pentru expunerea la întuneric, cât și la lumină imagini.

Din păcate, Sony nu a putut să ne ofere explicații mai detaliate despre modelul exact și s-ar putea să nu-l dezvăluie niciodată - companiile tind să-și joace cărțile. foarte aproape de pieptul lor când vine vorba de tehnologie de ultimă oră, precum cea pe care o vedem în HDR, chiar și Google având propriul algoritm proprietar pentru fotografiile HDR, cunoscut sub numele de HDR+. Totuși, există încă câteva informații disponibile public pe care le putem folosi pentru a stabili cum poate fi realizată. Câteva lucrări au fost publicate de Shree K. Nayar de la Universitatea Columbia (unul dintre care a fost în colaborare cu Tomoo Mitsunaga de la Sony) care conțin diferite modalități de utilizare a expunerii variabile în spațiu și diferite aspecte care o pot realiza. Mai jos este un exemplu de aspect cu patru niveluri de expunere pe un senzor de imagine RGBG. Acest aspect pretinde că poate realiza o singură captură de imagini HDR cu rezoluție completă cu doar aproximativ 20% pierderea rezoluției spațiale, în funcție de scenariu (aceeași realizare pe care Sony o pretinde IMM-HDR).

Sony a folosit deja SME-HDR în câțiva senzori de imagine, inclusiv în IMX214, care a cunoscut multă popularitate în ultima vreme (fiind folosit în Asus Zenfone 3 Laserul, Moto Z, si Xperia X Performance), dar este o nouă adăugare la IMX378 în comparație cu IMX377 care a fost folosit anul trecut. Acesta permite senzorului camerei să emită atât rezoluție completă de 10 biți, cât și video 4k la 60 Hz cu SME-HDR activ. În timp ce un blocaj în altă parte a procesului va duce la o limită inferioară, aceasta este o îmbunătățire fantastică față de ceea ce a fost capabil IMX377 și este un semn al lucrurilor bune care vor urma în viitor.

Una dintre marile îmbunătățiri ale IMX378 față de IMX377 este că este capabil să gestioneze mai mult procesarea imaginii pe cip, reducând volumul de lucru al ISP-ului (deși ISP-ul este încă capabil să solicite datele de imagine RAW, în funcție de modul în care OEM decide să folosească senzor). Poate gestiona multe lucruri mici, cum ar fi corectarea defectelor și oglindirea local, dar, mai important, poate gestiona și BME-HDR sau SME-HDR fără a fi nevoie să implice ISP-ul. Aceasta ar putea fi o diferență majoră în viitor prin eliberarea unor cheltuieli generale pentru ISP-ul pe viitoarele telefoane.

Dorim să mulțumim încă o dată Sony pentru tot ajutorul acordat la crearea acestui articol. Apreciem cu adevărat eforturile pe care Sony a făcut-o pentru a asigura acuratețea și profunzimea acestui lucru caracteristică, în special pentru a ne permite să descoperim câteva informații neeliberate anterior despre IMX378.

Acestea fiind spuse, este într-adevăr păcat că este atât de greu să accesezi unele dintre aceste informații, chiar și informații de bază despre produs. Atunci când companiile încearcă să pună informații pe site-urile lor web, adesea acestea pot fi destul de inaccesibile și incomplete, în mare măsură parte pentru că este adesea tratată ca o preocupare secundară a angajaților companiei, care sunt mai concentrați pe principalul lor muncă. O persoană dedicată care se ocupă de relațiile publice poate face o diferență uriașă în ceea ce privește realizarea acestui tip de informații disponibile și accesibil publicului larg și vedem unii oameni care încearcă să facă exact asta în mod gratuit timp. Chiar și pe Sony Exmor Articolul Wikipedia în sine, în care, în decurs de câteva luni, o singură persoană în timpul liber a pus cea mai mare parte a bazei pentru a o lua dintr-un mediu aproape inutil. articol de 1.715 octeți care a fost în mare parte la fel de ani de zile, în articolul de ~ 50.000 de octeți pe care îl vedem acolo astăzi, cu 185 de editori diferiți. Un articol care este, fără îndoială, cel mai bun depozit de informații despre linia de senzori Sony Exmor disponibil online și putem vedea un model foarte similar pe alte articole. Un singur scriitor dedicat poate face o diferență substanțială în cât de ușor pot compara clienții diferite produse și cât de educați sunt consumatorii interesați cu privire la subiect, ceea ce poate avea o anvergură mare efecte. Dar acesta este un subiect pentru altă dată.

Ca întotdeauna, ne întrebăm cum vor afecta aceste modificări hardware dispozitivele în sine. În mod destul de clar, nu vom primi videoclipuri HDR 4k 60 Hz (și este posibil să nu obținem video HDR deloc, deoarece Google nu a menționat încă), dar rezoluția completă mai rapidă Fotografierea probabil va ajuta substanțial cu HDR+ și vom vedea că îmbunătățirile noului senzor se prelinge în telefon în alte moduri similare mici, dar substanțiale. de asemenea.

În timp ce DXOMark listează Pixel telefoanele având performanțe puțin mai bune decât Samsung Galaxy S7 și HTC 10, multe dintre lucrurile care le-au dat telefoanelor Pixel acest avantaj mic au fost software major îmbunătățiri precum HDR+ (care produce rezultate absolut fantastice și căreia DXOMark i-a dedicat o întreagă secțiune a recenziei lor) și EIS special de la Google sistem (care poate funcționa în tandem cu OIS) care prelevează giroscopul de 200 de ori pe secundă pentru a oferi unele dintre cele mai bune stabilizări electronice de imagine pe care le-am avut vreodată văzut. Da, telefoanele Pixel au o cameră grozavă, dar ar fi putut fi și mai bune cu OIS și Dual Pixel PDAF adăugate? Absolut.

Nu mă înțelege greșit, așa cum am spus, telefoanele Pixel au o cameră absolut uimitoare, dar nu mă poți învinovăți că vreau mai mult, mai ales atunci când calea către acele îmbunătățiri este atât de clară (și când telefoanele au prețuri la prețuri de vârf, unde vă așteptați la ce este mai bun din Cel mai bun). Întotdeauna va exista o parte din mine care vrea mai mult, care vrea o viață mai bună a bateriei, procesoare mai rapide, o viață mai bună a bateriei, mai strălucitoare și ecrane mai vii, difuzoare mai puternice, camere foto mai bune, mai mult spațiu de stocare, o durată de viață mai bună a bateriei și, cel mai important, o viață mai bună a bateriei (din nou). Acestea fiind spuse, telefoanele Pixel au multe caracteristici fantastice mici care ar putea veni împreună pentru a crea un dispozitiv cu adevărat promițător, pe care sunt încântat să îl văd.