Sony IMX378: Google Pixeli anduri ja selle funktsioonide põhjalik ülevaade

IMX378 ülevaade

Pöördusime Sony poole, et proovida saada rohkem teavet IMX378 anduri kohta, mida tulevane Google kasutab piksel ja Pixel XL telefonid, samuti Xiaomi Mi 5S. Kahjuks ei saanud Sony veel Exmor RS IMX378 anduri andmelehte levitada, kuid nad olid äärmiselt abivalmid ja suutsid meile anda mõnda varem avaldamata teavet selle kohta IMX378.

Esiteks oli juba nimi ise vale. Vaatamata kuulujuttudele, et see oleks osa Eksmor R rida tagakülje valgustusega (BSI) CMOS-andureid, nagu IMX377 enne seda, mida kasutati Nexus 5X ja Nexus 6P, on meie Sony kontaktisik meid teavitanud, et IMX378 loetakse hoopis Sony osaks Exmor RS virnastatud BSI CMOS-andurite rida.

Kuigi paljud asjad on IMX377-st IMX378-ni jäänud samaks, sealhulgas pikslite suurus (1,55 μm) ja anduri suurus (7,81 mm), on lisatud paar põhifunktsiooni. Nimelt on see nüüd virnastatud BSI CMOS-disain, sellel on PDAF, sellele on lisatud Sony SME-HDR tehnoloogia ja sellel on parem kõrge kaadrisagedusega (aegluubis) video tugi.

Virnastatud BSI CMOS

Tagakülje valgustus on iseenesest äärmiselt kasulik funktsioon, mis on viimastel aastatel muutunud peaaegu standardseks lipulaevade nutitelefonides, alustades HTC Evo 4G aastal 2010. See võimaldab kaameral jäädvustada oluliselt rohkem valgust (suurema müra hinnaga), liigutades osa struktuur, mis traditsiooniliselt istus eesmiste valgustatud andurite fotodioodi ees, taga seda.

Üllataval kombel, erinevalt enamikust kaameratehnoloogiast, hakkas tagakülje valgustus telefonides ilmuma enne DSLR-e, suuresti tänu suuremate BSI-andurite loomise raskustele. Esimene BSI APS-C sensor oli Samsung S5KVB2, mis leiti nende NX1 kaamerast alates 2014. aastast. esimene täiskaadersensor oli Sony Exmor R IMX251, mis leiti Sony α7R II-st alates viimasest. aastal.

Virnastatud BSI CMOS-tehnoloogia viib selle sammu edasi, liigutades suurema osa vooluringidest esikihist fotodioodide taga olevale tugisubstraadile. See mitte ainult ei võimalda Sonyl oluliselt vähendada pildianduri suurust (võimaldab kasutada suuremaid andureid sama jalajäljega), vaid võimaldab Sonyl printida ka piksleid ja vooluahelaid. eraldi (isegi erinevatel tootmisprotsessidel), vähendades defektide riski, parandades tootlikkust ning võimaldades rohkem spetsialiseerumist fotodioodide ja tugielementide vahel vooluringid.

PDAF

IMX378 lisab faasituvastuse automaatse teravustamise, mida eelmise aasta Nexuse telefonid ja IMX377 ei toetanud. See võimaldab kaameral tuvastamiseks tõhusalt kasutada valguse intensiivsuse erinevusi anduri erinevate punktide vahel kui objekt, millele kaamera üritab teravustada, on fookuspunkti ees või taga, ja reguleerige andurit vastavalt. See on tohutu edasiminek nii kiiruse kui ka täpsuse osas võrreldes traditsioonilise kontrastipõhise autofookusega, mida oleme varem paljudes kaamerates näinud. Selle tulemusena oleme näinud PDAF-i kasutavate telefonide täielikku plahvatuslikku kasvu ja sellest on saanud tohutu turunduse moesõna, mida peetakse kogu tööstusharu kaameraturunduse keskseks osaks.

Ehkki mitte nii kiire teravustamine kui kahe fotodioodiga PDAF Samsung Galaxy S7 on (tuntud ka kui "Dual Pixel PDAF" ja "Duo Pixel autofookus"), mis võimaldab faasituvastuseks kasutada iga pikslit, lisades piksli kohta kaks fotodioodi, peaks PDAF-i ja laser-autofookuse ühendamine siiski olema tugev kombinatsioon.

Kõrge kaadrisagedus

Viimasel ajal on palju räägitud suure kaadrisagedusega kaameratest (nii tarbijarakendustes kui ka professionaalses filminduses). Suurema kaadrisagedusega pildistamist saab kasutada mõlemal juhul uskumatult sujuvate videote loomiseks tavakiirust (mis võib olla fantastiline spordi ja muude kiirete stsenaariumide jaoks) ja mõne loomiseks tõesti huvitavaid videoid kui aeglustad kõike.

Kahjuks on ülimalt raske filmida videot suurema kaadrisagedusega ja isegi kaameraga andur suudab pildistada suurema kaadrisagedusega, võib telefoni pildisignaaliprotsessoril olla raske seda hoida üles. Sellepärast, kui Nexus 5X-is ja 6P-s kasutatav IMX377 suutis filmida 720p videot sagedusega 300 Hz ja 1080p videot sagedusega 120 Hz, nägime Nexus 5X-st ainult 120 Hz 720p ja 6P-st 240 Hz 720p. IMX377 oli võimeline ka 60 Hz 4K videot vaatama, hoolimata Nexuse seadmete sagedusest 30 Hz.

Tänu sellele on Pixeli telefonid võimelised esitama seda kuni 120 Hz 1080p videot ja 240 Hz 720p videot. osa IMX378-ga seotud täiustustest, mille võimekus suureneb kuni 240 Hz 1080p.

Sensor suudab ka kiiremini pildistada täiseraldusvõimega sarivõtteid, suurendades sagedust kuni 60 Hz 10-bitise väljundi juures ja 40 Hz-ni 12-bitise väljundi juures. väljund (vastavalt 40 Hz ja 35 Hz), mis peaks aitama vähendada liikumisel tekkivat hägusust ja kaamera värisemist HDR+.

SME-HDR

Traditsiooniliselt on HDR video jaoks olnud kompromiss. Sa pidid kas kaadrisagedust pooleks või eraldusvõimet pooleks vähendama. Seetõttu pole paljud originaalseadmete tootjad sellega isegi vaeva näinud, Samsung ja Sony on ühed vähesed, kes seda rakendavad. Isegi Samsung Galaxy Note 7 on piiratud 1080p 30 Hz salvestusega osaliselt HDR-video suurte arvutuskulude tõttu.

Esimene kahest peamisest traditsioonilisest HDR-video meetodist, mida Red Digital Cinema Camera Company nimetab HDRx ja mida Sony nimetab Digital Overlap HDR (DOL-HDR), teeb kaks järjestikust pilti, millest üks on tumedam ja teine ​​heledam, ning ühendab need üheks videokaadriks. Kuigi see võimaldab teil säilitada kaamera täiseraldusvõime (ja määrata nende kahe jaoks erinevad säriajad kaadreid), võib see sageli põhjustada probleeme kahe kaadri vahelise ajavahe tõttu (eriti kiire liikumise korral objektid). Lisaks võib protsessoril olla väga raske sammu pidada, nagu DOL-HDR-i puhul, telefoni Interneti-teenuse pakkuja juhib eraldi kaadrite ühendamist.

Teine traditsiooniline meetod, mida Sony nimetab Binning Multiplexed Exposure HDR (BME-HDR), määrab erineva särituse sätte iga paar kahest pikslireast sensoris, et luua korraga kaks poole eraldusvõimega pilti, mis seejärel liidetakse video jaoks üheks HDR-kaadriks. Kuigi see meetod väldib HDRx-iga seotud probleeme, nimelt kaadrisageduse vähenemist, on sellel muid probleeme, täpsemalt eraldusvõime vähendamine ja piirangud, kuidas säritust saab kahe komplekti vahel muuta read.

Ruumiliselt mitmekordne säri (SME-HDR) on uus meetod, mida Sony kasutab, et võimaldada neil HDR-i pildistada täiseraldusvõimega ja täiskaadrisagedusega, milleks andur on võimeline. See on variant Ruumiliselt muutuv säritus mis kasutab patenteeritud algoritme, mis võimaldavad Sonyl jäädvustada teavet pimedatest ja heledatest pikslitest, mis on paigutatud malelaua stiilis mustrisse ja järeldada täiseraldusvõimega kujutist nii pimedas kui ka heledas särituses pilte.

Kahjuks ei saanud Sony meile täpse mustri kohta täpsemaid selgitusi anda ja nad ei pruugi seda kunagi avaldada – ettevõtted kipuvad oma kaarte mängima väga lähedal, kui tegemist on tipptehnoloogiaga, nagu see, mida näeme HDR-is, isegi Google'il on HDR-fotode jaoks oma patenteeritud algoritm, mida tuntakse kui HDR+. Siiski on veel veidi avalikult kättesaadavat teavet, mida saame kasutada, et kokku panna, kuidas seda saavutada. Paar artiklit on avaldanud Shree K. Nayar Columbia ülikoolist (millest üks oli koostöös Sony Tomoo Mitsunaga), mis sisaldavad erinevaid võimalusi ruumiliselt varieeruva särituse kasutamiseks ja erinevaid paigutusi, mis võimaldavad seda saavutada. Allpool on näide RGBG-pildisensoril nelja särituse tasemega paigutusest. See paigutus väidab, et suudab ühekordse jäädvustamise täiseraldusvõimega HDR-pilte ainult umbes 20% ruumilise eraldusvõime kadu olenevalt stsenaariumist (sama saavutus, mida Sony väidab SME-HDR).

Sony on juba kasutanud SME-HDR-i paaris pildianduris, sealhulgas IMX214-s, mis on viimasel ajal palju populaarseks saanud (mida kasutatakse Asus Zenfone 3 Laser, Moto Z, ja Xperia X Performance), kuid see on IMX378 uus lisa võrreldes eelmisel aastal kasutatud IMX377-ga. See võimaldab kaamera anduril väljastada nii 10-bitist täiseraldusvõimet kui ka 4k videot sagedusel 60 Hz, kui SME-HDR on aktiivne. Kuigi kitsaskoht protsessis mujal toob kaasa alampiiri, on see fantastiline edasiminek võrreldes sellega, milleks IMX377 oli võimeline, ja on märk headest asjadest, mis on tulevikus ees.

Üks IMX378 suuremaid täiustusi võrreldes IMX377-ga on see, et see suudab hakkama saada suurema osaga pilditöötlusest kiibil, vähendades Interneti-teenuse pakkuja töökoormus (kuigi Interneti-teenuse pakkuja saab endiselt nõuda RAW-kujutise andmeid, olenevalt sellest, kuidas OEM otsustab andur). See saab hakkama paljude väikeste asjadega, nagu defektide parandamine ja lokaalne peegeldamine, kuid mis veelgi olulisem, saab hakkama ka BME-HDR-i või SME-HDR-iga, ilma et peaks ISP-d kaasama. See võib tulevikus olla suur erinevus, vabastades tulevaste telefonide Interneti-teenuse pakkuja jaoks üldkulusid.

Täname Sony veel kord abi eest selle artikli loomisel. Hindame väga seda, mida Sony selle täpsuse ja sügavuse tagamisel nägi funktsiooni, eriti võimaldades meil avastada mõnda varem avaldamata teavet selle kohta IMX378.

Sellegipoolest on kahju, et sellele teabele, isegi toote põhiteabele, on nii raske juurde pääseda. Kui ettevõtted üritavad oma veebisaitidele teavet panna, võib see sageli olla üsna ligipääsmatu ja puudulik. osa, sest seda käsitletakse sageli kui ettevõtte töötajate teisejärgulist muret, kes on rohkem keskendunud oma peamisele tööd. Üks avalike suhetega tegelev pühendunud inimene võib seda tüüpi teabe edastamisel tohutult kaasa aidata laiemale avalikkusele kättesaadav ja juurdepääsetav ning me näeme, et mõned inimesed püüavad just seda teha oma tasuta aega. Isegi peal Sony Exmor Wikipedia artikkel ise, kus paari kuu jooksul pani üksik inimene oma vabast ajast suurema osa vundamendist, et võtta see peaaegu kasutult 1715-baidine artikkel mis oli aastaid olnud enamjaolt sama, umbes 50 000-baidisesse artiklisse, mida näeme täna 185 erineva toimetajaga. Artikkel, mis on vaieldamatult parim veebis saadaolev Sony Exmori andurisarja teabehoidla ja me võime näha väga sarnast mustrit ka teistes artiklites. Üks pühendunud kirjanik võib oluliselt muuta seda, kui hõlpsalt saavad kliendid erinevaid võrrelda toodetest ja sellest, kui haritud on huvitatud tarbijad sellest teemast, mis võib olla kaugeleulatuv mõjusid. Aga see on juba teise korra teema.

Nagu alati, on meil küsimus, kuidas need riistvaramuudatused mõjutavad seadmeid endid. Ilmselgelt me ​​ei saa 4k 60 Hz HDR-videot (ja ei pruugi HDR-videot üldse saada, kuna Google pole seda veel maininud), vaid kiirem täiseraldusvõime Tõenäoliselt aitab pildistamine HDR+ puhul oluliselt kaasa ning me näeme, et uuema sensori täiustused imbuvad telefoni muudel sarnastel väikestel, kuid olulistel viisidel. samuti.

Kuigi DXOMark loetleb Pixel kui telefonid, mis toimivad veidi paremini kui Samsung Galaxy S7 ja HTC 10, olid paljud asjad, mis andsid Pixeli telefonidele väikese edumaa, suur tarkvara. täiustused, nagu HDR+ (mis annab täiesti fantastilisi tulemusi ja millele DXOMark pühendas terve osa oma arvustusest) ja Google'i spetsiaalne EIS süsteem (mis võib töötada koos OIS-iga), mis proovib güroskoopi 200 korda sekundis, et pakkuda parimat elektroonilist pildistabilisaatorit, mis meil kunagi on nähtud. Jah, Pixeli telefonidel on suurepärane kaamera, kuid kas OIS-i ja Dual Pixel PDAF-iga oleks need veelgi paremad olnud? Absoluutselt.

Ärge saage minust valesti aru, nagu ma ütlesin, Pixeli telefonidel on täiesti vapustav kaamera, kuid te ei saa mind süüdistada, et ma tahan rohkem, eriti kui tee nende täiustusteni on nii selge (ja kui telefonide hind on täishinnaga lipulaev, kus ootate parimat parim). Alati on minus osa, kes soovib rohkem, kes soovib paremat aku kasutusaega, kiiremaid protsessoreid, paremat aku kasutusaega, heledamat ja erksamad ekraanid, valjemad kõlarid, paremad kaamerad, rohkem salvestusruumi, parem aku tööiga ja mis kõige tähtsam, parem aku tööiga (jälle). Sellegipoolest on Pixeli telefonidel palju väikeseid fantastilisi funktsioone, mis võivad koos luua tõeliselt paljutõotava seadme, mida mul on hea meel näha.