Kako Qualcomm poboljšava kamere na Android telefonima

Judd Heape iz Qualcomma objašnjava kako Qualcomm poboljšava iskustvo kamere na Android telefonima s novim značajkama u svojim Spectra ISP-ovima.

Kao proizvođač sustava na čipovima (SoC) koji pokreću velik dio svjetskih pametnih telefona i nosivih uređaja, američki Qualcomm nesumnjivo je jedan od divova u industriji proizvođača čipova. Snapdragon liniju SoC-ova, na primjer, koristi gotovo svaki veći proizvođač Android uređaja za glavne, srednje i jeftine pametne telefone. Qualcomm svake godine dobiva pohvale na godišnjem Tech Summitu za napredak u poljima CPU-a, GPU-a i umjetne inteligencije, budući da uključuje ARM-ove nove CPU mikroarhitekture i nadopunjuje ih godišnjim poboljšanjima u svojim prilagođenim GPU-ovima. Međutim, njegov napredak u polju kamera se ne primjećuje toliko, jer obično ide ispod radar.

Međutim, to ne znači da je Qualcommov rad na kamerama pametnih telefona nevažan. Naprotiv, Qualcommovi Spectra ISP-ovi u svojim Snapdragon SoC-ovima pomažu da se većina modernih kamera pametnih telefona učini mogućim uz povećanu računalna procesorska snaga, značajke kao što su 8K video snimanje, HDR10 video, podrška za QCFA kamere s visokim megapikselom i mnogo, mnogo više. Qualcomm je promovirao Spectra 380 ISP u Snapdragonu 855

bio je prvi CV-ISP na svijetu, te je promovirao prve svjetske značajke 4K HDR video snimanja, koje je sada dopunjeno drugom generacijom 4K HDR10+ video snimanja. Spectra 480 ISP u posljednjoj generaciji Snapdragon 865 je vrlo sposoban - može obraditi dva gigapiksela u sekundi, što je povećanje od 40% u odnosu na prethodnika. To je intelektualno vlasništvo (IP) po čemu se Qualcomm razlikuje od njegovih konkurenata u području dobavljača mobilnih čipova.

Dok Qualcomm objašnjava većinu glavnih značajki u svojim priopćenjima za tisak i ključnim napomenama o proizvodima, up do sada, potrošači nisu imali priliku znati većinu detalja niske razine koji čine ove stvari raditi.

Zato smo mi u XDA Developersu rado prihvatili ponudu da razgovaramo s Juddom Heapeom, višim direktorom za upravljanje proizvodima u Qualcommu. Glavni urednik XDA-a, Mishaal Rahman, i ja smo imali intervju s Juddom u lipnju 2020. kako bismo saznali i vidjeli kako Qualcomm gura vratnice pomoću fotografije i video snimanja pametnog telefona. Razgovarali smo o temama uključujući AI obradu slike, multi-frame noise reduction (MFNR), AV1, Dolby Vision video snimanje, binning piksela u kamerama s visokim megapikselom i još mnogo toga. Pogledajmo Juddove uvide o svakoj temi jednu po jednu:


Radna opterećenja AI obrade slike

Mishaal Rahman: Počet ću s jednim od onih koje je imao Idrees, koji je zanimljiv, a koji je i mene zanimao. Stoga se pitamo koja su radna opterećenja AI obrade slike koja Qualcomm koristi u Spectra ISP-u i do koje mjere ih proizvođači uređaja mogu prilagoditi?

Judd Heape: Da, gledamo puno AI radnih opterećenja i postoje neke AI koje mogu raditi u samom ISP-u kao što je, na primjer, naša sljedeća generacija 3A: automatska ekspozicija, automatski balans bijele i automatski fokus su AI temeljen.

Ali također gledamo na nekoliko drugih AI radnih opterećenja, koja bi se izvodila izvan ISP-a, u jednom od drugih računalnih elemenata. Dakle, posebno gledamo na stvari kao što su: imamo jezgru za smanjenje buke temeljenu na umjetnoj inteligenciji koja radi izvana od ISP-a, u dijelu čipa AI motora (AIE).

Također, imamo stvari poput detekcije lica, koja je potpuni mehanizam za duboko učenje koji također radi u AIE kompleksu, ali naravno pomaže kameri. A postoje i druge stvari na kojima radimo osim detekcije lica i uklanjanja šuma; također gledamo na izradu stvari poput automatske prilagodbe snimaka pomoću AI koja bi se automatski postavljala parametara po sceni na temelju HDR sadržaja, obradili bismo modifikaciju sjene, istaknutih dijelova i boje i te vrste stvar.

Jedan od naših partnera, Morpho, upravo je osvojio ogromnu nagradu za AI radno opterećenje na Embedded Vision Summitu ove godine. Partneri nezavisnih dobavljača softvera također imaju puno stvarno intenzivnih algoritama temeljenih na umjetnoj inteligenciji, a oni mogu varirati od svega poput glatke kamere prijelaz, kao što radi Arcsoft, (spomenuo sam to na prošlom Snapdragon Tech Summitu koji se temelji na umjetnoj inteligenciji), na Morphovu semantičku segmentaciju motor. Morphovo rješenje je AI motor koji razumije različite dijelove scene, kao što je ono što znate, tkanina protiv kože protiv neba i trave i zgrada i takve stvari, a zatim ISP može uzeti te informacije i drugačije obraditi te piksele za teksturu, šum i boju za primjer.

Izjava Qualcomma: Za ML & AI također danas ne najavljujemo nikakva nova ažuriranja za značajke detekcije lica i "3A" (AE, AF i AWB). Međutim, kao što je rekao Judd, predani smo, idući naprijed, donošenju više mogućnosti ML/AI u kameru, uključujući ova dva područja značajki.


Analiza i kontekst: AI u pametnim telefonima uglavnom se smatra popularnom riječi otkako su prve neuralne procesorske jedinice (NPU) i značajke "temeljene na umjetnoj inteligenciji" počele stizati u Android telefone. Međutim, to ne znači da je umjetna inteligencija sama po sebi besmislena. Naprotiv, umjetna inteligencija ima mnogo potencijala u mobilnim uređajima, do te mjere da prodavači čipova i proizvođači uređaja za sada samo grebu po površini onoga što je moguće.

Zahvaljujući umjetnoj inteligenciji, kamere pametnih telefona postale su bolje - ponekad brzo, ponekad mučno sporo, ali stižu. Kamere pametnih telefona nadilaze temeljna ograničenja kao što su relativno manji senzori, fiksni žarišne duljine, te lošiju optiku s pametnom računalnom fotografijom koja se pokreće strojnim učenjem (ML). Automatska ekspozicija, smanjenje šuma, prepoznavanje lica i segmentacija samo su neka od polja na kojima je umjetna inteligencija u fotografiji pametnih telefona uspjela utjecati. U sljedećih pet godina, ova novonastala područja umjetne inteligencije koja poboljšavaju različite aspekte fotografije uvelike će sazrijeti.


Smanjenje buke u više okvira

Idrees Patel: Qualcomm je spominjao smanjenje buke s više okvira kao značajku. Želio bih znati više pojedinosti o tome kako funkcionira slaganje slika. Je li na bilo koji način slično onome što Google radi sa svojom HDR+ tehnologijom ili je potpuno drugačije?

Judd Heape: Slično je, ali različito. Zamislite da kamera snima niz i snima pet do sedam sličica u brzom nizu. Zatim ISP motor pregledava te okvire i odabire najbolji (koji se naziva "sidreni okvir") za fokus i jasnoću, a zatim može odabrati 3-4 okvira s obje strane tog okvira i zatim ih sve uprosječiti zajedno. Pokušava odabrati okvire koji su dovoljno blizu jedan drugome tako da ima vrlo malo kretanja.

A kada se zaustavi na tim okvirima, onda ih zajedno uprosječuje kako bi razlučio što je različito, na primjer, što su stvarni slikovni podaci u odnosu na podatke o šumu. Dakle, kada imate sve više i više informacija, iz sve više i više okvira, zapravo možete raditi jednostavne stvari poput promatranja razlika između okvira. Razlike su vjerojatno šum, dok su ono što je jednako u okvirima vjerojatno slikovni podaci.

Dakle, možemo kombinirati taj okvir u stvarnom vremenu kako bismo smanjili šum. Sada također možete učiniti istu stvar sa slabim osvjetljenjem i HDR-om i to je vrlo slično onome što Google vjerojatno radi. Nismo upućeni u njihov algoritam. Ali oni koriste tehnike s više okvira za povećanje osjetljivosti kako biste mogli bolje "vidjeti"; nakon što ste smanjili razinu šuma, sada možete raditi više lokalnog mapiranja tonova ili dodati pojačanje slici bez dodavanja više šuma.

Dakle, tako se nose sa slabim osvjetljenjem, kao i HDR. Poboljšanja značajke smanjenja buke s više okvira doći će od Qualcomma, što će također uključivati ​​slabo osvjetljenje i HDR. Ali to je nešto što ćemo uskoro objaviti.

Mishaal Rahman: Dakle, spomenuli ste skoro uvođenje ove značajke. Dolazi li to kao ažuriranje BSP-a za partnere?

Judd Heape: U našim proizvodima sljedeće generacije, kroz softverski dodatak, imat ćemo mogućnost uključivanja - zapravo to se događa upravo sada na sljedećem generacijski proizvodi - trenutačno komuniciramo s klijentima kako bismo izradili više tehnika s više okvira osim smanjenja šuma, ali i za rukovanje HDR-om i slabim osvjetljenjem situacije. Koristi isti osnovni ISP HW motor, ali mi dodajemo više softvera za rukovanje tim multi-frameovima za više od pukog smanjenja šuma.

Dakle, to nije nešto što je uvedeno, ali smo u kontaktu s nekim ključnim vodećim kupcima na tim značajkama.


Analiza i kontekst: Uz svaku najavu novog Snapdragon SoC-a, Qualcommova tablica specifikacija uključuje specifikacije koje se odnose na smanjenje buke u više okvira. Snapdragon 865, na primjer, sa svojim dvostrukim 14-bitnim CV-ISP-ovima podržava do hipotetske pojedinačne kamere od 200 MP (iako proizvođači senzora kamere kao što su Sony, Samsung i OmniVision još nisu objavili nijedan senzor kamere pametnog telefona iznad 108 MP). Međutim, kada je riječ o podršci za jednu kameru s MFNR-om, zero shutter lag (ZSL) i podrškom za 30fps, specifikacija se mijenja na 64 MP, a za dvostruke kamere s istim specifikacijama, specifikacija se mijenja na 25 MP.

Qualcommovo smanjenje šuma s više okvira vrlo je slično HDR+, ali nije potpuno isto, kao što je Judd objasnio gore. Dok HDR+ uzima niz podeksponiranih ekspozicija i izračunava njihov prosjek kako bi dobio najbolju fotografiju, MFNR uzima pet-sedam normalnih sličica. Ne čini se da je Qualcommov MFNR tako napredan kao Googleovo rješenje jer se HDR i slabo osvjetljenje ne spominju kao posebni prioriteti u trenutnom tijek rada za Spectru, dok Googleov HDR+ cilja na HDR, fotografije pri slabom osvjetljenju i smanjenje šuma u isto vrijeme, s Night Sightom koji je čak i napredniji unaprijediti. Međutim, ohrabrujuće je saznati da MFNR dobiva poboljšanja i da će Qualcomm uvesti ta poboljšanja "nekim ključnim kupcima". U budućnosti možda nećemo trebati neslužbene priključke za Google Camera kako bismo ostvarili puni potencijal kamera za pametne telefone s Androidom koje nisu Googleove.


Super rezolucija za video

Googleov radni tijek super rezolucije

Mishaal Rahman: Dakle, nešto što sam čuo na Tech Summitu. Zapravo, mislim da jest u intervjuu s Android Authority. Je li to da Qualcomm planira proširiti super rezoluciju na video kao softversko rješenje za partnere i da će to biti uvedeno u ažuriranju, očito. Zanima me imate li ažuriranja za ovu značajku.

Judd Heape: Da, to je značajka koju već neko vrijeme imamo u mogućnosti raditi, a upravo je uvedena. Ne bih rekao da je to u ažuriranju softvera, ali rekao bih da je to kao dodatna prednost postojeće mogućnosti značajke s više okvira pri slabom osvjetljenju. Surađujemo s nekim određenim vodećim klijentima na toj značajci. Dakle, da, super rezolucija videa nešto je u nekoj drugoj generaciji ili ćemo je tako imati nazovite značajku plana zapisa gdje je zapravo ugrađena u bazu softverskog koda za [the] fotoaparat. Ali trenutno je to više na razini angažmana korisnika za tu novu značajku.


Analiza i kontekst: Super rezolucija za video je značajka koja se do sada nije pojavila u kamerama pametnih telefona. To je tako novo polje koje o tome se još pišu istraživački radovi. Korištenje tehnika s više okvira za fotografiju je jedna stvar, ali njihovo korištenje za video kako bi se video povećao na višu rezoluciju je sasvim druga stvar. Qualcomm kaže da ponovno uvodi tu značajku "nekim ključnim kupcima", ali trenutno nije ugrađena u bazu softverskog koda za kameru. U budućnosti bi mogao biti dostupan svima, ali za sada je to značajka koju krajnji potrošači još ne smiju koristiti.


Quad Bayer senzori visokog megapiksela

Preko: AnandTech

Idrees Patel: Razgovarajmo o Quad Bayer senzorima. Od 2019. mnogi telefoni sada imaju senzore od 48 MP, 64 MP, a sada čak i od 108 MP. To su Quad Bayer senzori; zapravo nemate pravu razlučivost boja od 48 ili 64 ili 108MP. Jedna stvar koju sam htio pitati je kako se ISP razlikuje u pogledu obrade slike za ove Quad Bayer ili Nona Bayer senzori (4-u-1 ili 9-u-1 pixel binning), u usporedbi s tradicionalnim senzorima, koji nemaju piksel binning.

Judd Heape: Da, naravno, prednost ovih četverostrukih CFA (Quad Color Filter Array) senzora je mogućnost rada pri jakom svjetlu u punoj razlučivosti, a zatim ih ISP može obraditi u punih 108 megapiksela ili 64 megapiksela ili što god je dostupno.

Međutim, obično u većini situacija s osvjetljenjem, poput zatvorenih ili tamnih, morate binirati jer su pikseli senzora toliko sićušni da morate kombinirati piksele kako biste dobili bolju osjetljivost na svjetlo. Pa bih rekao da većinu vremena, pogotovo ako snimate video ili ako ste pri slabom svjetlu radi snimanja, radite u binned modu.

Sada ISP može obraditi senzor na bilo koji način. Senzor možete promatrati u grupnom načinu rada u kojem slučaju dolazi samo obična Bayerova slika ili ga možete promatrati u načinu pune rezolucije u kojem su dolazni podaci quad CFA. A ako je u tom načinu rada, ISP ga pretvara u Bayer.

Dakle, mi radimo - ono što zovemo - "remosaicing". Ovo radi interpolaciju četverostruke CFA slike kako bi ponovno izgledala kao Bayer pune rezolucije. I to se obično radi u softveru za brzu snimku, iako ćemo s vremenom dodati ovu mogućnost u hardver za podršku i video.

Ono što je danas u hardveru ISP-a je binning. Dakle, možete binirati u senzor i zapravo možete imati senzor da odluči hoće li emitirati punu ili četvrtinu ili 1/9 rezoluciju ili možete binirati u ISP-u. I to je značajka koju smo zapravo dodali u Snapdragon 865. Dakle, ako binirate u ISP-u i zatim pokrenete senzor u punoj rezoluciji, to daje ISP-u mogućnost da ima i sliku pune rezolucije i biniranu sliku u isto vrijeme. Stoga može koristiti manju razlučivost ili "binned" sliku za video (kamkorder) i pregled (tražilo) i istovremeno koristiti sliku pune razlučivosti za snimku u punoj veličini.

Ali opet, to bi bilo u slučaju jakog osvjetljenja. Ali barem ako bin u ISP-u, imate mogućnost rukovati i velike i male slike na u isto vrijeme, i stoga, možete dobiti istovremeni video i snimku, također možete dobiti punu rezoluciju ZSL; sve to bez potrebe za prebacivanjem senzora naprijed-natrag, što oduzima dosta vremena.

Ovo je stvarno dobra značajka. A kako Quad CFA senzori, pa čak i znate, 9x senzori, a možda čak i više, izlaze, a kako ti senzori postaju sve sveprisutan - sve više i više tražimo rukovanje tim senzorima u hardveru, ne samo za grupiranje, već i za remosaiciranje.

I tako je korist od toga da ako to radite u hardveru u odnosu na to da to radite u softveru, smanjujete latencija za vaše klijente i stoga će vaše vrijeme od jednog do drugog snimka i stope rafalnih snimanja biti mnogo brže. Dakle, kako napredujemo s novim ISP-ovima i novim čipovima, počet ćete viđati puno više onoga što radimo za ove nove vrste senzora ugrađenih u hardver.


Analiza i kontekst: Huawei je prvi upotrijebio 40MP Quad Bayer senzor sa Huawei P20 Pro 2018. godine, a popularnost Quad Bayer senzora bila je tolika da je sada dosegla čak i telefone od 150 USD koje pokreću Snapdragon/Exynos/MediaTek čipovi. Konkretno, vidjeli smo da industrija pametnih telefona dolazi do kamera od 48MP i 64MP kao slatka točka, dok nekoliko telefona ide i do 108MP. Quad Bayer i Nona Bayer senzori ne dolaze bez negativa, budući da njihova puna rezolucija dolazi s upozorenjima.

Međutim, iz marketinških razloga, senzor od 48 MP zvuči puno bolje od senzora od 12 MP, čak i ako korisnik ionako većinu vremena snima fotografije u grupiranim pikselima od 12 MP. Senzor od 48 MP teoretski bi trebao rezultirati boljim fotografijama u kombinaciji piksela od 12 MP pri slabom osvjetljenju nego tradicionalni 12 MP senzor, ali obrada slike mora biti u korak, a kao što sam napomenuo u nastavku, dug je put do toga dogoditi se. Bez obzira na to, bilo je zanimljivo vidjeti kako Spectra ISP rukuje Quad Bayer senzorima s remosaicingom. Puno je potencijala u ovim senzorima, a telefoni poput OnePlus 8 Pro (koji koristi Sony IMX689 Quad Bayer senzor s velikim pikselima) trenutno su na vrhuncu kamera pametnih telefona.


Prepoznavanje lica temeljeno na ML-u

Mishaal Rahman: Mislim da ste ranije spomenuli da je prepoznavanje lica temeljeno na ML-u podržano u Spectri 480. To je nešto što sam zapravo čuo na Tech Summitu. [Da je ovo] jedno od poboljšanja s 380 na 480; da je to dio - postoji novi objektivni blok detekcije u motoru za video analitiku koji se koristi za prostorno prepoznavanje u budućnosti.

Možete li govoriti više o tome koliko ovo poboljšava prepoznavanje lica i koje potencijalne aplikacije vidite da ga koriste dobavljači?

Judd Heape: Da, zapravo, u pravu ste u bloku ugrađenog računalnog vida, koji je "EVA" blok, o kojem smo govorili na Tech Summitu. To u sebi ima opću jezgru za otkrivanje objekata koju koristimo kada kamera radi, koristimo je za detekciju lica. Tehnike u tom bloku su više tradicionalne tehnike, pa se prepoznavanje predmeta vrši tradicionalnim klasifikatora, ali povrh toga imamo pokrenut softverski mehanizam koji zapravo poboljšava točnost toga blok.

Dakle, koristimo softver temeljen na ML-u za filtriranje lažno pozitivnih rezultata, budući da bi hardver mogao detektirati više stvari kao lica u sceni, a onda je ML softver govoreći, "u redu, to je lice", ili "to stvarno nije lice" i tako povećava točnost za nekoliko postotaka pokretanjem tog ML filtera na vrhu hardver.

Spomenuo sam puno stvari o budućnosti. Ubuduće planiramo pokrenuti samo otkrivanje cijelog lica u ML-u ili u načinu dubinskog učenja u softveru. To će posebno biti istinito na nižim razinama, pa ćemo, na primjer, na razini gdje nemamo EVA hardverski motor, početi postupno uvoditi duboko učenje kao otkrivanje, koje radi u AI motoru čipa, a zatim kasnije, na višim razinama u razinama 700-800 imamo EVA hardver za to...

Ipak, općenito ću reći da ćemo se više kretati prema ML pristupima za prepoznavanje lica, a to bi uključivalo i softver u srednjem roku i hardver u kasnijem roku. Neću otkriti koji će ga proizvodi imati, ali naravno kako napredujemo u poboljšanju ISP-a, dodavat ćemo sve više i više hardverskih mogućnosti za ML, sigurno.

Mishaal Rahman: Super. Pa, mislim da se podrazumijeva da je smjer kojim idete svođenje poboljšanja strojnog učenja serije 800 na nižu razinu, tako da mislim da je to općenito zadano. Ali naravno, ne možete nam dati nikakve pojedinosti o tome. Hvala vam na ažuriranju.

Judd Heape: Prepoznavanje lica je nešto oko čega smo jako strastveni. Želimo poboljšati ove točnosti, znate generaciju za generacijom na svim razinama, sve od razine 800 do razine 400. ML je veliki dio toga.


Analiza i kontekst: Ti su aspekti ono što fotografiji putem pametnog telefona daje puno više potencijala u odnosu na najnovije fotoaparate bez ogledala. Da, kamere bez ogledala imaju bolju kvalitetu slike pri slabom osvjetljenju i mnogo su fleksibilnije, ali kamere pametnih telefona nadilaze svoja ograničenja na domišljate načine. Detekcija lica temeljena na ML-u samo je dio toga.


Poboljšanja u mehanizmu za obradu slike

Mishaal Rahman: Super. Jedna od stvari koje sam nakratko čuo tijekom okruglih stolova nakon Snapdragon Tech Summita bilo je poboljšanje mehanizma za obradu slike. Čuo sam da je poboljšano smanjenje buke niskih srednjih frekvencija ili LEANR. I da primjenjujete mapu dinamičkog obrnutog pojačanja; je li to nešto što ste spomenuli ranije u razgovoru.

Judd Heape: Oh u redu. Pa mislim da miješaš dvije stvari. Da, tu je LEANR jezgra, jezgra koja radi na smanjenju buke kod grubljeg zrna, što pomaže pri slabom osvjetljenju. To je novi blok koji je dodan u Snapdragon 865 u ISP, a to je jedna stvar.

Karta obrnutog pojačanja je nešto drugo. To je još nešto što sam spomenuo na okruglim stolovima, ali to je poništavanje učinaka zasjenjenja leća. Dakle, kao što znate, ako imate slušalicu i ona ima malu leću; središte leće bit će svijetlo, a rubovi će biti više vinjetirani; što znači da će biti tamnije.

I tako smo prošlih godina u ISP-u primijenili statičku obrnutu kartu pojačanja kako bismo se riješili tih tamnih rubova. I tako je to u ISP-u dosta dugo. No, ono što smo dodali u Snapdragon 865 je mogućnost da se ta mapa pojačanja dinamički mijenja s obzirom na određeni okvir slike, jer ako primijenite puno pojačanja na rubove ono što se događa je da rubovi mogu biti odrezani, posebno ako gledate scene s jakim svjetlom vani, poput plavog neba koje može postati bijelo ili će se rubovi odrezati zbog puno dobiti.

Dakle, u Snapdragonu 865 ta obrnuta mapa pojačanja nije statična; dinamično je. Dakle, gledamo sliku i kažemo, "u redu, ovi dijelovi slike su izrezani, a ne bi trebali biti", tako da možemo krenuti prirodno isključite mapu pojačanja kako ne biste dobili svijetle rubove ili efekte aureole ili takve stvari od korekcije leće sjenčanje. Dakle, to se razlikuje od smanjenja šuma, a to su dvije različite jezgre.


Fotografija pri slabom osvjetljenju i agresivno smanjenje šuma

Sony Xperia 1 II, vodeći model sa Snapdragonom 865
DxOMark uspoređuje smanjenje buke u sljedećim generacijama iPhonea

Idrees Patel: Jedna stvar koju sam htio pitati je fotografija pri slabom osvjetljenju. Kao i proteklih nekoliko godina, bilo je mnogo noćnih modova [implementiranih od strane OEM-a], ali jedna stvar koju sam primijetio je da mnogi proizvođači uređaja idu na agresivno smanjenje šuma, što smanjuje detalje do točke u kojoj je čak i šum svjetline uklonjeni.

Dakle, moje pitanje je savjetuje li Qualcomm proizvođačima uređaja da to ne rade i je li to nešto što rade njihovi cjevovodi za obradu ili je to nešto pod utjecajem ISP-a u SoC-u.

Judd Heape: Puno toga ima veze s podešavanjem, a ako nemate multi-frame, ili rekao bih, nije dostupan vrlo dobar senzor slike, s visokom osjetljivošću ili optikom s niskim f brojevima. Jedan od načina da se riješite šuma posebno pri slabom osvjetljenju je primijeniti više smanjenja šuma, ali ono što se događa kada primijenite više smanjenja šuma je da gubite detalje, pa oštri rubovi postaju mutni. Sada se toga možete riješiti ako primijenite ove tehnike s više okvira. Ili ako primijenite tehnike umjetne inteligencije, koje mogu na neki način otkriti gdje su rubovi predmeta i lica, i takve stvari. Dakle, primjena samo brute force redukcije buke u današnje vrijeme nije način na koji to možete riješiti jer na kraju gubite detalje.

Ono što želite učiniti je koristiti tehnike s više okvira ili tehnike umjetne inteligencije kako biste i dalje mogli primijeniti šum smanjenje na sličnija unutarnja područja objekata uz zadržavanje lijepih čistih rubova ili zadržavanje oštrih rubova objekti. Dakle, to je ono što bih rekao: upotreba AI ili multi-framea način je za smanjenje šuma i poboljšanje slika pri slabom osvjetljenju u budućnosti.

Idrees Patel: Da, i to je upravo ono što sam želio čuti. [To je] zato što je to glavna stvar koja odvaja sjajne kamere pametnih telefona od kamera srednjeg ili jeftinijeg razreda.

Judd Heape: Da.

Idrees Patel: Sjajne kamere pametnih telefona znaju kada primijeniti smanjenje šuma, a kada ne.

Judd Heape: Upravo tako. Da, i kao što sam rekao, ugađanje kamere zapravo obavljaju naši kupci ili OEM-ovi, a neki OEM-i preferiraju mekšu sliku s manje šuma. Neki radije otkrivaju više detalja uz možda malo više buke.

I tako je to kompromis i imate ograničenja. I kao što sam rekao, najbolja stvar za napraviti je nabaviti bolji senzor slike s većom osjetljivošću, veće piksele ili niži f-broj optike, jer tada dobivate više svjetla od samog početka, to je uvijek bolje. Ali ako to ne možete učiniti, onda umjesto da samo pojačate smanjenje šuma i izgubite detalje, ono što želite učiniti je koristiti više okvira ili tehnike umjetne inteligencije.


Analiza i kontekst: Ovo je, po mom mišljenju, trenutno najveći problem s kamerama pametnih telefona. Da, možete koristiti senzor od 48MP ili 64MP ili čak 108MP. Međutim, ako se ne odlučite koristiti suzdržano smanjenje buke s MFNR ili AI tehnikama, svi ti megapikseli, združivanje 4-u-1, pa čak i združivanje 9-u-1, neće biti od velike koristi. Galaxy S20 Ultra ovdje je glavni primjer, kao njegova primarna kamera od 108 MP uglavnom se smatralo razočarenjem. Samsung je otišao unazad u obradi slike koristeći izuzetno agresivno smanjenje šuma u svojim noćnim načinima rada u svojim vodećim modelima za 2020., dok je serija Galaxy S10 za 2019. ironično imala bolju kvalitetu slike.

Judd otkriva da neki proizvođači originalne opreme zapravo preferiraju mekšu sliku s manje šuma, što je u osnovi pogrešan izbor. Podešavanje vrše proizvođači uređaja i stoga dva telefona koji koriste isti senzor i napaja ih isti SoC mogu ispisati vrlo, vrlo različite fotografije. Treba se nadati da će ovi proizvođači uređaja naučiti istinu od svojih konkurenata s boljim rezultatima. Dok je Samsung izgubio put u obradi slike ove godine, OnePlus je bio oštra suprotnost. OnePlus 8 Pro jedna je od najboljih kamera za pametne telefone na tržištu, što je značajan uspjeh s obzirom na vrlo loš učinak kamere OnePlus 5T u 2017. godini. Način razmišljanja o obradi slike mora se promijeniti kako bi fotografije bile oštre, bez obzira na to koliko ratovi megapiksela bjesne.


AV1 dekodiranje i kodiranje

Mishaal Rahman: Dakle, ovo je pomalo odvojeno od ostalih rasprava koje vodimo o kvaliteti fotoaparata. Jedna od stvari koje su se neki ljudi u zajednici medijskih kodeka otvorenog koda pitali jest kada će Qualcomm podržati AV1 dekodiranje i eventualno kodiranje. Znam da je ovo malo pretjerano, ali Google zahtijeva da 4K HDR i 8K TV na Androidu 10 podržavaju AV1 dekodiranje i Netflix, YouTube, započinju s uvođenjem videozapisa kodiranih u AV1. Dakle, izgleda kao spori porast AV1 kodiranih videozapisa. Stoga se pitamo kada će barem podrška za dekodiranje biti dostupna u Spectri.

Izjava Qualcomma: Prema vašem pitanju o AV1 - danas nemamo ništa za objaviti. Međutim, Snapdragon je trenutno sposoban za reprodukciju AV1 putem softvera. Qualcomm uvijek radi s partnerima na kodecima sljedeće generacije putem izrade softvera i hardvera Snapdragon vodeći u HDR kodecima uključujući snimanje i reprodukciju u HEIF, HLG, HDR10, HDR10+ i Dolby Vizija. Naravno, shvaćamo da želimo pružiti najbolja iskustva s CODEC-om našim korisnicima, uključujući podršku za visoku razlučivost i najmanju potrošnju energije, da je njihova implementacija u HW poželjna.


Video snimanje - kompenzacija pokreta

Mishaal Rahman: Dakle, ne znam ima li Idrees još pitanja, ali ja sam imao jedno pitanje o nečemu što sam pročitao na Snapdragon Tech Summitu. Radi se o video jezgri s kompenzacijom pokreta. Čuo sam da postoje neka poboljšanja u mehanizmu za kompenzaciju pokreta, kako bi se smanjio šum pri snimanju videa. Pitao sam se možete li proširiti što je točno poboljšano i što je učinjeno.

Judd Heape: EVA (Engine for Video Analytics) motor poboljšan je s gušćom jezgrom karte kretanja tako da EVA motor, znate, na primjer, uvijek gleda dolazni video i unutra ima jezgru koja se kreće procjena. Ono što smo učinili jest da smo tu jezgru učinili puno preciznijom gdje to radi gotovo na razini po pikselu, a ne na više gruba razina blokova i tako dobivamo puno više vektora kretanja iz EVA motora u Snapdragonu 865 nego u prethodnim generacije. A to znači da video jezgra koja vrši kodiranje može koristiti te vektore kretanja da bude više točan u vezi s kodiranjem, ali ISP na strani kamere također koristi te informacije za šum smanjenje.

Dakle, kao što znate, generacijama smo imali vremensko filtriranje s kompenzacijom kretanja, što je zapravo aktivno smanjenje šuma tijekom videa, koje u prosjeku sliči u sličicama tijekom vremena kako bi se riješilo šuma.

Međutim, problem s tom tehnikom je ako imate pokret u sceni. Kretanje na kraju bude odbijeno od smanjenja buke jer se s njim ne može rukovati ili se razmazuje, a na stvarima koje se kreću dobivate te ružne tragove i artefakte. Dakle, u vremenskom filtriranju s kompenzacijom kretanja, ono što smo radili u prošlosti jer nismo imali ovu gustu kartu kretanja za lokalne pokret, mi imamo - jednostavno rješavamo samo slučajeve kada pomičete kameru, prilično je jednostavno jer se sve kreće globalno.

Ali ako nešto snimate i imate objekt koji se kreće UNUTAR scene, ono što smo radili prije [bilo je to] samo smo ignorirali te piksele jer ih nismo mogli obraditi zbog buke, jer se radilo o lokalnom kretanju objekt. I stoga, ako ste izračunali prosjek okvir po okvir, objekt je bio na drugom mjestu svaki okvir tako da ga niste mogli stvarno obraditi.

Ali na Snapdragonu 865, jer imamo gušću mapu kretanja i imamo mogućnost gledati vektore kretanja na gotovo jednom pikselu na temelju piksela, zapravo smo u mogućnosti obraditi te lokalno pomaknute piksele okvir po okvir za smanjenje šuma, dok prije nismo mogli. Mislim da sam spomenuo metriku u govoru. Ne sjećam se broja (bilo je 40%) ali to je bio veliki postotak piksela u prosjeku za većinu videozapisa koji se sada mogu obraditi zbog šuma, dok u prethodnoj generaciji to nije bilo moguće. A to je zapravo dijelom sposobnosti razumijevanja lokalnog kretanja, a ne samo globalnog kretanja.


Video snimanje - HDR

Idrees Patel: Još jedno pitanje koje imam je o HDR videu. Ove godine vidim da mnogo više proizvođača uređaja nudi HDR10 video snimanje. Pa je li to nešto što je promovirano sa Snapdragonom 865 ili je tu već nekoliko generacija.

Judd Heape: O da, kako smo pričali o tome na Tech Summitu, imali smo HDR10, što je video standard za HDR na kamera za kodiranje već nekoliko generacija, vjerujem od Snapdragona 845, i neprestano se poboljšavamo da.

Tako smo prošle godine govorili o HDR10+, što je 10-bitno HDR snimanje, ali umjesto statičkih metapodataka ima dinamičke metapodatke, dakle metapodatke koje je uhvatila kamera tijekom scene zapravo se snima u stvarnom vremenu, tako da kada je reproducirate mehanizam za reprodukciju razumije je li to bila mračna ili svijetla soba i može kompenzirati da.

Također smo prošle godine na Tech Summitu razgovarali o Dolby Vision snimanju, što je Dolbyjeva alternativa HDR10+. Vrlo je slično i kada zapravo proizvode dinamičke metapodatke. Dakle, Snapdragon danas može podržati sva tri ova formata: HDR10, HDR10+ i Dolby Vision snimanje. I tako stvarno nema ograničenja, naši proizvođači originalne opreme mogu odabrati metodu koja im se više sviđa. Već neko vrijeme imamo kupce koji koriste HDR10, a prošle i ove godine imamo sve više kupaca koji odabiru HDR10+. I mislim da ćete u budućnosti vidjeti usvajanje Dolby Vision Capture također.

Pa da, to smo jako promovirali. HDR nam je jako važan, kako na strani snimke tako i na strani videa. I kao što sam rekao, bili smo posvećeni formatima HDR10 i HDR10+, a sada i Dolby Vision, znate još od Snapdragona 845, a sada čak i nedavno Snapdragona 865 za Dolby Vision.

Mishaal Rahman: Također, zapravo nisam bio siguran jesu li neki proizvođači implementirali Dolby Vision snimanje, ali pretpostavljam da je to odgovor na to pitanje. [To je] nešto što ćemo vidjeti u budućnosti.

Judd Heape: Naravno - ne mogu komentirati koji su dobavljači zainteresirani i slično. To bi bilo pitanje za Dolby; to je njihova značajka i stoga ako želite više informacija o tome, predlažem da kontaktirate Dolby. Ali do danas, koliko ja znam, nije postojao nijedan uređaj koji je izašao s Dolby Vision Capture.

Idrees Patel: Zato što trebate i podršku za prikaz. Primijetio sam da zasloni pametnih telefona podržavaju HDR10 i HDR10+, ali ne i Dolby Vision.

Judd Heape: Da, zapravo, ali Dolby Vision reprodukcija je u prošlosti bila podržana na Snapdragonu. Može raditi s danim zaslonom, a zaslon ne mora nužno ispunjavati nikakve specifične kriterije da bi bio usklađen s Dolby Visionom, osim Dolby će ocijeniti zaslon i osigurati da ima određeni raspon boja, gamu, određenu dubinu bitova, određenu svjetlinu i određeni kontrast omjer.

Dakle, znate, možete kupiti HDR10 zaslon, ali također možete kupiti slušalicu koja podržava Dolby Vision reprodukciju, ali Doby će kvalificirati taj prikaz kako bi bio siguran da je u skladu s njihovim strogim zahtjevi.


Suradnja s dobavljačima softvera: Imint, Morpho i Arcsoft

Mishaal Rahman: Pretpostavljam da je samo jedno pitanje na koje bih se mogao nadovezati, s kojom bih trebao dodatno istražiti, a to je jedna tvrtka s kojom smo nedavno razgovarali. Imint. Nedavno su nadogradili svoje Softver za stabilizaciju Vidhance do raditi sa Spectrom 480. Znam da vi radite s mnogim tvrtkama koje također koriste prednosti Spectre 480, obrade. Pitam se možete li otkriti više primjera ovih tehnologija koje imate - ili partnere koje ste s kojima smo radili, samo tako da je] nešto što možemo pratiti, saznati više o tome kako se Spectra 480 koristi u polje.

Judd Heape: Radimo s mnogo dobavljača softvera. Kao što smo spomenuli u prošlosti, Dolby je jedan od njih. Postoje i drugi kao što ste spomenuli, Imint/Vidhance za EIS (Electronic Image Stabilization). Prije smo također spomenuli Morpho i Arcsoft, s njima također vrlo blisko surađujemo.

No, što se tiče načina na koji surađujemo s njima, naša je politika da zaista želimo blisko surađivati ​​s tim neovisnim dobavljačima softvera i sigurni da što god rade u softveru, da mogu iskoristiti hardver u Snapdragonu kako bi postigli najmanju potrošnju energije moguće.

Dakle, jedna od stvari koju radimo s ovim dobavljačima jest da osiguravamo da imaju stvarno dobar pristup HVX motoru ili Hexagon DSP jezgri. Oni također koriste EVA mehanizam za dobivanje vektora kretanja i korištenje hardvera i EVA motora za manipulaciju slikom tako da mogu izvoditi pomicanje slike, prevođenje i deformaciju i takve stvari u hardveru umjesto da koriste GPU da.

I tako, stvarno blisko surađujemo s ovim ISV-ovima, posebno onima koje sam posebno spomenuo, kako bismo bili sigurni da ne stavljaju sve i softver u CPU-u, ali koriste stvari poput DSP-a i hardverskih akceleratora u EVA-i kako bi dobili bolje performanse i nižu potrošnju potrošnja. To nam je također jako važno jer našim korisnicima daje najbolju moguću kombinaciju značajki i potrošnje energije.

[Završni komentari Judda]: Samo sam htio reći, hvala vam na svim stvarno dobrim pitanjima. Stvarno su, jako detaljni. U Qualcommu sam već otprilike tri godine i gledam našu prošlost, čak i nakon mog mandata ovdje gdje smo prije počeli na Spectri Snapdragon 845, jako smo naporno radili na dramatičnom poboljšanju ISP-a, kamere i cjelokupnog iskustva tijekom proteklih nekoliko godine. Zaista sam uzbuđen čak i zbog onoga što budućnost donosi. I uzbuđen sam zbog onoga što ćemo objaviti na budućim tehničkim summitima o kojima možete pisati i postavljati pitanja. [Spectra kamera], vjerojatno je, po mom mišljenju, jedna od najuzbudljivijih tehnologija u Qualcommu.


Završne misli

Bilo je sjajno razgovarati s Juddom o Qualcommovom doprinosu fotografiji pametnih telefona. Možemo imati pomiješane osjećaje o tvrtki i njihovom sustavu licenciranja patenata, ali svatko osjeća Qualcommov pečat u industriji pametnih telefona, bilo da govorite o patenti, 4G i 5G, Wi-Fi, Adreno GPU-ovi, Spectra ISP-ovi i sami Snapdragon čipovi, koji se uglavnom smatraju zlatnim standardom u Android pametnim telefonima tržište.

Još uvijek postoje mnoge bolne točke koje se moraju riješiti u fotografiji pametnim telefonom, ali budućnost je sjajan kao što Qualcomm obećava da će napraviti više napretka u golemim, rastućim poljima ML-a, koji pokreće AI. Pogledajmo što Qualcomm ima za najaviti na ovom polju na sljedećem Snapdragon Tech Summitu.