Judd Heape de la Qualcomm explică modul în care Qualcomm îmbunătățește experiențele camerei pe telefoanele Android cu noi funcții în ISP-urile sale Spectra.
În calitate de producător de sisteme pe cipuri (SoC) care alimentează o mare parte din smartphone-urile și dispozitivele portabile din lume, Qualcomm, cu sediul în SUA, este, fără îndoială, unul dintre giganții industriei producătorilor de cipuri. Linia de SoC-uri Snapdragon, de exemplu, este folosită de aproape fiecare producător major de dispozitive Android pentru smartphone-uri emblematice, de gamă medie și buget. Qualcomm primește aplauze în fiecare an la Tech Summit-ul anual al companiei pentru progresele în domeniile CPU, GPU și AI, deoarece încorporează noile microarhitecturi CPU ARM și le completează cu îmbunătățiri anuale ale GPU-urilor personalizate. Cu toate acestea, progresele sale în domeniul camerelor nu sunt observate la fel de mult, deoarece tind să treacă sub radar.
Acest lucru nu înseamnă, totuși, că munca Qualcomm în camerele smartphone-urilor este neimportantă. Dimpotrivă, ISP-urile Qualcomm Spectra din SoC-urile sale Snapdragon ajută la realizarea multor camere moderne pentru smartphone-uri cu putere de procesare de calcul, funcții precum înregistrarea video 8K, video HDR10, suport pentru camere QCFA de înalți megapixeli și multe, multe Mai mult. Qualcomm a promovat că Spectra 380 ISP în Snapdragon 855
a fost primul CV-ISP din lumeși a promovat primele funcții de înregistrare video 4K HDR din lume, care sunt completate acum de înregistrarea video 4K HDR10+ de a doua generație. Spectra 480 ISP de ultimă generație Snapdragon 865 este foarte capabil - poate procesa doi gigapixeli pe secundă, o creștere cu 40% față de predecesorul său. Este o proprietate intelectuală (IP) care diferențiază Qualcomm de concurenții săi în spațiul vânzătorilor de cipuri mobile.În timp ce Qualcomm explică majoritatea caracteristicilor principale în comunicatele sale de presă și note-urile de produs, în sus Până acum, consumatorii nu au avut șansa de a cunoaște majoritatea detaliilor de nivel scăzut care fac aceste lucruri muncă.
De aceea, noi cei de la XDA Developers am fost bucuroși să acceptăm o ofertă de a vorbi cu Judd Heape, Senior Director, Product Management la Qualcomm. Editorul-șef al XDA, Mishaal Rahman, și cu mine am avut un interviu cu Judd în iunie 2020 pentru a afla și a vedea cum Qualcomm împinge obiectivele cu fotografierea și înregistrarea video pe smartphone. Am vorbit despre subiecte, inclusiv procesarea imaginii AI, reducerea zgomotului cu mai multe cadre (MFNR), AV1, înregistrarea video Dolby Vision, binning pixeli în camerele cu megapixeli mari și multe altele. Să aruncăm o privire la perspectivele lui Judd despre fiecare subiect, unul câte unul:
Sarcini de lucru pentru procesarea imaginilor AI
Mishaal Rahman: Voi începe cu una dintre cele pe care le avea Idrees, care este una interesantă și care m-a interesat și pe mine. Așadar, ne întrebăm care sunt încărcăturile de lucru de procesare a imaginilor AI pe care Qualcomm le folosește în ISP Spectra și în ce măsură sunt personalizabile de producătorii de dispozitive?
Judd Heape: Da, deci ne uităm la o mulțime de sarcini de lucru AI și există unele AI care pot rula în ISP-ul însuși cum ar fi, de exemplu, următoarea noastră generație 3A: expunerea automată, balansul de alb automat și focalizarea automată sunt AI bazat.
Dar ne uităm și la câteva alte sarcini de lucru AI, care ar rula în afara ISP-ului, într-unul dintre celelalte elemente de calcul. Deci, în special, ne uităm la lucruri precum: avem un nucleu de reducere a zgomotului bazat pe AI, care rulează extern de la ISP, în partea motorului AI (AIE) a cipului.
De asemenea, avem lucruri precum detectarea feței, care este un motor complet de învățare profundă care rulează și în complexul AIE, dar, desigur, ajută camera. Și mai sunt și alte lucruri la care lucrăm, în afară de detectarea feței și eliminarea zgomotului; de asemenea, ne uităm să facem lucruri precum o ajustare automată a instantaneelor folosind AI care ar seta automat parametrii per scenă pe baza conținutului HDR, am procesa pentru a modifica umbrele, luminile și culoarea și astfel de lucru.
Unul dintre partenerii noștri, Morpho, tocmai a câștigat un premiu uriaș pentru volumul de lucru AI la Embedded Vision Summit anul acesta. Partenerii furnizori independenți de software au, de asemenea, o mulțime de algoritmi cu adevărat intensi bazați pe inteligență artificială, iar aceștia pot varia de la orice, cum ar fi camera netedă tranziție, ca și ceea ce face Arcsoft, (am menționat asta la ultimul Snapdragon Tech Summit, care este bazat pe AI), la segmentarea semantică a lui Morpho motor. Soluția lui Morpho este un motor AI care înțelege diferite părți ale scenei, cum ar fi ceea ce știți, țesătură versus piele versus cer și iarbă și construirea și așa ceva și apoi ISP-ul poate prelua acele informații și procesa acești pixeli în mod diferit pentru textură, zgomot și culoare pentru exemplu.
Declarația Qualcomm: Nici pentru ML și AI nu anunțăm actualizări noi pentru funcțiile de detectare a feței și „3A” (AE, AF și AWB) astăzi. Cu toate acestea, așa cum a spus Judd, ne angajăm, în continuare, să aducem mai multe capacități ML/AI camerei, inclusiv aceste două zone de caracteristici.
Analiză și context: AI în smartphone-uri a fost considerată în mare măsură un cuvânt la modă încă de când primele unități de procesare neuronală (NPU) și funcții „bazate pe AI” au început să sosească pe telefoanele Android. Cu toate acestea, asta nu înseamnă că AI în sine este lipsită de sens. Dimpotrivă, AI are mult potențial în mobil, până la punctul în care vânzătorii de cipuri și producătorii de dispozitive deopotrivă nu fac decât să zgârie suprafața a ceea ce este posibil.
Datorită inteligenței artificiale, camerele smartphone-urilor au devenit mai bune - uneori rapid, alteori agonisitor de încet, dar ajung acolo. Camerele smartphone-urilor depășesc limitările fundamentale, cum ar fi senzorii relativ mai mici, fix distanțe focale și optică mai slabă cu fotografie computațională inteligentă care este alimentată de învățarea automată (ML). Expunerea automată, reducerea zgomotului, detectarea feței și segmentarea sunt doar câteva dintre domeniile în care AI din fotografia smartphone-urilor a reușit să aibă un impact. În următorii cinci ani, aceste domenii în curs de dezvoltare ale AI care îmbunătățesc diferite aspecte ale fotografiei se vor maturiza foarte mult.
Reducerea zgomotului cu mai multe cadre
Idrees Patel: Qualcomm a menționat reducerea zgomotului cu mai multe cadre ca caracteristică. Aș dori să știu mai multe detalii despre el, cum funcționează stivuirea imaginilor. Este similar în vreun fel să-ți placă ceea ce face Google cu tehnologia lor HDR+ sau este complet diferit?
Judd Heape: Este asemănător, dar diferit. Imaginează-ți camera făcând o rafală și captând cinci până la șapte cadre în succesiune rapidă. Apoi, motorul ISP aruncă o privire la acele cadre și îl alege pe cel mai bun (numit „cadru de ancorare”) pentru focalizare și claritate și apoi poate alege 3-4 cadre pe fiecare parte a acelui cadru și apoi le poate face media pe toate împreună. Încearcă să aleagă rame care sunt suficient de apropiate, astfel încât să existe foarte puțină mișcare.
Și când se stabilește pe acele cadre, apoi le face o medie pentru a discerne ce este diferit, de exemplu, ce sunt datele reale ale imaginii față de ceea ce sunt datele despre zgomot. Deci, atunci când aveți din ce în ce mai multe informații, din tot mai multe cadre, puteți face lucruri simple, cum ar fi să vă uitați la diferențele dintre cadre. Diferențele sunt probabil zgomot, în timp ce ceea ce este egal în cadre sunt probabil date de imagine.
Așa că putem face acel cadru în timp real combinând pentru a reduce zgomotul. Acum, puteți face același lucru și cu lumină scăzută și HDR și asta seamănă foarte mult cu ceea ce face probabil Google. Nu suntem la curent cu algoritmul lor. Dar folosesc tehnici multi-cadre pentru a crește sensibilitatea, astfel încât să puteți „vede” mai bine; odată ce ați redus nivelul de zgomot, puteți acum să vă uitați să faceți mai multe cartografii de tonuri locale sau să adăugați câștig imaginii fără a adăuga mai mult zgomot.
Așa se ocupă de lumina slabă, precum și HDR. Îmbunătățiri ale funcției de reducere a zgomotului cu mai multe cadre vor veni de la Qualcomm, care va include, de asemenea, lumină scăzută și HDR. Dar asta este ceva pe care îl vom lansa în curând.
Mishaal Rahman: Deci ați menționat despre lansarea acestei funcții în scurt timp. Aceasta vine ca o actualizare a BSP pentru parteneri?
Judd Heape: În produsele noastre de ultimă generație, printr-o adăugare de software, vom avea capacitatea de a interacționa cu - de fapt, se întâmplă chiar acum în următorul produse de generație - ne angajăm cu clienții chiar acum pentru a face mai multe tehnici multi-cadre dincolo de reducerea zgomotului, dar și pentru a gestiona HDR și lumină scăzută situatii. Utilizează același motor de bază ISP HW, dar adăugăm mai mult software pentru a gestiona aceste cadre multiple pentru mai mult decât reducerea zgomotului.
Deci nu este ceva care a fost lansat, dar ne interacționăm cu câțiva clienți potențiali cheie cu privire la aceste funcții.
Analiză și context: Cu fiecare anunț nou Snapdragon SoC, tabelul cu specificații Qualcomm include specificații legate de reducerea zgomotului cu mai multe cadre. Snapdragon 865, de exemplu, cu CV-ISP-urile sale duble pe 14 biți acceptă o singură cameră ipotetică de 200 MP (chiar dacă furnizorii de senzori de cameră, cum ar fi Sony, Samsung și OmniVision, nu au lansat încă niciun senzor de cameră pentru smartphone-uri de peste 108MP). Cu toate acestea, când vine vorba de suport pentru o singură cameră cu MFNR, zero shutter lag (ZSL) și suport pentru 30 fps, specificațiile se modifică la 64 MP, iar pentru camerele duble cu aceleași specificații, specificația se schimbă la 25MP.
Reducerea zgomotului cu mai multe cadre de la Qualcomm este foarte similară cu HDR+, dar nu în totalitate la fel, așa cum a explicat Judd mai sus. În timp ce HDR+ realizează o serie de expuneri subexpuse și le face o medie pentru a obține cea mai bună fotografie, MFNR preia cinci-șapte cadre normale. Nu pare că MFNR de la Qualcomm este la fel de avansat ca soluția Google, deoarece HDR și lumina scăzută nu sunt menționate ca fiind priorități specifice în prezent. fluxul de lucru pentru Spectra, în timp ce HDR+ de la Google vizează în același timp HDR, fotografia cu luminozitate scăzută și reducerea zgomotului, Night Sight luând-o chiar și la un nivel superior mai departe. Cu toate acestea, este încurajator să aflăm că MFNR primește îmbunătățiri și Qualcomm va implementa aceste îmbunătățiri pentru „unii clienți cheie”. În viitor, poate că nu vom avea nevoie de porturi neoficiale Google Camera pentru a atinge întregul potențial al camerelor pentru smartphone-uri non-Google Android.
Super rezoluție pentru video
Mishaal Rahman: Deci, ceva ce am auzit la Tech Summit. De fapt, cred că a fost într-un interviu cu Autoritatea Android. Este că Qualcomm plănuiește să extindă super rezoluția la video ca soluție software pentru parteneri și că aceasta ar urma să fie lansată într-o actualizare, aparent. Mă întreb dacă aveți actualizări de împărtășit cu privire la această funcție.
Judd Heape: Da, deci este o caracteristică pe care am avut capacitatea de a o face de ceva vreme și tocmai acum se lansează. Nu aș spune că este într-o actualizare de software, dar aș spune că este un fel ca un beneficiu suplimentar al capacității existente cu mai multe cadre, cu lumină scăzută. Ne interacționăm cu anumiți clienți potențiali cu privire la această funcție. Deci da, super rezoluția video este ceva în altă generație sau așa o vom avea ca ceea ce avem apelați un plan de funcție de înregistrare în care este de fapt încorporat în baza de coduri software pentru [the] aparat foto. Dar acum, este mai mult la nivelul angajamentelor specifice ale clienților pentru acea nouă funcție.
Analiză și context: Super rezoluția video este o caracteristică care, până acum, nu a apărut în camerele smartphone-urilor. Este un domeniu atât de nou încât încă se scriu lucrări de cercetare despre asta. Folosirea tehnicilor cu mai multe cadre pentru fotografie este un lucru, dar folosirea lor pentru video pentru a mări videoclipul la o rezoluție mai mare este o chestiune cu totul diferită. Qualcomm spune că lansează din nou această funcție pentru „unii clienți cheie”, dar în acest moment nu este încorporată în baza de coduri software pentru cameră. În viitor, poate fi disponibil pentru toată lumea, dar deocamdată este o caracteristică pe care consumatorii finali nici măcar nu au apucat să o folosească încă.
Senzori Quad Bayer de înalți megapixeli
Idrees Patel: Să vorbim despre senzorii Quad Bayer. Din 2019, multe telefoane au acum senzori de 48MP, 64MP și acum chiar 108MP. Aceștia sunt senzori Quad Bayer; nu aveți de fapt o rezoluție de culoare reală de 48 sau 64 sau 108MP. Un lucru pe care am vrut să-l întreb a fost cum diferă ISP-ul în ceea ce privește procesarea imaginii pentru aceste Quad Bayer sau Nona Senzori Bayer (binning 4-în-1 sau 9-în-1 pixeli), în comparație cu senzorii tradiționali, care nu au niciun pixel binning.
Judd Heape: Da, desigur, beneficiul acestor senzori quad CFA (Quad Color Filter Array) este capacitatea de a rula în lumină puternică. la rezoluție maximă, iar apoi ISP-ul le poate procesa la 108 megapixeli sau 64 megapixeli sau orice ar fi disponibil.
Cu toate acestea, de obicei, în cele mai multe situații de iluminare, cum ar fi interior sau întuneric, trebuie să colectați, deoarece pixelii senzorului sunt atât de mici încât trebuie să combinați pixeli pentru a obține o sensibilitate mai bună la lumină. Așa că aș spune că de cele mai multe ori, mai ales dacă înregistrați videoclipuri sau dacă sunteți în lumină slabă pentru instantaneu, rulați în modul binn.
Acum, ISP-ul poate procesa senzorul în orice mod. Puteți privi senzorul în modul binn, caz în care este doar o imagine obișnuită Bayer care vine sau îl puteți privi în modul de rezoluție completă în care datele primite sunt quad CFA. Și dacă este în acest mod, ISP-ul îl convertește în Bayer.
Așa că facem – ceea ce numim – „remosaicing”. Se interpolează imaginea quad CFA pentru a o face să pară din nou ca Bayer cu rezoluție completă. Și asta se face de obicei în software-ul pentru instantanee, deși în cele din urmă vom adăuga această capacitate în hardware pentru a suporta și video.
Ceea ce este în hardware-ul ISP astăzi este binning. Așadar, puteți introduce senzorul și, de fapt, puteți decide dacă senzorul va avea o rezoluție completă sau un sfert sau o rezoluție de 1/9 sau puteți să-l puneți în ISP. Și aceasta este o caracteristică pe care am adăugat-o în Snapdragon 865, de fapt. Așadar, dacă înregistrați ISP-ul și apoi rulați senzorul la rezoluție maximă, ISP-ul va avea capacitatea de a avea atât imaginea cu rezoluție completă, cât și imaginea stocată în același timp. Prin urmare, poate utiliza o rezoluție mai mică sau imaginea „binned” pentru video (cameră video) și previzualizare (vizor) și poate utiliza simultan imaginea cu rezoluție completă pentru instantanee la dimensiune completă.
Dar din nou, asta ar fi în cazul condițiilor de iluminare puternică. Dar, cel puțin, dacă vă deplasați în ISP-ul, aveți capacitatea de a gestiona atât imaginea mare, cât și cea mică la în același timp și, prin urmare, puteți obține simultan videoclipuri și instantanee, puteți obține și rezoluție completă ZSL; totul fără a fi nevoie să comutați senzorul înainte și înapoi, ceea ce necesită o perioadă considerabilă de timp.
Aceasta este o caracteristică foarte bună. Și ca senzori Quad CFA și chiar și tu știi, senzorii 9x și poate chiar mai mulți ies, și pe măsură ce acești senzori devin mai mulți omniprezent - căutăm din ce în ce mai mult să gestionăm acești senzori din hardware, nu doar pentru binning, ci și pentru remozaicing.
Și astfel, beneficiul acestui lucru este că dacă o faci în hardware și nu în software, vei reduce latența pentru clienții dvs. și, prin urmare, timpii dvs. de înregistrare și ratele de explozie vor fi mult mai rapide. Așadar, pe măsură ce avansăm cu noi ISP-uri și noi cipuri, veți începe să vedeți mult mai multe din ceea ce facem pentru aceste noi tipuri de senzori introduși în hardware.
Analiză și context: Huawei a fost primul care a folosit un senzor Quad Bayer de 40MP cu Huawei P20 Pro în 2018, iar popularitatea senzorilor Quad Bayer a fost atât de mare încât acum și-a făcut drum până la telefoane de 150 USD alimentate cu cipuri Snapdragon/Exynos/MediaTek. În special, am văzut că industria smartphone-urilor a ajuns la camere de 48 MP și 64 MP ca punct ideal, în timp ce câteva telefoane ajung până la 108 MP. Senzorii Quad Bayer și Nona Bayer nu vin fără negative, deoarece rezoluția lor completă vine cu avertismente.
Cu toate acestea, din motive de marketing, un senzor de 48 MP sună mult mai bine decât un senzor de 12 MP, chiar dacă utilizatorul face oricum fotografii cu pixeli de 12 MP de cele mai multe ori. Un senzor de 48 MP ar trebui, teoretic, să aibă ca rezultat fotografii mai bune cu pixeli de 12 MP în lumină slabă decât un senzor tradițional de 12 MP senzor, dar procesarea imaginii trebuie să țină pasul și, așa cum menționez mai jos, este un drum lung de parcurs pentru ca întâmpla. Indiferent, a fost interesant să vedem cum Spectra ISP gestionează senzorii Quad Bayer cu remosaicing. Există mult potențial în acești senzori și telefoane precum OnePlus 8 Pro (care folosește un senzor Sony IMX689 Quad Bayer cu pixeli mari) sunt în prezent la vârful camerelor pentru smartphone-uri.
Recunoaștere facială bazată pe ML
Mishaal Rahman: Deci cred că mai devreme ați menționat că recunoașterea facială bazată pe ML este acceptată în Spectra 480. Este ceva ce am auzit de fapt la Tech Summit-ul. [Că aceasta este] una dintre îmbunătățirile de la 380 la 480; că face parte din - există un nou bloc de detectare a obiectivelor în motorul de analiză video care este folosit pentru recunoașterea spațială în viitor.
Puteți vorbi mai multe despre cât de mult îmbunătățește acest lucru recunoașterea facială și despre ce potențiale aplicații vedeți că este folosită de furnizori?
Judd Heape: Da, de fapt, deci ai dreptate în blocul de viziune computerizată încorporat, care este blocul „EVA”, despre care am vorbit la Tech Summit. Are un nucleu general de detectare a obiectelor pe care îl folosim când camera rulează, îl folosim pentru a detecta fețele. Tehnicile din acel bloc sunt tehnici mai tradiționale, deci recunoașterea obiectului se face cu tradițional clasificatoare, dar în plus avem un motor software care rulează pentru a îmbunătăți exact exactitatea acestora bloc.
Deci folosim software bazat pe ML pentru a filtra falsele pozitive, deoarece hardware-ul ar putea detecta mai multe lucruri ca chipuri în scenă, iar apoi software-ul ML este spunând „bine, aceasta este o față” sau „aceasta nu este într-adevăr o față” și astfel crește acuratețea cu câteva puncte procentuale prin rularea acelui filtru ML deasupra hardware.
Am menționat multe lucruri despre viitor. În viitor, ceea ce intenționăm să facem este, de asemenea, să rulăm întreaga detectare a feței în ML sau în modul de învățare profundă în software. În special, asta va fi adevărat la nivelurile inferioare, așa că, de exemplu, într-un nivel în care nu avem motorul hardware EVA, vom începe să trecem treptat la învățarea profundă. ca detecție, care rulează în motorul AI al cipului și apoi mai târziu, în nivelurile superioare din nivelurile 700-800 avem hardware-ul EVA pentru a face asta...
Voi spune totuși, în general, ne vom îndrepta mai mult către abordări ML pentru a face detectarea feței și care ar include atât software-ul pe termen mediu, cât și hardware-ul pe termen mai târziu. Nu voi dezvălui ce produse îl vor avea, dar, desigur, pe măsură ce avansăm în îmbunătățirea ISP-ului, vom adăuga din ce în ce mai multe capacități hardware pentru a face ML, cu siguranță.
Mishaal Rahman: Minunat. Ei bine, cred că este de la sine înțeles că direcția în care mergeți este să aducă îmbunătățirile învățării automate ale seriei 800 la nivelul inferior, așa că cred că este, în general, un dat. Dar, desigur, nu ne puteți da detalii despre asta. Vă mulțumesc pentru actualizarea.
Judd Heape: Detectarea feței este ceva de care suntem foarte pasionați. Dorim să îmbunătățim aceste precizie, știți generație peste generație în toate nivelurile, de la nivelul 800 până la nivelul 400. ML este o mare parte din asta.
Analiză și context: Aceste aspecte sunt cele care oferă fotografierii cu smartphone-uri mult mai mult potențial chiar și față de cele mai recente camere fără oglindă. Da, camerele fără oglindă au o calitate mai bună a imaginii în lumină scăzută și sunt mult mai flexibile, dar camerele pentru smartphone-uri își depășesc limitele prin moduri ingenioase. Detectarea feței bazată pe ML este doar o parte din asta.
Îmbunătățiri ale motorului de procesare a imaginilor
Mishaal Rahman: Minunat. Deci, unul dintre lucrurile pe care le-am auzit pe scurt în timpul discuțiilor de la masa rotundă după Snapdragon Tech Summit a fost o îmbunătățire a motorului de procesare a imaginii. Am auzit că a fost îmbunătățită reducerea zgomotului de frecvență medie joasă sau LEANR. Și că aplicați o hartă dinamică a câștigului invers; este ceva ce ai menționat mai devreme în conversație.
Judd Heape: Oh, bine. Deci cred că amesteci două lucruri împreună. Da, deci există miezul LEANR, care este miezul care funcționează la reducerea zgomotului pe cereale mai grosiere, care ajută la lumină slabă. Acesta este un bloc nou care a fost adăugat în Snapdragon 865 în ISP și acesta este un lucru.
Harta de câștig inversă este altceva. Acesta este altceva pe care l-am menționat la mesele rotunde, dar este pentru a inversa efectele umbririi lentilelor. Deci, după cum știți, dacă aveți un telefon și are un obiectiv mic; centrul lentilei va fi luminos, iar marginile vor fi mai vignetate; adică vor fi mai întunecate.
Și astfel, în ultimii ani în ISP, ceea ce am avut este că am aplicat o hartă statică inversă a câștigului pentru a scăpa de acele margini întunecate. Și asta a fost în ISP de ceva timp. Totuși, ceea ce am adăugat în Snapdragon 865 este capacitatea acestei hărți de câștig de a se schimba dinamic, având în vedere cadrul particular al imaginii, deoarece dacă aplicați o mulțime de câștiguri la margini ceea ce se întâmplă este că marginile se pot tăia, mai ales dacă te uiți la scene cu lumină puternică afară, cum ar fi cerul albastru poate deveni alb sau marginile se vor tăia din cauza multor câştig.
Deci, în Snapdragon 865, acea hartă inversă a câștigului nu este statică; este dinamic. Așa că ne uităm la imagine și spunem: „Bine, aceste părți ale imaginii sunt tăiate și nu ar trebui să fie”, așa că putem rula în mod natural, de pe harta câștigului, astfel încât să nu obțineți franjuri strălucitoare sau efecte de halo sau astfel de lucruri din corectarea lentilei umbrire. Deci este diferit de reducerea zgomotului și sunt două nuclee diferite.
Fotografie cu lumină scăzută și reducere agresivă a zgomotului
Idrees Patel: Așa că un lucru pe care am vrut să-l întreb a fost fotografia cu lumină scăzută. La fel ca în ultimii ani, au existat o mulțime de moduri de noapte [implementate de OEM], dar un lucru pe care l-am observat este că Mulți producători de dispozitive optează pentru reducerea agresivă a zgomotului, care reduce detaliile, până la punctul în care chiar și zgomotul de luminanță este îndepărtat.
Deci întrebarea mea este că Qualcomm sfătuiește orice producător de dispozitive să nu facă asta și este ceva ce fac conductele lor de procesare sau este ceva influențat de ISP-ul în SoC.
Judd Heape: Multe dintre acestea au de-a face cu tuning, iar dacă nu ai multi-frame, sau aș spune că nu este disponibil un senzor de imagine foarte bun, cu o sensibilitate mare sau optică cu numere f scăzute. O modalitate de a scăpa de zgomot în special în condiții de lumină slabă este să aplicați mai multă reducere a zgomotului, dar ceea ce se întâmplă atunci când aplicați mai multă reducere a zgomotului este că pierzi detalii, astfel încât marginile ascuțite devin neclare. Acum, puteți scăpa de asta dacă aplicați aceste tehnici cu mai multe cadre. Sau dacă aplicați tehnici AI, care pot să dea seama unde sunt marginile obiectelor și ale fețelor și așa ceva. Așa că aplicarea doar a reducerii zgomotului prin forță brută în această zi și epocă nu este chiar modalitatea de a o gestiona, deoarece ajungi să pierzi detalii.
Ceea ce vrei să faci este să faci tehnici cu mai multe cadre sau tehnici AI, astfel încât să poți aplica în continuare zgomot reducere la zonele interioare mai asemănătoare obiectelor, păstrând în același timp marginile curate sau păstrând marginile ascuțite. obiecte. Așadar, asta aș spune: utilizarea fie AI, fie multi-cadre este modalitatea de a reduce zgomotul și de a îmbunătăți imaginile în condiții de lumină slabă în viitor.
Idrees Patel: Da, și exact asta am vrut să aud. [Este] pentru că acesta este principalul lucru care separă camerele grozave pentru smartphone-uri de camerele de nivel mediu sau de nivel bugetar.
Judd Heape: Da.
Idrees Patel: Camerele grozave ale smartphone-urilor știu când să aplice reducerea zgomotului și când nu.
Judd Heape: Exact. Da, și așa cum am spus, reglarea camerei este într-adevăr făcută de clienții noștri sau de OEM, iar unii OEM preferă o imagine mai blândă, cu mai puțin zgomot. Unii preferă să dezvăluie mai multe detalii, poate cu puțin mai mult zgomot.
Și deci este un compromis și astfel ai limitări. Și parcă am spus că cel mai bun lucru de făcut este să obții un senzor de imagine mai bun, cu o sensibilitate mai mare, pixeli mai mari sau optica cu număr f mai mică, pentru că atunci primești mai multă lumină de la început, asta este întotdeauna mai bine. Dar dacă nu poți face asta, atunci în loc să pornești doar reducerea zgomotului și să pierzi detalii, ceea ce vrei să faci este să folosești tehnici multi-cadre sau AI.
Analiză și context: Aceasta, după părerea mea, este în prezent cea mai mare problemă cu camerele smartphone. Da, puteți folosi un senzor de 48MP sau 64MP sau chiar un senzor de 108MP. Cu toate acestea, dacă nu alegeți să utilizați reducerea restricționată a zgomotului cu tehnici MFNR sau AI, toți acești megapixeli, binning 4-în-1 și chiar binning 9-în-1 nu sunt de mare folos. Galaxy S20 Ultra este exemplul principal aici, ca cameră principală de 108 MP a fost considerată în mare măsură o dezamăgire. Samsung a revenit în procesarea imaginilor utilizând reducerea extrem de agresivă a zgomotului în modurile sale de noapte în produsele sale emblematice din 2020, în timp ce seria Galaxy S10 2019 a avut, în mod ironic, o calitate mai bună a imaginii.
Judd dezvăluie că unii OEM preferă de fapt o imagine mai moale, cu mai puțin zgomot, ceea ce este în principiu o alegere greșită. Reglajul este realizat de producătorii de dispozitive și, prin urmare, două telefoane care folosesc același senzor și fiind alimentate de același SoC pot scoate fotografii foarte, foarte diferite. Trebuie să sperăm că acești producători de dispozitive învață adevărul de la concurenții lor mai performanti. În timp ce Samsung și-a pierdut drumul în procesarea imaginilor anul acesta, OnePlus a fost un contrast puternic. OnePlus 8 Pro este una dintre cele mai bune camere pentru smartphone-uri de pe piață, ceea ce este o realizare notabilă având în vedere randamentul foarte slab al camerei OnePlus 5T în 2017. Mentalitatea de procesare a imaginilor trebuie să se schimbe pentru ca fotografiile să iasă clare, indiferent cât de mult se declanșează războaiele de megapixeli.
Decodare și codificare AV1
Mishaal Rahman: Deci, acesta este un pic separat de celelalte discuții pe care le avem despre calitatea camerei. Unul dintre lucrurile pe care unii oameni din comunitatea de codecuri media open source s-au întrebat este când va suporta Qualcomm Decodare AV1 și eventual codificare. Știu că unul este puțin exagerat, dar Google necesită televizoare 4K HDR și 8K pe Android 10 pentru a accepta decodarea AV1 și Netflix, YouTube, încep lansarea videoclipurilor codificate în AV1. Deci, pare o creștere lentă a videoclipurilor codificate AV1. Așa că ne întrebăm când va fi disponibil cel puțin suportul de decodare în Spectra.
Declarația Qualcomm: Conform întrebării dvs. despre AV1 - nu avem nimic de anunțat astăzi. Cu toate acestea, Snapdragon este în prezent capabil de redare AV1 prin software. Qualcomm lucrează mereu cu parteneri la codecuri de ultimă generație prin crearea de software și hardware Snapdragon lider în codecuri HDR, inclusiv captură și redare în HEIF, HLG, HDR10, HDR10+ și Dolby Viziune. Desigur, ne dăm seama că oferim clienților noștri cele mai bune experiențe CODEC, inclusiv suport de rezoluție înaltă și cea mai mică putere, că este de dorit implementarea acestora în HW.
Înregistrare video - compensarea mișcării
Mishaal Rahman: Deci nu știu dacă Idrees mai are întrebări, dar am avut o întrebare despre ceva ce am citit la Snapdragon Tech Summit. Este vorba despre nucleul video compensat de mișcare. Am auzit că există îmbunătățiri în motorul de compensare a mișcării, pentru a reduce zgomotul la înregistrarea video. Mă întrebam dacă puteți extinde exact ce anume a fost îmbunătățit și ce s-a făcut.
Judd Heape: Motorul EVA (Engine for Video Analytics) a fost îmbunătățit cu un miez mai dens al hărții de mișcare, astfel încât EVA motorul, știi, de exemplu, se uită mereu la videoclipul primit și are un nucleu acolo care face mișcare estimare. Ceea ce am făcut este că am făcut acel nucleu mult mai precis acolo unde o face aproape la un nivel per pixel, mai degrabă decât ca un fel mai nivel grosier de bloc și astfel obținem mult mai mulți vectori de mișcare din motorul EVA din Snapdragon 865 decât am făcut în precedentul generatii. Și ceea ce înseamnă este că nucleul video care face codificare poate folosi acei vectori de mișcare pentru a fi mai mult exact în ceea ce privește codificarea, dar ISP-ul de pe partea camerei folosește și aceste informații pentru zgomot reducere.
Așadar, după cum știți, de generații am avut filtrare temporală compensată de mișcare, care este de fapt reducerea activă a zgomotului în timpul video, care face medii ale cadrelor în timp pentru a scăpa de zgomot.
Problema cu acea tehnică, totuși, este dacă aveți mișcare în scenă. Mișcarea ajunge doar să fie respinsă din cauza reducerii zgomotului, deoarece nu poate fi gestionată sau este murdară și obțineți aceste urme și artefacte urâte în mișcare. Deci, filtrarea temporală compensată în mișcare, ceea ce am făcut în trecut, deoarece nu aveam această hartă densă a mișcării pentru local mișcare, avem - pur și simplu gestionăm doar cazurile când mutați camera, este destul de ușor pentru că totul se mișcă la nivel global.
Dar dacă filmezi ceva și ai un obiect care se mișcă în interiorul scenei, ceea ce am făcut înainte [a fost că] am ignorat acei pixeli pentru că nu i-am putut procesa pentru zgomot, pentru că era o mișcare locală obiect. Și, prin urmare, dacă ați făcut media cadru cu cadru, obiectul se afla într-un loc diferit pentru fiecare cadru, astfel încât să nu îl puteți procesa cu adevărat.
Dar pe Snapdragon 865, pentru că avem harta de mișcare mai densă și avem capacitatea de a privi vectorii de mișcare pe aproape un pixel pe bază de pixeli, suntem de fapt capabili să procesăm acei pixeli mutați local cadru cu cadru pentru reducerea zgomotului, în timp ce înainte nu puteam. Cred că am menționat o măsurătoare în discuție. Nu-mi amintesc numărul (a fost 40%) dar a fost un procent mare de pixeli în medie pentru majoritatea videoclipurilor care acum pot fi procesate pentru zgomot, în timp ce în generația anterioară, nu puteau fi. Și asta se datorează într-adevăr, în parte, la capacitatea de a înțelege mișcarea locală și nu doar mișcarea globală.
Înregistrare video - HDR
Idrees Patel: O altă întrebare pe care o am este despre videoclipul HDR. În acest an, văd că mulți producători de dispozitive oferă înregistrare video HDR10. Deci este ceva care a fost promovat cu Snapdragon 865 sau există de câteva generații.
Judd Heape: Da, așa că am vorbit despre asta la Tech Summit, am avut HDR10, care este standardul video pentru HDR pe camera de codificare de câteva generații acum, de la Snapdragon 845, cred, și ne-am îmbunătățit constant acea.
Deci, anul trecut, am vorbit despre HDR10+, care este înregistrarea HDR pe 10 biți, dar în loc de metadate statice are metadate dinamice, deci metadatele care sunt capturate de cameră în timpul scenei este de fapt înregistrat în timp real, astfel încât atunci când o redați, motorul de redare înțelege dacă a fost o cameră întunecată sau o cameră luminoasă și poate compensa acea.
Și anul trecut, la Tech Summit, am vorbit despre captura Dolby Vision, care este alternativa Dolby la HDR10+. Este foarte asemănător acolo unde produc și metadatele dinamice. Așadar, Snapdragon astăzi poate accepta toate aceste trei formate: HDR10, HDR10+ și captură Dolby Vision. Și astfel încât nu există nicio constrângere, producătorii noștri OEM pot alege orice metodă preferă. Avem clienți care folosesc HDR10 de ceva vreme, iar anul trecut și anul acesta din ce în ce mai mulți clienți au folosit HDR10+. Și cred că în viitor, veți vedea și o anumită adoptare a Dolby Vision Capture.
Deci da, am promovat-o foarte mult. HDR este foarte important pentru noi, atât pe partea de instantanee, cât și pe partea video. Și, așa cum am spus, ne-am dedicat formatelor HDR10 și HDR10+ și acum Dolby Vision, știți de la Snapdragon 845 și acum chiar și recent Snapdragon 865 pentru Dolby Vision.
Mishaal Rahman: De asemenea, de fapt nu eram sigur dacă vreun furnizor a implementat încă înregistrarea Dolby Vision, dar cred că asta răspunde la această întrebare. [Asta este] ceva ce vom vedea în viitor.
Judd Heape: Desigur - nu pot comenta despre ce furnizori sunt interesați și despre ce fel de lucruri. Aceasta ar fi o întrebare pentru Dolby; este caracteristica lor și, deci, dacă doriți mai multe informații despre asta, vă sugerez să contactați Dolby. Dar până în prezent, din câte știu, nu a existat niciun telefon care să fi fost încă lansat cu Dolby Vision Capture.
Idrees Patel: Pentru că aveți nevoie și de suport pentru afișaj. Am observat că ecranele smartphone-urilor acceptă HDR10 și HDR10+, dar nu și Dolby Vision.
Judd Heape: Da, de fapt, dar redarea Dolby Vision a fost acceptată pe Snapdragon în trecut. Poate funcționa cu un anumit afișaj, iar afișajul nu trebuie să îndeplinească neapărat niciun criteriu specific pentru a fi compatibil cu Dolby Vision, cu excepția faptului că Dolby va clasifica afișajul și se va asigura că are o anumită gamă de culori, gama, o anumită adâncime de biți, o anumită luminozitate și un anumit contrast raport.
Deci, știți, puteți cumpăra un afișaj HDR10, dar puteți cumpăra și un telefon care acceptă Dolby Vision redare, dar Doby va fi calificat acel afișaj pentru a se asigura că respectă strictul lor cerințe.
Colaborare cu furnizorii de software: Imint, Morpho și Arcsoft
Mishaal Rahman: Cred că o singură întrebare pe care să o urmăresc, pentru a face mai multe cercetări este o companie cu care am discutat recent este Imint. Recent și-au actualizat Software de stabilizare Vidhance la lucrează cu Spectra 480. Știu că lucrați cu o mulțime de companii care profită și de Spectra 480, de procesare. Mă întreb dacă sunteți în măsură să dezvălui mai multe exemple de aceste tehnologii care au - sau partenerii pe care i-ați cu care am lucrat, doar ca să fie] ceva la care am putea urmări, aflați mai multe despre modul în care Spectra 480 este utilizat în camp.
Judd Heape: Lucrăm cu o mulțime de furnizori de software. La fel ca ceea ce am menționat în trecut, Dolby este unul dintre ei. Mai sunt și altele precum ați menționat, Imint/Vidhance for EIS (Electronic Image Stabilization). Am menționat și Morpho și Arcsoft înainte, lucrăm și cu ei foarte îndeaproape.
Totuși, în ceea ce privește modul în care lucrăm cu ei, politica noastră este că vrem cu adevărat să lucrăm îndeaproape cu acești furnizori independenți de software și să facem sigur că orice ar face în software, că sunt capabili să folosească hardware-ul din Snapdragon pentru a obține cel mai mic consum de energie posibil.
Deci, unul dintre lucrurile pe care le facem cu acești furnizori este că ne asigurăm că au acces foarte bun la motorul HVX sau la nucleul Hexagon DSP. De asemenea, folosesc motorul EVA pentru a obține vectori de mișcare și pentru a folosi hardware-ul și în motorul EVA pentru manipularea imaginii, astfel încât pot efectua mișcarea imaginii, traducerea și deformarea și astfel de lucruri într-un hardware, mai degrabă decât să folosească GPU-ul pentru a face acea.
Și așa, lucrăm îndeaproape cu acești ISV, în special cu cei pe care i-am menționat în special, pentru a ne asigura că nu pun doar totul și software în CPU, dar folosesc lucruri precum DSP și acceleratoare hardware în EVA pentru a obține performanțe mai bune și putere mai mică consum. Deci, acest lucru este foarte important și pentru noi, deoarece oferă clienților noștri cel mai bun amestec posibil de funcții și consum de energie.
[Comentarii de închidere de la Judd]: Am vrut doar să spun, vă mulțumesc pentru toate întrebările foarte bune. Sunt foarte, foarte detaliate. Sunt la Qualcomm de vreo trei ani și mă uit la trecutul nostru, chiar și dincolo de mandatul meu aici, unde am început pe Spectra înainte. Snapdragon 845, am muncit foarte mult pentru a îmbunătăți dramatic ISP-ul și camera și doar experiența generală din ultimii câteva ani. Sunt foarte încântat de ceea ce ne aduce viitorul. Și sunt încântat de ceea ce vom anunța la viitoarele Tech Summits despre care puteți întreba și scrie. [Spectra Camera], probabil, în opinia mea, este una dintre cele mai interesante tehnologii de la Qualcomm.
Gânduri finale
A fost grozav să am o discuție cu Judd despre contribuțiile Qualcomm la fotografia smartphone-urilor. Putem avea sentimente contradictorii despre companie și despre sistemul lor de licențiere a brevetelor, dar amprenta Qualcomm în industria smartphone-urilor este simțită de toată lumea, indiferent dacă vorbiți despre brevete, 4G și 5G, Wi-Fi, GPU-urile Adreno, ISP-urile Spectra și cipurile Snapdragon în sine, care sunt considerate în mare măsură standardul de aur în smartphone-ul Android piaţă.
Există încă multe puncte dureroase care trebuie rezolvate în fotografia cu smartphone-uri, dar viitorul este strălucitor, așa cum promite Qualcomm, pentru a face mai multe progrese în domeniile vaste și în creștere ale ML, care AI. Să vedem ce are de anunțat Qualcomm în acest domeniu la următorul Snapdragon Tech Summit.