Qualcomms Judd Heape forklarer, hvordan Qualcomm forbedrer kameraoplevelserne på Android-telefoner med nye funktioner i deres Spectra-udbydere.
Som producent af system-on-chips (SoC'er), der driver en stor del af verdens smartphones og wearables, er det amerikanske Qualcomm uden tvivl en af giganterne i chipproducentindustrien. Snapdragon-serien af SoC'er bruges for eksempel af næsten alle større Android-enhedsproducenter til flagskibs-, mellemklasse- og budgetsmartphones. Qualcomm får ros hvert år på virksomhedens årlige Tech Summit for fremskridt inden for CPU-, GPU- og AI-felterne, da det inkorporerer ARMs nye CPU-mikroarkitekturer og supplerer dem med årlige forbedringer i dets brugerdefinerede GPU'er. Dens fremskridt inden for kameraer bliver dog ikke bemærket så meget, da de har tendens til at gå under radar.
Dette betyder dog ikke, at Qualcomms arbejde med smartphone-kameraer er ligegyldigt. Tværtimod hjælper Qualcomms Spectra ISP'er i deres Snapdragon SoC'er med at gøre meget af moderne smartphone-kameraer mulige med øget databehandlingskraft, funktioner såsom 8K-videooptagelse, HDR10-video, understøttelse af højmegapixel QCFA-kameraer og meget, meget mere. Qualcomm har promoveret, at Spectra 380 ISP'en i Snapdragon 855
var verdens første CV-ISP, og det har promoveret verdens første 4K HDR-videooptagelsesfunktioner, som nu selv er suppleret med 2. generations 4K HDR10+ videooptagelse. Spectra 480 ISP i den seneste generation Snapdragon 865 er yderst dygtig - den kan behandle to gigapixel i sekundet, en stigning på 40 % i forhold til forgængeren. Det er en intellektuel ejendom (IP), der adskiller Qualcomm fra sine konkurrenter inden for mobilchipleverandører.Mens Qualcomm forklarer de fleste overskrifter i sine pressemeddelelser og produkt-keynotes, op Indtil nu har forbrugerne ikke haft en chance for at kende de fleste af de detaljer på lavt niveau, der gør disse ting arbejde.
Derfor var vi hos XDA Developers glade for at acceptere et tilbud om at tale med Judd Heape, Senior Director, Product Management hos Qualcomm. XDAs chefredaktør, Mishaal Rahman, og jeg havde et interview med Judd i juni 2020 for at lære og se, hvordan Qualcomm skubber målposterne med smartphonefotografering og videooptagelse. Vi talte om emner, herunder AI-billedbehandling, multi-frame noise reduction (MFNR), AV1, Dolby Vision videooptagelse, pixel binning i højmegapixel kameraer og meget mere. Lad os tage et kig på Judds indsigt i hvert emne en for en:
AI billedbehandling arbejdsbelastninger
Mishaal Rahman: Jeg starter med en af dem, Idrees havde, som er interessant, og som jeg også var interesseret i. Så vi spekulerer på, hvad er de AI-billedbehandlingsarbejdsbelastninger, som Qualcomm bruger i Spectra ISP'en, og i hvilken grad kan de tilpasses af enhedsproducenter?
Judd Heape: Ja, så vi ser på mange AI-arbejdsbelastninger, og der er nogle AI, der kan køre i selve internetudbyderen som for eksempel vores næste generation 3A: autoeksponering, auto hvidbalance og autofokus er AI baseret.
Men vi ser også på et par andre AI-arbejdsbelastninger, som ville køre uden for internetudbyderen, i et af de andre computerelementer. Så vi ser især på ting som: Vi har en AI-baseret støjreduktionskerne, som kører eksternt fra ISP'en, i AI-motordelen (AIE) af chippen.
Vi har også ting som ansigtsgenkendelse, som er en fuld deep learning-motor, der også kører i AIE-komplekset, men som selvfølgelig hjælper kameraet. Og der er andre ting, vi arbejder på end ansigtsgenkendelse og fornærmelse; vi ser også på at gøre ting som en automatisk justering af snapshots ved hjælp af AI, der automatisk indstilles parametre pr. scene baseret på HDR-indhold, vil vi behandle for at ændre skygge og højlys og farve og den slags ting.
En af vores partnere, Morpho, har netop vundet en kæmpe AI-arbejdsbelastningspris på Embedded Vision Summit i år. Uafhængige softwareleverandørpartnere har også en masse virkelig intense AI-baserede algoritmer, og de kan variere fra alt som glat kamera overgang, som hvad Arcsoft gør, (det nævnte jeg ved det sidste Snapdragon Tech Summit, som er AI-baseret), til Morphos semantiske segmentering motor. Morphos løsning er en kunstig intelligens-motor, der forstår forskellige dele af scenen, som hvad ved du, stof versus hud versus himmel og græs og bygning og den slags ting, og så kan internetudbyderen tage den information og behandle disse pixels forskelligt for tekstur og støj og farve for eksempel.
Qualcomms udtalelse: For ML & AI annoncerer vi heller ikke i dag nogen nye opdateringer til funktionerne i ansigtsgenkendelse og "3A" (AE, AF og AWB). Men som Judd sagde, er vi forpligtet til fremover at bringe mere ML/AI-kapacitet til kameraet, inklusive disse to funktionsområder.
Analyse og kontekst: AI i smartphones er stort set blevet anset for at være et buzzword lige siden de første neurale processorenheder (NPU'er) og "AI-baserede" funktioner begyndte at ankomme til Android-telefoner. Det betyder dog ikke, at AI i sig selv er meningsløst. Tværtimod har AI et stort potentiale inden for mobil, til det punkt, hvor både chipleverandører og enhedsproducenter kun ridser overfladen så langt af, hvad der er muligt.
Takket være kunstig intelligens er smartphone-kameraer blevet bedre - nogle gange hurtigt, nogle gange pinefuldt langsomt, men de er ved at nå dertil. Smartphone-kameraer overvinder grundlæggende begrænsninger, såsom relativt mindre sensorer, fast brændvidder og dårligere optik med smart computerfotografering, der er drevet af maskinlæring (ML). Autoeksponering, støjreduktion, ansigtsgenkendelse og segmentering er kun nogle af de områder, hvor AI i smartphonefotografering har været i stand til at gøre en indvirkning. I de næste fem år vil disse spirende felter af kunstig intelligens, der forbedrer forskellige aspekter af fotografering, modnes meget.
Multi-frame støjreduktion
Idrees Patel: Qualcomm har nævnt multi-frame støjreduktion som en funktion. Jeg vil gerne vide flere detaljer om det som i, hvordan billedstablingen fungerer. Ligner det på nogen måde til at kunne lide, hvad Google laver med deres HDR+ teknologi, eller er det helt anderledes?
Judd Heape: Det er ens, men anderledes. Forestil dig, at kameraet laver en serie og optager fem til syv billeder i hurtig rækkefølge. Så tager ISP-motoren et kig på disse rammer og vælger den bedste (kaldet "ankerrammen") til fokus og klarhed, og så kan den vælge 3-4 billeder på hver side af den ramme og derefter gennemsnittet dem alle sammen. Den forsøger at vælge rammer, der er tæt nok sammen, så der er meget lidt bevægelse.
Og når det sætter sig på disse billeder, danner det gennemsnittet af dem sammen for at skelne, hvad der er anderledes, for eksempel hvad der er faktiske billeddata versus hvad der er støjdata. Så når du har mere og mere information, fra flere og flere rammer, kan du faktisk gøre simple ting som at se på forskellene mellem rammerne. Forskellene er sandsynligvis støj, hvorimod det, der er ens i rammerne, sandsynligvis er billeddata.
Så vi kan lave den realtidsrammekombination for at reducere støj. Nu kan du også gøre det samme med svagt lys og HDR, og det ligner meget, hvad Google sandsynligvis gør. Vi er ikke fortrolige med deres algoritme. Men de bruger multi-frame-teknikker til at øge følsomheden, så du bedre kan "se"; når du har reduceret støjbunden, kan du nu se på at lave mere lokal tonemapping eller tilføje forstærkning til billedet uden at tilføje mere støj.
Så det er sådan, de håndterer svagt lys, såvel som HDR. Forbedringer til multi-frame støjreduktionsfunktionen vil komme fra Qualcomm, som også vil omfatte svagt lys og HDR. Men det er noget, vi vil udrulle inden længe.
Mishaal Rahman: Så du nævnte udrulning af denne funktion om kort tid. Kommer det som en opdatering til BSP for partnere?
Judd Heape: I vores næste generations produkter vil vi gennem en softwaretilsætning have mulighed for at engagere os i - faktisk sker det lige nu på den næste generationsprodukter - vi er i dialog med kunder lige nu for at lave flere multi-frame-teknikker ud over støjreduktion, men også for at håndtere HDR og svagt lys situationer. Den bruger den samme base ISP HW-motor, men vi tilføjer mere software til at håndtere disse multi-frames for mere end blot støjreduktion.
Så det er ikke noget, der er blevet rullet ud, men vi er i dialog med nogle hovedkunder om disse funktioner.
Analyse og kontekst: Med hver ny Snapdragon SoC-meddelelse inkluderer Qualcomms specifikationstabel specifikationer relateret til multi-frame støjreduktion. Snapdragon 865, for eksempel med dens dobbelte 14-bit CV-ISP'er understøtter op til et hypotetisk 200 MP enkelt kamera (selvom kamerasensorleverandører som Sony, Samsung og OmniVision endnu ikke har frigivet nogen smartphone-kamerasensor over 108MP). Men når det kommer til enkeltkamera-understøttelse med MFNR, nul lukkerforsinkelse (ZSL) og 30 fps-understøttelse, specifikationen ændres til 64MP, og for dobbeltkameraer med samme specifikationer ændres specifikationen til 25 MP.
Qualcomms multi-frame støjreduktion ligner meget HDR+, men ikke helt den samme, som forklaret af Judd ovenfor. Mens HDR+ tager en række undereksponerede eksponeringer og gennemsnittet dem for at få det bedste billede, tager MFNR fem-syv normale billeder. Det ser ikke ud til, at Qualcomms MFNR er så avanceret som Googles løsning, fordi HDR og svagt lys ikke er nævnt som specifikke prioriteter i den nuværende workflow for Spectra, mens Googles HDR+ er rettet mod HDR, fotografering i svagt lys og støjreduktion på samme tid, hvor Night Sight tager det et nøk. yderligere. Det er dog opmuntrende at erfare, at MFNR modtager forbedringer, og Qualcomm vil udrulle disse forbedringer til "nogle nøglekunder". I fremtiden vil vi måske ikke have brug for uofficielle Google Camera-porte for at opnå det fulde potentiale af ikke-Google Android-smartphone-kameraer.
Super opløsning til video
Mishaal Rahman: Altså noget, jeg hørte på Tech Summit. Det tror jeg faktisk det var i et interview med Android Authority. Er, at Qualcomm planlægger at udvide superopløsningen til video som en softwareløsning for partnere, og at dette tilsyneladende ville blive udrullet i en opdatering. Jeg spekulerer på, om du har nogen opdateringer at dele om denne funktion.
Judd Heape: Ja, så det er en funktion, som vi har haft mulighed for at gøre i et stykke tid, og den er netop nu ved at blive rullet ud. Jeg vil ikke sige, at det er i en softwareopdatering, men jeg vil sige, at det er lidt ligesom en ekstra fordel ved den eksisterende multi-frame-funktion i svagt lys. Vi er i dialog med nogle specifikke lead-kunder om den funktion. Så ja, video super opløsning er noget i en anden generation eller så vil vi have det som det vi kalder en registreringsplan-funktion, hvor den faktisk er indbygget i softwarekodebasen for [den] kamera. Men lige nu er det mere på niveau med specifikke kundeengagementer for den nye funktion.
Analyse og kontekst: Super opløsning til video er en funktion, der indtil nu ikke har vist sig i smartphone-kameraer. Det er så nyt et felt der skrives stadig forskningsartikler om det. At bruge multi-frame-teknikker til fotografering er én ting, men at bruge dem til video for at opskalere videoen til en højere opløsning er en helt anden sag. Qualcomm siger, at det ruller funktionen ud til "nogle nøglekunder" igen, men lige nu er den ikke indbygget i softwarekodebasen til kameraet. I fremtiden kan det være tilgængeligt for alle, men indtil videre er det en funktion, som slutforbrugerne ikke engang har fået brugt endnu.
Quad Bayer-sensorer med høj megapixel
Idrees Patel: Lad os tale om Quad Bayer-sensorer. Siden 2019 har mange telefoner nu 48MP, 64MP og nu endda 108MP sensorer. Disse er Quad Bayer-sensorer; du har faktisk ikke ægte farveopløsning på 48 eller 64 eller 108MP. En ting, jeg ville spørge, var, hvordan adskiller internetudbyderen sig med hensyn til billedbehandling for disse Quad Bayer eller Nona Bayer-sensorer (4-i-1 eller 9-i-1 pixel binning), sammenlignet med traditionelle sensorer, som ikke har nogen pixel binning.
Judd Heape: Ja, så selvfølgelig er fordelen ved disse quad CFA (Quad Color Filter Array) sensorer evnen til at køre i stærkt lys dem i fuld opløsning, og så kan internetudbyderen behandle dem med hele 108 megapixel eller 64 megapixel eller hvad der nu er ledig.
Men typisk i de fleste lyssituationer, som indendørs eller mørke, er du nødt til at skralde, fordi sensorpixlerne er så små, at du skal kombinere pixels for at få den bedre lysfølsomhed. Så jeg vil sige, at det meste af tiden, især hvis du optager video, eller hvis du er i svagt lys til snapshot, kører du i indbygget tilstand.
Nu kan internetudbyderen behandle sensoren på begge måder. Du kan se på sensoren i indbygget tilstand, i hvilket tilfælde det bare er et almindeligt Bayer-billede, der kommer ind, eller den kan se på det i fuld opløsningstilstand, hvor de indkommende data er quad CFA. Og hvis det er i den tilstand, konverterer internetudbyderen det til Bayer.
Så vi laver - det vi kalder - "remosaicing". Dette gør en vis interpolation af quad CFA-billedet for at få det til at ligne Bayer i fuld opløsning igen. Og det gøres typisk i software til snapshot, selvom vi i sidste ende vil tilføje denne mulighed i hardwaren for også at understøtte video.
Det, der er i ISP-hardwaren i dag, er binning. Så du kan bin i sensoren, og du kan faktisk få sensoren til at bestemme, om den skal udsende fuld eller kvart eller 1/9. opløsning, eller du kan bin i ISP'en. Og det er faktisk en funktion, som vi tilføjede i Snapdragon 865. Så hvis du indsætter internetudbyderen og derefter kører sensoren i fuld opløsning, giver det internetudbyderen mulighed for at have både billedet i fuld opløsning og det indbyggede billede på samme tid. Derfor kan den bruge det mindre opløsning eller "indbyggede" billede til video (videokamera) og preview (søger) og samtidig bruge fuld opløsning billede til fuld størrelse snapshot.
Men igen, det ville være i tilfælde af lyse lysforhold. Men i det mindste hvis du bin i ISP'en, har du mulighed for at håndtere både det store og lille billede på samme tid, og derfor kan du få samtidig video og snapshot, du kan også få fuld opløsning ZSL; alt sammen uden at skulle skifte sensoren frem og tilbage, hvilket tager en del tid.
Dette er en rigtig god funktion. Og som Quad CFA-sensorer og endda du ved, kommer 9x-sensorerne og måske endnu flere frem, og efterhånden som disse sensorer bliver flere allestedsnærværende - vi leder mere og mere efter at håndtere disse sensorer i hardwaren, ikke kun til binning, men også til remosaicering.
Og så fordelen ved det er, at hvis du gør det i hardwaren i forhold til at gøre det i software, reducerer du ventetid for dine kunder, og derfor vil dine skud-til-skud-tider og dine burst-hastigheder være meget hurtigere. Så efterhånden som vi marcherer fremad med nye internetudbydere og nye chips, vil du begynde at se meget mere af, hvad vi gør for disse nye typer sensorer sat ind i hardware.
Analyse og kontekst: Huawei var den første til at bruge en 40MP Quad Bayer-sensor med Huawei P20 Pro i 2018, og populariteten af Quad Bayer-sensorer var så høj, at den nu har fundet vej til selv $150-telefoner drevet af Snapdragon/Exynos/MediaTek-chips. Især har vi set smartphone-industrien nå frem til 48MP og 64MP kameraer som sweet spot, mens nogle få telefoner går så højt som 108MP. Quad Bayer og Nona Bayer sensorer kommer ikke uden negativer, da deres fulde opløsning kommer med forbehold.
Men af markedsføringsmæssige årsager lyder en 48MP-sensor meget bedre end en 12MP-sensor, selvom brugeren alligevel tager 12MP-pixel-indbyggede billeder det meste af tiden. En 48 MP-sensor skulle teoretisk resultere i bedre 12 MP-pixel-indbyggede billeder i svagt lys end en traditionel 12 MP sensor, men billedbehandlingen skal følge med, og som jeg nævner nedenfor, er der lang vej til det ske. Uanset hvad var det interessant at se, hvordan Spectra ISP'en håndterer Quad Bayer-sensorer med remosaicing. Der er et stort potentiale i disse sensorer, og telefoner som OnePlus 8 Pro (der bruger en Sony IMX689 Quad Bayer-sensor med store pixels) er i øjeblikket på toppen af smartphone-kameraer.
ML-baseret ansigtsgenkendelse
Mishaal Rahman: Så jeg tror, du tidligere havde nævnt, at ML-baseret ansigtsgenkendelse er understøttet i Spectra 480. Det er noget, jeg faktisk hørte på Tech Summit. [At dette er] en af forbedringerne fra 380 til 480; at det er en del af - der er en ny objektiv detektionsblok i videoanalysemotoren, som bliver brugt til rumlig genkendelse fremover.
Kan du fortælle mere om, hvor meget dette forbedrer ansigtsgenkendelse, og hvilke potentielle applikationer ser du, at det bliver brugt af leverandører?
Judd Heape: Ja faktisk, så du har ret i den indlejrede computervisionsblok, som er "EVA"-blokken, som vi talte om på Tech Summit. Det har en generel objektgenkendelseskerne, som vi bruger, når kameraet kører, vi bruger det til at registrere ansigter. Teknikkerne i den blok er mere traditionelle teknikker, så genkendelsen af objekter udføres med traditionelle klassifikatorer, men oven i købet har vi en softwaremotor kørende for rent faktisk at forbedre nøjagtigheden af det blok.
Så vi bruger ML-baseret software til at filtrere de falske positiver fra, da hardwaren måske opdager flere ting som ansigter i scenen, og så er ML-softwaren siger "okay, det er et ansigt", eller "det er virkelig ikke et ansigt", og så det øger nøjagtigheden med et par procentpoint ved at køre det ML-filter oven på hardware.
Jeg nævnte mange ting om fremtiden. Fremover i fremtiden, hvad vi planlægger også at gøre, er at køre selve hele ansigtsdetektionen i ML eller i deep learning mode i software. Især vil det være sandt på de lavere niveauer, så for eksempel i et niveau, hvor vi ikke har EVA-hardwaremotoren, vil vi begynde at indfase deep learning som detektion, som kører i chippens AI-motor og senere, i de øverste niveauer i 700-800-lagene, har vi EVA-hardwaren til at gøre dette...
Jeg vil dog sige generelt, at vi vil bevæge os mere i retning af ML-tilgange til ansigtsgenkendelse, og det vil omfatte både software på mellemlang sigt og hardware på senere sigt. Jeg har ikke tænkt mig at afsløre, hvilke produkter der vil have det, men efterhånden som vi marcherer fremad med at forbedre internetudbyderen, vil vi naturligvis tilføje mere og mere hardware-kapacitet til at udføre ML.
Mishaal Rahman: Fantastisk. Nå, jeg synes, det er givet, at den retning, du går, bringer 800-seriens maskinlæringsforbedringer ned til det lavere niveau, så jeg tror, at det generelt er givet. Men selvfølgelig kan du ikke give os nogen detaljer om det. Tak for opdateringen.
Judd Heape: Ansigtsgenkendelse er noget, vi brænder meget for. Vi ønsker at forbedre disse nøjagtigheder, du kender generation over generation i alle niveauer hele vejen fra 800 tier ned til 400 tier. ML er en stor del af det.
Analyse og kontekst: Disse aspekter er det, der giver smartphonefotografering så meget mere potentiale i forhold til selv de nyeste spejlløse kameraer. Ja, de spejlløse kameraer har bedre billedkvalitet i svagt lys og er meget mere fleksible, men smartphone-kameraer overvinder deres begrænsninger på geniale måder. ML-baseret ansigtsgenkendelse er kun en del af det.
Forbedringer i billedbehandlingsmotoren
Mishaal Rahman: Fantastisk. Så en af de ting, som jeg kort hørte under rundbordsdiskussionerne efter Snapdragon Tech Summit, var en forbedring af billedbehandlingsmotoren. Jeg hørte, at der er blevet forbedret lav mellemfrekvens støjreduktion eller LEANR. Og at du anvender et dynamisk omvendt forstærkningskort; er det noget du nævnte tidligere i samtalen.
Judd Heape: Åh okay. Så jeg tror, du blander to ting sammen. Ja, så der er LEANR-kernen, som er den kerne, der virker på støjreduktion på mere grove korn, hvilket hjælper i svagt lys. Det er en ny blok, som blev tilføjet i Snapdragon 865 til internetudbyderen, og det er én ting.
Det omvendte forstærkningskort er noget andet. Det er noget andet, jeg nævnte ved de runde borde, men det er at vende effekten af linseskygge. Så som du ved, hvis du har et håndsæt, og det har en lille linse; midten af objektivet vil være lyst, og kanterne vil være mere vignetterede; hvilket betyder, at de bliver mørkere.
Og så i de forløbne år hos internetudbyderen, har vi haft, at vi har anvendt et statisk omvendt forstærkningskort for at slippe af med de mørke kanter. Og det har altså været i internetudbyderen i et stykke tid. Hvad vi dog tilføjede i Snapdragon 865, er muligheden for, at forstærkningskortet kan ændre sig dynamisk givet den bestemte billedramme, fordi hvis du anvender en masse gevinster på kanterne hvad der sker er, at kanterne kan blive klippet, især hvis du ser på skarpe lysscener udenfor, som blå himmel kan blive hvide, eller kanterne klippes på grund af mange gevinst.
Så i Snapdragon 865 er det omvendte forstærkningskort ikke statisk; det er dynamisk. Så vi ser på billedet, og vi siger, "okay, disse dele af billedet bliver klippet, og det burde de ikke være", så vi kan rulle væk fra gain-kortet naturligt, så du ikke får lyse frynser eller halo-effekter eller den slags ved at korrigere objektivet skygge. Så det er forskelligt fra støjreduktion, og de er to forskellige kerner.
Fotografering i svagt lys og aggressiv støjreduktion
Idrees Patel: Så en ting, jeg ville spørge om, var fotografering i svagt lys. Ligesom i de sidste par år har der været mange [OEM-implementerede] nattilstande, men en ting jeg har lagt mærke til er, at mange enhedsproducenter går efter aggressiv støjreduktion, som reducerer detaljer, til det punkt, hvor selv luminansstøj er fjernet.
Så mit spørgsmål er, at Qualcomm råder enhver enhedsproducent til ikke at gøre det, og er det noget, som deres behandlingspipelines gør, eller er det noget, der er påvirket af internetudbyderen i SoC.
Judd Heape: Meget af det har at gøre med tuning, og hvis du ikke har multi-frame, eller jeg vil sige, er en meget god billedsensor ikke tilgængelig, med en høj følsomhed eller optik med lave f-tal. En måde at slippe af med støj i særligt svagt lys er at anvende mere støjreduktion, men det, der sker, når du anvender mere støjreduktion, er, at du mister detaljer, så skarpe kanter bliver slørede. Nu kan du slippe af med det, hvis du anvender disse multi-frame-teknikker. Eller hvis du anvender AI-teknikker, som på en måde kan finde ud af, hvor kanterne af objekter og ansigter er, og den slags. Så at anvende bare brute force støjreduktion i denne dag og alder er ikke rigtig måden at håndtere det på, fordi du ender med at miste detaljer.
Det, du vil gøre, er at lave multi-frame-teknikker eller AI-teknikker, så du stadig kan anvende støj reduktion til mere som indvendige områder af objekter, mens du holder pæne rene kanter eller holder skarpe kanter på genstande. Så det er, hvad jeg vil sige: Brug af enten AI eller multi-frame er måden at reducere støj på og forbedre billeder i svagt lys fremadrettet.
Idrees Patel: Ja, og det var præcis, hvad jeg ville høre. [Det er] fordi det er det vigtigste, der adskiller fantastiske smartphone-kameraer fra mellem- eller budgetkameraer.
Judd Heape: Ja.
Idrees Patel: Fantastiske smartphone-kameraer ved, hvornår de skal anvende støjreduktion, og hvornår de ikke skal.
Judd Heape: Nemlig. Ja, og som jeg sagde, er kamerajusteringen virkelig udført af vores kunder eller OEM'er, og nogle OEM'er foretrækker et blødere billede med mindre støj. Nogle foretrækker at afsløre flere detaljer med måske en lille smule mere støj.
Og så er det en afvejning, og så har du begrænsninger. Og det er, som jeg sagde, den bedste ting at gøre, er at få en bedre billedsensor med højere følsomhed, større pixels eller lavere f-tal optik, for så får du mere lys ind fra starten, det er det altid bedre. Men hvis du ikke kan gøre det, så i stedet for bare at skrue op for støjreduktionen og miste detaljer, er det, du vil gøre, at bruge multi-frame- eller AI-teknikker.
Analyse og kontekst: Dette er efter min mening i øjeblikket det største problem med smartphone-kameraer. Ja, du kan bruge en 48MP eller 64MP eller endda en 108MP sensor. Men hvis du ikke vælger at bruge begrænset støjreduktion med MFNR- eller AI-teknikker, er alle disse megapixel, 4-i-1 binning og endda 9-i-1 binning ikke til megen nytte. Galaxy S20 Ultra er det bedste eksempel her, som dets 108 MP primære kamera blev stort set anset for at være en skuffelse. Samsung gik baglæns i billedbehandling ved at bruge ekstremt aggressiv støjreduktion i sine nattilstande i sine 2020-flagskibe, mens 2019 Galaxy S10-serien ironisk nok havde bedre billedkvalitet.
Judd afslører, at nogle OEM'er faktisk foretrækker et blødere billede med mindre støj, hvilket grundlæggende er det forkerte valg at træffe. Tuning foretages af enhedsproducenter, og derfor kan to telefoner, der bruger den samme sensor og drives af den samme SoC, udsende meget, meget forskellige billeder. Det må håbes, at disse enhedsproducenter lærer sandheden fra deres bedre præsterende konkurrenter. Mens Samsung tabte vej i billedbehandling i år, har OnePlus været en skarp kontrast. OnePlus 8 Pro er et af de bedste smartphone-kameraer på markedet, hvilket er en bemærkelsesværdig præstation i betragtning af det meget dårlige output fra OnePlus 5T's kamera i 2017. Billedbehandlingstankegangen skal ændres, for at billederne kommer skarpt frem, uanset hvor meget megapixel-krigene raser på.
AV1-afkodning og -kodning
Mishaal Rahman: Så det her er lidt adskilt fra de andre diskussioner, vi har om kamerakvalitet. En af de ting, som nogle mennesker i open source-medie-codec-fællesskabet har undret sig over, er, hvornår Qualcomm vil støtte AV1 afkodning og muligvis kodning. Jeg ved, at den ene er lidt af en strækning, men Google kræver 4K HDR og 8K TV'er på Android 10 for at understøtte AV1-afkodning og Netflix, Youtube, de starter udrulningen af videoer kodet i AV1. Så det ligner en langsom stigning af AV1-kodede videoer. Så vi spekulerer på, hvornår i det mindste afkodningsunderstøttelsen vil være tilgængelig i Spectra.
Qualcomms udtalelse: Per dit spørgsmål om AV1 - vi har intet at annoncere i dag. Snapdragon er dog i øjeblikket i stand til AV1-afspilning via software. Qualcomm arbejder altid med partnere om næste generations codecs via software- og hardwarefremstilling Snapdragon førende inden for HDR-codecs inklusive optagelse og afspilning i HEIF, HLG, HDR10, HDR10+ og Dolby Vision. Selvfølgelig er vi klar over, at for at bringe de bedste CODEC-oplevelser til vores kunder, herunder understøttelse af høj opløsning og laveste effekt, er det ønskeligt at implementere disse i HW.
Videooptagelse - bevægelseskompensation
Mishaal Rahman: Så jeg ved ikke, om Idrees har flere spørgsmål, men jeg havde et spørgsmål om noget, som jeg læste tilbage på Snapdragon Tech Summit. Det handler om den bevægelseskompenserede videokerne. Jeg hørte, at der er lignende forbedringer i bevægelseskompensationsmotoren for at reducere støjen ved videooptagelse. Jeg tænkte på, om du kan uddybe, hvad det præcist er blevet forbedret, og hvad der er blevet gjort.
Judd Heape: EVA-motoren (Engine for Video Analytics) er blevet forbedret med en mere tæt bevægelseskortkerne, så EVA motor, du ved, for eksempel kigger altid på den indkommende video, og den har en kerne derinde, der laver bevægelse skøn. Det, vi har gjort, er, at vi har gjort den kerne meget mere nøjagtig, hvor den gør det på næsten et niveau pr. pixel i stedet for lidt mere groft blokniveau, og så vi får mange flere bevægelsesvektorer ud af EVA-motoren i Snapdragon 865, end vi gjorde i tidligere generationer. Og hvad det betyder er, at videokernen, der laver kodning, kan bruge disse bevægelsesvektorer til at være mere præcis om indkodningen, men internetudbyderen på kamerasiden bruger også den information til støj reduktion.
Så som du ved, har vi i generationer haft bevægelseskompenseret tidsfiltrering, som i virkeligheden er den aktive støjreduktion under video, som gennemsnitsbilleder over tid for at slippe af med støj.
Problemet med den teknik er dog, hvis du har bevægelse i scenen. Bevægelse ender med bare at blive afvist fra støjreduktion, fordi den ikke kan håndteres, eller den bliver udtværet, og du får disse grimme spor og artefakter på bevægelige ting. Så i bevægelseskompenseret tidsfiltrering, hvad vi har gjort tidligere, da vi ikke havde dette tætte bevægelseskort til lokale bevægelse, vi har - simpelthen kun håndteret sager, når du flytter kameraet, det er ret nemt, fordi alting bevæger sig globalt.
Men hvis du skyder noget, og du har en genstand, der bevæger sig INDEN FOR scenen, hvad vi gjorde før [var det] vi ignorerede bare disse pixels, fordi vi ikke kunne behandle dem for støj, fordi det var en lokal bevægelse objekt. Og derfor, hvis du beregnede et gennemsnit af billede-for-billede, var objektet et andet sted for hvert billede, så du ikke rigtig kunne behandle det.
Men på Snapdragon 865, fordi vi har det mere tætte bevægelseskort, og vi har evnen til at se på bevægelsesvektorerne på næsten en pixel på pixelbasis er vi faktisk i stand til at behandle de lokalt flyttede pixel billede for billede til støjreduktion, mens vi før ikke kunne. Jeg tror, jeg nævnte et mål i talen. Jeg husker ikke nummeret (det var 40%) men det var en stor procentdel af pixels i gennemsnit for de fleste videoer, der nu kan behandles for støj, hvorimod de ikke kunne være det i den forrige generation. Og det er virkelig til dels at have evnen til at forstå lokal bevægelse og ikke kun global bevægelse.
Videooptagelse - HDR
Idrees Patel: Et andet spørgsmål, jeg har, handler om HDR-video. I år ser jeg mange flere enhedsproducenter tilbyde HDR10-videooptagelse. Så er det noget, der blev promoveret med Snapdragon 865, eller har det været der siden et par generationer.
Judd Heape: Åh ja, så da vi talte om det på Tech Summit, har vi haft HDR10, som er videostandarden for HDR på kameraets kodeside i et par generationer nu, siden Snapdragon 845, tror jeg, og vi har konstant forbedret at.
Så sidste år talte vi om HDR10+, som er 10-bit HDR-optagelse, men i stedet for med statiske metadata har den dynamiske metadata, så de metadata, der fanges af kameraet under scenen optages faktisk i realtid, så når du afspiller den, forstår afspilningsmotoren, om det var et mørkt rum eller et lyst rum, og den kan kompensere for at.
Vi talte også sidste år på Tech Summit om Dolby Vision capture, som er Dolbys alternativ til HDR10+. Det er meget ens, hvor de faktisk også producerer de dynamiske metadata. Så Snapdragon i dag kan understøtte alle tre af disse formater: HDR10, HDR10+ og Dolby Vision-optagelse. Og så der er virkelig ingen begrænsninger, vores OEM'er kan vælge hvilken metode de foretrækker. Vi har haft kunder, der bruger HDR10 i et stykke tid nu, og sidste år og i år har flere og flere kunder hentet HDR10+. Og jeg tror, at du i fremtiden også vil se en vis adoption af Dolby Vision Capture.
Så ja, vi har promoveret det kraftigt. HDR er virkelig vigtigt for os, både på snapshot-siden og på videosiden. Og som jeg sagde, vi har været forpligtet til HDR10 og HDR10+ og nu Dolby Vision-formaterne, du ved siden Snapdragon 845 og nu endda for nylig Snapdragon 865 til Dolby Vision.
Mishaal Rahman: Desuden var jeg faktisk ikke sikker på, om nogen leverandører implementerede Dolby Vision-optagelse endnu, men jeg gætter på, at det besvarer det spørgsmål. [Det er] noget, vi vil se i fremtiden.
Judd Heape: Selvfølgelig - jeg kan ikke udtale mig om, hvilke leverandører der er interesserede og sådan noget. Det ville være et spørgsmål til Dolby; det er deres funktion, og så hvis du ville have mere information om det, vil jeg foreslå, at du kontakter Dolby. Men til dato, så vidt jeg ved, har der ikke været noget håndsæt, der endnu er udkommet med Dolby Vision Capture.
Idrees Patel: Fordi du også har brug for skærmsupport. Jeg har bemærket, at smartphone-skærme understøtter HDR10 og HDR10+, men ikke Dolby Vision.
Judd Heape: Ja faktisk, men Dolby Vision-afspilning er tidligere blevet understøttet på Snapdragon. Det kan fungere med en given skærm, og skærmen behøver ikke nødvendigvis at opfylde nogle specifikke kriterier for at være Dolby Vision-kompatibel, bortset fra at Dolby vil klassificere skærmen og sørge for, at den har en bestemt farveskala, gamma, en vis bitdybde, en vis lysstyrke og en vis kontrast forhold.
Så du ved, du kan købe en HDR10-skærm, men du kan også købe et håndsæt, der understøtter Dolby Vision afspilning, men Doby vil have kvalificeret den skærm for at sikre, at den er i overensstemmelse med deres strenge krav.
Samarbejde med softwareleverandører: Imint, Morpho og Arcsoft
Mishaal Rahman: Jeg gætter på, at der kun er et spørgsmål for mig at følge op på, at lave mere research med, er en virksomhed, som vi har talt med for nylig, er Imint. De har for nylig opgraderet deres Vidhance Stabilization software til arbejde med Spectra 480. Jeg ved, at I arbejder med mange virksomheder, som også drager fordel af Spectra 480, behandlingen. Jeg spekulerer på, om du er i stand til at afsløre flere eksempler på disse teknologier, der har - eller de partnere, som du har arbejdet med, bare så det er] noget, vi kunne følge op på, lære mere om, hvordan Spectra 480 bliver brugt i Mark.
Judd Heape: Vi arbejder med mange softwareleverandører. Som det, vi nævnte tidligere, er Dolby en af dem. Der er andre som du nævnte, Imint/Vidhance for EIS (Electronic Image Stabilization). Vi har også nævnt Morpho og Arcsoft før, vi arbejder også meget tæt med dem.
Men hvad angår hvordan vi arbejder med dem, er vores politik, at vi virkelig ønsker at arbejde tæt sammen med disse uafhængige softwareleverandører og gøre sikre på, at uanset hvad de laver i software, at de er i stand til at udnytte hardwaren i Snapdragon for at få det laveste strømforbrug muligt.
Så en af de ting, vi gør med disse leverandører, er, at vi sørger for, at de har rigtig god adgang til HVX-motoren eller Hexagon DSP-kernen. De bruger også EVA-motoren til at få bevægelsesvektorer og til at bruge hardwaren og i EVA-motoren til billedmanipulation, så de kan udføre billedbevægelser, oversættelse og de-warping og den slags ting i en hardware i stedet for at bruge GPU'en til at gøre at.
Og så arbejder vi virkelig tæt sammen med disse ISV'er, især dem, jeg nævnte, for at sikre, at de ikke bare lægger alt og software i CPU'en, men de bruger ting som DSP og hardwareacceleratorer i EVA for at få bedre ydeevne og lavere effekt forbrug. Så det er også rigtig vigtigt for os, fordi det giver vores kunder den bedst mulige blanding af funktioner og strømforbrug.
[Afsluttende kommentarer fra Judd]: Jeg ville bare sige tak for alle de rigtig gode spørgsmål. De er virkelig, virkelig detaljerede. Jeg har været hos Qualcomm i omkring tre år nu og kigger på vores fortid, selv ud over min embedsperiode her, hvor vi startede på Spectra før Snapdragon 845, vi har arbejdet virkelig hårdt på dramatisk at forbedre internetudbyderen og kameraet og blot den overordnede oplevelse gennem de sidste mange flere år. Jeg er virkelig spændt på, selv hvad fremtiden bringer. Og jeg er spændt på, hvad vi vil annoncere på fremtidige Tech Summits, som I kan komme til at spørge og skrive om. [Spectra Camera] er nok, efter min mening, en af de mest spændende teknologier hos Qualcomm.
Afsluttende tanker
Det var dejligt at have en diskussion med Judd om Qualcomms bidrag til smartphonefotografering. Vi kan have blandede følelser omkring virksomheden og deres patentlicenssystem, men Qualcomms præg på smartphoneindustrien mærkes af alle, uanset om man taler om patenter, 4G og 5G, Wi-Fi, Adreno GPU'erne, Spectra ISP'erne og selve Snapdragon-chippene, som stort set anses for at være guldstandarden i Android-smartphonen marked.
Der er stadig mange smertepunkter, der skal løses i smartphonefotografering, men fremtiden er det lyst, da Qualcomm lover, at gøre flere fremskridt inden for de store, voksende områder af ML, hvilket styrker AI. Lad os se, hvad Qualcomm har at annoncere i dette felt på det næste Snapdragon Tech Summit.