Judd Heape iz Qualcomma pojasnjuje, kako Qualcomm izboljšuje izkušnje s kamero na telefonih Android z novimi funkcijami pri svojih ponudnikih internetnih storitev Spectra.
Kot izdelovalec sistemov na čipih (SoC), ki poganjajo velik del svetovnih pametnih telefonov in nosljivih naprav, je Qualcomm s sedežem v ZDA nedvomno eden od velikanov industrije izdelovalcev čipov. Linijo sistemov na čipu Snapdragon na primer uporabljajo skoraj vsi večji proizvajalci naprav Android za vodilne pametne telefone, pametne telefone srednjega razreda in poceni. Qualcomm je vsako leto na letnem tehnološkem vrhu podjetja deležen pohval za napredek na področjih CPE, GPE in AI, saj vključuje nove mikroarhitekture CPU ARM. in jih dopolnjuje z letnimi izboljšavami svojih grafičnih procesorjev po meri. Vendar pa njegov napredek na področju kamer ni opazen toliko, saj gredo pod radar.
To pa ne pomeni, da je Qualcommovo delo pri kamerah pametnih telefonov nepomembno. Ravno nasprotno, Qualcommovi ponudniki internetnih storitev Spectra v svojih sistemih na čipu Snapdragon pomagajo narediti veliko sodobnih kamer za pametne telefone s povečano računalniška procesorska moč, funkcije, kot so snemanje videa 8K, video HDR10, podpora za kamere QCFA z visoko megapiksli in še veliko, veliko več. Qualcomm je promoviral, da je Spectra 380 ISP v Snapdragon 855
Medtem ko Qualcomm pojasnjuje večino naslovnih funkcij v svojih sporočilih za javnost in osrednjih besedah o izdelkih, gor do zdaj potrošniki niso imeli priložnosti izvedeti večine podrobnosti na nizki ravni, ki ustvarjajo te stvari delo.
Zato smo pri XDA Developers z veseljem sprejeli ponudbo za pogovor z Juddom Heapeom, višjim direktorjem produktnega upravljanja pri Qualcommu. Z glavnim urednikom XDA, Mishaalom Rahmanom, sva imela intervju z Juddom junija 2020, da bi izvedela in videla, kako Qualcomm dosega cilje s fotografiranjem in videoposnetki s pametnimi telefoni. Govorili smo o temah, vključno z obdelavo slik z umetno inteligenco, zmanjševanjem šuma z več slikami (MFNR), AV1, snemanjem videoposnetkov Dolby Vision, združevanjem slikovnih pik v kamerah z visoko megapiksli in še veliko več. Oglejmo si Juddove vpoglede pri vsaki temi posebej:
Delovne obremenitve obdelave slik AI
Mishaal Rahman: Začel bom z enim od tistih, ki jih je imel Idrees, ki je zanimiv in je tudi mene zanimal. Zato se sprašujemo, kakšne so delovne obremenitve obdelave slik z umetno inteligenco, ki jih Qualcomm uporablja pri ponudniku internetnih storitev Spectra in v kolikšni meri jih proizvajalci naprav lahko prilagodijo?
Judd Heape: Ja, zato si ogledamo veliko delovnih obremenitev umetne inteligence in obstaja nekaj umetne inteligence, ki lahko teče v samem ponudniku internetnih storitev kot je na primer naša naslednja generacija 3A: samodejna osvetlitev, samodejno ravnovesje beline in samodejno ostrenje so AI temelji.
Pogledamo pa tudi nekaj drugih delovnih obremenitev AI, ki bi se izvajale zunaj ponudnika internetnih storitev, v enem od drugih računalniških elementov. Zato še posebej gledamo na stvari, kot so: imamo jedro za zmanjševanje hrupa, ki temelji na AI, ki teče zunaj ponudnika internetnih storitev, v delu čipa z motorjem AI (AIE).
Imamo tudi stvari, kot je zaznavanje obrazov, ki je mehanizem za popolno globoko učenje, ki prav tako deluje v kompleksu AIE, vendar seveda pomaga kameri. Delamo še na drugih stvareh, razen na zaznavanju obrazov in odstranjevanju šumov; iščemo tudi stvari, kot je samodejna prilagoditev posnetkov z uporabo umetne inteligence, ki bi se samodejno nastavila parametrov na prizor, ki temelji na vsebini HDR, bi obdelali za spreminjanje senc, svetlih delov in barv in podobno stvar.
Eden od naših partnerjev, Morpho, je letos na vrhu Embedded Vision Summit prejel veliko nagrado za delovno obremenitev z umetno inteligenco. Neodvisni partnerji prodajalcev programske opreme imajo tudi veliko res intenzivnih algoritmov, ki temeljijo na umetni inteligenci in ti lahko segajo od vsega, kot je gladka kamera prehod, kot to počne Arcsoft (to sem omenil na zadnjem srečanju Snapdragon Tech Summit, ki temelji na AI), na Morphovo semantično segmentacijo motor. Morphova rešitev je mehanizem umetne inteligence, ki razume različne dele scene, na primer tisto, kar veste, tkanina proti koži proti nebu in travi ter stavbe in podobne stvari, nato pa lahko ponudnik internetnih storitev vzame te informacije in te slikovne pike drugače obdela za teksturo, šum in barvo za primer.
Izjava Qualcomma: Tudi za ML & AI prav tako danes ne napovedujemo nobenih novih posodobitev za funkcije zaznavanja obrazov in »3A« (AE, AF in AWB). Vendar, kot je dejal Judd, smo zavezani, da bomo v prihodnje v kamero vnesli več zmogljivosti ML/AI, vključno s tema dvema funkcijama.
Analiza in kontekst: Umetna inteligenca v pametnih telefonih je v veliki meri veljala za modno besedo, vse odkar so prve nevronske procesne enote (NPU) in funkcije, ki temeljijo na AI, začele prihajati v telefone Android. Vendar to ne pomeni, da je AI sama brez pomena. Nasprotno, umetna inteligenca ima v mobilnih napravah velik potencial, do te mere, da prodajalci čipov in izdelovalci naprav le praskajo po površini tega, kar je mogoče.
Zahvaljujoč umetni inteligenci so kamere pametnih telefonov postale boljše – včasih hitro, včasih mučno počasi, a dosegajo cilj. Kamere pametnih telefonov premagujejo temeljne omejitve, kot so razmeroma manjši senzorji, fiksni goriščne razdalje in slabšo optiko s pametno računalniško fotografijo, ki jo poganja strojno učenje (ML). Samodejna osvetlitev, zmanjšanje hrupa, zaznavanje obrazov in segmentacija so le nekatera od področij, na katerih je umetna inteligenca pri fotografiranju s pametnimi telefoni lahko vplivala. V naslednjih petih letih bodo ta nastajajoča področja umetne inteligence, ki izboljšujejo različne vidike fotografije, močno dozorela.
Zmanjšanje hrupa z več sličicami
Idrees Patel: Qualcomm kot funkcijo omenja zmanjšanje hrupa z več slikami. Želel bi izvedeti več podrobnosti o tem, kako deluje zlaganje slik. Je na kakršen koli način podoben temu, kar Google počne s svojo tehnologijo HDR+, ali je popolnoma drugačen?
Judd Heape: Je podobno, a različno. Predstavljajte si, da kamera naredi rafal in zajame pet do sedem sličic v hitrem zaporedju. Nato mehanizem ISP pogleda te okvirje in izbere najboljšega (imenovanega "sidrni okvir") za fokus in jasnost, nato pa lahko izbere 3-4 okvirje na obeh straneh tega okvirja in jih nato vse povpreči skupaj. Poskuša izbrati okvirje, ki so dovolj blizu skupaj, da je zelo malo premikanja.
In ko se usede na te okvirje, jih nato povpreči skupaj, da ugotovi, kaj se razlikuje, na primer, kaj so dejanski slikovni podatki v primerjavi s podatki o šumu. Torej, ko imate vedno več informacij iz vedno več okvirjev, lahko dejansko počnete preproste stvari, kot je ogled razlik med okvirji. Razlike so verjetno šum, medtem ko so enaki v sličicah verjetno slikovni podatki.
Tako lahko naredimo ta okvir v realnem času, da zmanjšamo hrup. Zdaj lahko storite isto stvar tudi pri šibki svetlobi in HDR in to je zelo podobno temu, kar verjetno počne Google. Nismo seznanjeni z njihovim algoritmom. Vendar pa uporabljajo tehnike več sličic za povečanje občutljivosti, tako da lahko bolje "vidite"; ko zmanjšate prag hrupa, si lahko zdaj prizadevate za bolj lokalno preslikavo tonov ali dodajanje ojačanja sliki brez dodajanja več šuma.
Tako se spopadajo s šibko svetlobo, pa tudi s HDR. Izboljšave funkcije zmanjševanja hrupa z več slikami bodo prišle iz Qualcomma, ki bo vključeval tudi šibko svetlobo in HDR. Toda to je nekaj, kar bomo predstavili kmalu.
Mishaal Rahman: Omenili ste torej, da boste kmalu uvedli to funkcijo. Ali to prihaja kot posodobitev BSP za partnerje?
Judd Heape: V naših izdelkih naslednje generacije bomo prek dodatka programske opreme imeli možnost sodelovati z – pravzaprav se to dogaja prav zdaj na naslednjem generacije izdelkov – trenutno sodelujemo s strankami, da bi poleg zmanjševanja hrupa izvedli več tehnik več okvirjev, pa tudi za obvladovanje HDR in šibke svetlobe. situacije. Uporablja isti osnovni mehanizem ISP HW, vendar dodajamo več programske opreme za obdelavo teh več okvirjev za več kot le zmanjšanje šuma.
To torej ni nekaj, kar je bilo uvedeno, vendar sodelujemo z nekaterimi ključnimi glavnimi strankami glede teh funkcij.
Analiza in kontekst: z vsako novo objavo Snapdragon SoC Qualcommova tabela s specifikacijami vključuje specifikacije, povezane z zmanjševanjem šuma več okvirjev. Snapdragon 865, na primer, z dvojnim 14-bitnim CV-ISP-jem podpira do hipotetično eno kamero z 200 MP (čeprav proizvajalci senzorjev kamere, kot so Sony, Samsung in OmniVision, še niso izdali nobenega senzorja kamere pametnega telefona nad 108 MP). Ko pa gre za podporo za eno kamero z MFNR, ničelnim zamikom zaklopa (ZSL) in podporo za 30 sličic na sekundo, specifikacija se spremeni na 64 MP, pri dvojnih kamerah z enakimi specifikacijami pa se specifikacija spremeni na 25 MP.
Qualcommovo zmanjšanje hrupa z več slikami je zelo podobno HDR+, vendar ni povsem enako, kot je razložil Judd zgoraj. Medtem ko HDR+ posname niz premalo osvetljenih osvetlitev in jih povpreči, da dobi najboljšo fotografijo, MFNR posname pet do sedem običajnih sličic. Zdi se, da Qualcommov MFNR ni tako napreden kot Googlova rešitev, ker HDR in šibka svetloba nista omenjena kot posebni prioriteti v trenutnem potek dela za Spectra, medtem ko Googlov HDR+ cilja na HDR, fotografiranje pri šibki svetlobi in zmanjšanje hrupa hkrati, z Night Sightom, ki ga celo dvigne naprej. Vendar pa je spodbudno izvedeti, da MFNR prejema izboljšave in da bo Qualcomm te izboljšave uvedel "nekaterim ključnim strankam". V prihodnosti morda ne bomo potrebovali neuradnih vrat Google Camera, da bi dosegli celoten potencial kamer pametnih telefonov Android, ki niso Googlovi.
Super ločljivost za video
Mishaal Rahman: Torej, nekaj, kar sem slišal na tehnološkem vrhu. Pravzaprav mislim, da je bilo v intervjuju z Android Authority. Ali Qualcomm načrtuje razširitev super ločljivosti na video kot programsko rešitev za partnerje in da bo to očitno uvedeno v posodobitvi. Zanima me, ali imate kakšne posodobitve za to funkcijo.
Judd Heape: Da, to je funkcija, ki smo jo lahko uporabljali že nekaj časa in se šele zdaj uvaja. Ne bi rekel, da je v posodobitvi programske opreme, vendar bi rekel, da je nekakšna dodatna prednost obstoječe zmogljivosti funkcije več okvirjev pri šibki svetlobi. Pri tej funkciji sodelujemo z nekaterimi specifičnimi vodilnimi strankami. Tako da, super ločljivost videoposnetkov je nekaj v drugi generaciji ali pa jo bomo imeli tako, kot jo imamo pokličite funkcijo načrta zapisa, če je dejansko vgrajena v osnovo programske kode za [the] fotoaparat. Toda trenutno je to bolj na ravni posebnih angažiranj strank za to novo funkcijo.
Analiza in kontekst: Super ločljivost za video je funkcija, ki do zdaj ni bila prikazana v kamerah pametnih telefonov. To je tako novo področje, da o tem se še pišejo raziskovalne naloge. Uporaba tehnik več sličic za fotografijo je ena stvar, njihova uporaba za videoposnetke za nadgradnjo videa na višjo ločljivost pa je povsem druga stvar. Qualcomm pravi, da ponovno uvaja funkcijo za "nekatere ključne stranke", vendar trenutno ni vgrajena v osnovo programske kode za kamero. V prihodnosti bo morda na voljo vsem, a za zdaj je to funkcija, ki je končni uporabniki sploh še niso morali uporabljati.
Senzorji Quad Bayer z visoko megapiksli
Idrees Patel: Pogovorimo se o senzorjih Quad Bayer. Od leta 2019 ima veliko telefonov senzorje 48 MP, 64 MP in zdaj celo 108 MP. To so senzorji Quad Bayer; dejansko nimate prave barvne ločljivosti 48 ali 64 ali 108 MP. Ena stvar, ki sem jo želel vprašati, je, kako se ponudnik internetnih storitev razlikuje glede obdelave slik za ta Quad Bayer ali Nona Bayerjevi senzorji (združevanje slikovnih pik 4 v 1 ali 9 v 1) v primerjavi s tradicionalnimi senzorji, ki nimajo slikovnih pik zlaganje v smeti.
Judd Heape: Ja, seveda je prednost teh štirih senzorjev CFA (Quad Color Filter Array) sposobnost delovanja pri močni svetlobi. pri polni ločljivosti, nato pa jih lahko ponudnik internetnih storitev obdela pri polnih 108 megapikslih ali 64 megapikslih ali karkoli že na voljo.
Vendar pa morate običajno v večini svetlobnih situacij, na primer v zaprtih prostorih ali v temi, združiti, ker so slikovne pike senzorja tako majhne, da jih morate kombinirati, da dobite boljšo svetlobno občutljivost. Zato bi rekel, da večino časa, še posebej, če snemate video ali če ste za posnetek pri šibki svetlobi, delujete v binned načinu.
Zdaj lahko ponudnik internetnih storitev senzor obdela na kateri koli način. Senzor si lahko ogledate v združenem načinu in v tem primeru prihaja samo običajna Bayerjeva slika ali pa si ga ogledate v načinu polne ločljivosti, v katerem so vhodni podatki quad CFA. In če je v tem načinu, ga ISP pretvori v Bayer.
Torej delamo - kar imenujemo - "remosaicing". To izvaja nekaj interpolacije slike quad CFA, da je spet videti kot Bayer v polni ločljivosti. In to se običajno izvaja v programski opremi za posnetke, čeprav bomo sčasoma to zmožnost dodali v strojno opremo, da bi podpirali tudi video.
Kar je danes v strojni opremi ISP, je binning. Tako lahko senzor vnesete v bin in dejansko lahko naročite senzorju, da se odloči, ali bo oddajal polno ali četrtinsko ali 1/9 ločljivost, ali pa ga lahko binirate pri ponudniku internetnih storitev. In to je funkcija, ki smo jo pravzaprav dodali v Snapdragon 865. Torej, če binirate pri ponudniku internetnih storitev in nato zaženete senzor pri polni ločljivosti, ki daje ponudniku internetnih storitev možnost, da ima hkrati sliko polne ločljivosti in združeno sliko. Zato lahko uporablja manjšo ločljivost ali "zbrano" sliko za video (videokamera) in predogled (iskalo) ter hkrati uporablja sliko polne ločljivosti za posnetek v polni velikosti.
Ampak spet, to bi bilo v primeru svetlih svetlobnih pogojev. Ampak vsaj če bin pri ponudniku internetnih storitev, lahko obdelujete tako veliko kot malo sliko pri istočasno, zato lahko dobite hkratni video in posnetek, dobite lahko tudi polno ločljivost ZSL; vse brez menjave senzorja naprej in nazaj, kar vzame precej časa.
To je res dobra lastnost. In kot senzorji Quad CFA in celo veste, se pojavijo senzorji 9x in morda celo več, in ko ti senzorji postajajo bolj vseprisoten – čedalje bolj si prizadevamo za upravljanje teh senzorjev v strojni opremi, ne samo za zbiranje, ampak tudi za remosaicing.
In tako je prednost tega, da če to počnete v strojni opremi v primerjavi s programsko opremo, zmanjšate zakasnitev za vaše stranke, zato bodo vaši časi od posnetka do posnetka in hitrosti rafalov veliko hitrejši. Torej, ko korakamo naprej z novimi ponudniki internetnih storitev in novimi čipi, boste začeli videti veliko več tega, kar počnemo za te nove vrste senzorjev, vgrajenih v strojno opremo.
Analiza in kontekst: Huawei je prvi uporabil senzor Quad Bayer s 40 MP Huawei P20 Pro leta 2018, priljubljenost senzorjev Quad Bayer pa je bila tako velika, da se je zdaj prebila celo do telefonov s ceno 150 USD, ki jih poganjajo čipi Snapdragon/Exynos/MediaTek. Zlasti smo videli, da je industrija pametnih telefonov dosegla 48MP in 64MP fotoaparate kot sladko točko, medtem ko nekaj telefonov doseže celo 108MP. Senzorji Quad Bayer in Nona Bayer ne pridejo brez negativov, saj je njihova polna ločljivost opremljena s pridržki.
Vendar se iz marketinških razlogov senzor z ločljivostjo 48 MP sliši veliko bolje kot senzor z ločljivostjo 12 MP, tudi če uporabnik tako ali tako večino časa snema fotografije z ločljivostjo 12 MP. Senzor z ločljivostjo 48 MP bi moral teoretično zagotoviti boljše fotografije z združenimi pikami z ločljivostjo 12 MP pri šibki svetlobi kot tradicionalni 12 MP senzor, vendar mora obdelava slike slediti, in kot sem omenil spodaj, je do tega še dolga pot zgoditi. Ne glede na to je bilo zanimivo videti, kako Spectra ISP obravnava senzorje Quad Bayer z remosaicingom. V teh senzorjih je veliko potenciala in telefoni, kot je OnePlus 8 Pro (ki uporablja senzor Sony IMX689 Quad Bayer z velikimi slikovnimi pikami), so trenutno na vrhuncu kamer pametnih telefonov.
Prepoznavanje obraza na osnovi ML
Mishaal Rahman: Mislim, da ste prej omenili, da Spectra 480 podpira prepoznavanje obraza na osnovi ML. To je nekaj, kar sem dejansko slišal na tehnološkem vrhu. [Da je to] ena od izboljšav od 380 do 480; da je del - v mehanizmu za video analitiko je na voljo nov blok objektivnega zaznavanja, ki se bo v prihodnje uporabljal za prostorsko prepoznavanje.
Ali lahko poveste več o tem, koliko to izboljša prepoznavanje obrazov in katere potencialne aplikacije po vašem mnenju uporabljajo prodajalci?
Judd Heape: Ja, pravzaprav ste prav pri vgrajenem bloku računalniškega vida, ki je blok "EVA", o katerem smo govorili na tehnološkem vrhu. To ima v sebi splošno jedro za zaznavanje predmetov, ki ga uporabljamo, ko kamera deluje, uporabljamo ga za zaznavanje obrazov. Tehnike v tem bloku so bolj tradicionalne tehnike, zato se prepoznavanje predmetov izvede s tradicionalnimi klasifikatorji, poleg tega pa imamo delujoč programski mehanizem, ki dejansko izboljša točnost tega blok.
Zato uporabljamo programsko opremo, ki temelji na ML, za filtriranje lažnih pozitivnih rezultatov, saj lahko strojna oprema zazna več stvari kot obrazov v prizoru, nato pa programska oprema ML pravi, "v redu, to je obraz" ali "to res ni obraz", in tako poveča natančnost za nekaj odstotnih točk, tako da zažene ta filter ML na vrhu strojna oprema.
Omenil sem veliko stvari o prihodnosti. V prihodnje načrtujemo tudi zagon dejanskega celotnega zaznavanja obrazov v ML ali v načinu globokega učenja v programski opremi. To bo veljalo zlasti na nižjih ravneh, tako da bomo na primer na ravni, kjer nimamo mehanizma strojne opreme EVA, začeli postopno uvajati globoko učenje kot zaznavanje, ki se izvaja v mehanizmu umetne inteligence čipa in kasneje, v zgornjih ravneh v ravneh 700-800, imamo strojno opremo EVA za to ...
Na splošno pa bom rekel, da se bomo bolj usmerjali k pristopom ML za zaznavanje obrazov, kar bi srednjeročno vključevalo programsko opremo in pozneje strojno opremo. Ne bom razkril, kateri izdelki ga bodo imeli, seveda pa bomo, ko napredujemo pri izboljševanju ponudnika internetnih storitev, zagotovo dodajali vse več zmogljivosti strojne opreme za ML.
Mishaal Rahman: Čudovito. No, mislim, da je samoumevno, da je smer, v katero greste, spuščanje izboljšav strojnega učenja serije 800 na nižjo raven, tako da mislim, da je to na splošno samoumevno. Seveda pa nam o tem ne morete povedati nobenih podrobnosti. Hvala za posodobitev.
Judd Heape: Zaznavanje obrazov je nekaj, kar nas zelo zanima. Te natančnosti želimo izboljšati, saj veste, generacija za generacijo na vseh ravneh vse od stopnje 800 do ravni 400. ML je velik del tega.
Analiza in kontekst: Ti vidiki so tisti, ki dajejo fotografiji s pametnimi telefoni toliko več možnosti v primerjavi z najnovejšimi brezzrcalnimi fotoaparati. Da, brezzrcalni fotoaparati imajo boljšo kakovost slike pri šibki svetlobi in so veliko bolj prilagodljivi, vendar fotoaparati pametnih telefonov premagujejo svoje omejitve na domiselne načine. Zaznavanje obrazov na osnovi ML je le del tega.
Izboljšave v mehanizmu za obdelavo slik
Mishaal Rahman: Čudovito. Ena od stvari, ki sem jih na kratko slišal med okroglimi mizami po srečanju Snapdragon Tech Summit, je bila izboljšava mehanizma za obdelavo slik. Slišal sem, da je izboljšano zmanjšanje hrupa nizkih srednjih frekvenc ali LEANR. In da uporabljate dinamično preslikavo povratnega ojačenja; je to nekaj, kar ste omenili prej v pogovoru.
Judd Heape: Vredu. Torej mislim, da mešate dve stvari skupaj. Ja, tu je torej jedro LEANR, ki deluje na zmanjševanje hrupa pri bolj grobih zrnah, kar pomaga pri šibki svetlobi. To je nov blok, ki je bil dodan v Snapdragon 865 v ISP, in to je ena stvar.
Kartica povratnega ojačenja je nekaj drugega. To je nekaj drugega, kar sem omenil na okroglih mizah, a to je obrniti učinke senčenja leč. Torej, kot veste, če imate slušalko in ima majhno lečo; sredina leče bo svetla, robovi pa bodo bolj vinjetirani; kar pomeni, da bodo temnejši.
In tako smo v preteklih letih pri ponudniku internetnih storitev uporabili statično preslikavo obrnjenega ojačanja, da se znebimo teh temnih robov. In to je že kar nekaj časa pri ponudniku internetnih storitev. Kar pa smo dodali v Snapdragon 865, je zmožnost dinamičnega spreminjanja zemljevida ojačenja glede na določen okvir slike, ker če na robove uporabite veliko ojačenja zgodi se, da se robovi lahko strižejo, še posebej, če gledate prizore z močno svetlobo zunaj, na primer modro nebo lahko nekako postane belo ali pa se robovi strižejo zaradi veliko dobiček.
Torej v Snapdragonu 865 ta povratni zemljevid ojačanja ni statičen; je dinamično. Torej gledamo sliko in rečemo, "v redu, ti deli slike so izrezani in ne bi smeli biti", da se lahko vrtimo naravno izklopite zemljevid ojačenja, tako da ne dobite svetlih robov ali halo učinkov ali podobnih stvari zaradi popravka leče senčenje. To se torej razlikuje od zmanjševanja šuma in sta dve različni jedri.
Fotografiranje pri šibki svetlobi in agresivno zmanjšanje šuma
Idrees Patel: Ena stvar, o kateri sem se želel vprašati, je bila fotografija pri šibki svetlobi. Tako kot v zadnjih nekaj letih je bilo veliko nočnih načinov [izvajalcev originalne opreme], toda ena stvar, ki sem jo opazil, je, da mnogi izdelovalci naprav se odločijo za agresivno zmanjševanje hrupa, ki zmanjša podrobnosti do točke, ko je celoten hrup svetilnosti odstranili.
Moje vprašanje je torej, ali Qualcomm izdelovalcem naprav svetuje, naj tega ne počnejo, in ali je to nekaj, kar počnejo njihovi cevovodi za obdelavo, ali je to nekaj, na kar vpliva ponudnik internetnih storitev v SoC.
Judd Heape: Veliko tega je povezano z uglaševanjem, in če nimate multi-frame ali bi rekel, zelo dober slikovni senzor ni na voljo, z visoko občutljivostjo ali optiko z nizkimi števili f. Eden od načinov, kako se znebiti šuma zlasti pri šibki svetlobi, je uporaba večjega zmanjšanja šuma, vendar se zgodi, ko uporabite več zmanjšanja šuma, da izgubite podrobnosti, zato postanejo ostri robovi zamegljeni. Zdaj se lahko tega znebite, če uporabite te tehnike več okvirjev. Ali če uporabite tehnike umetne inteligence, ki lahko nekako ugotovijo, kje so robovi predmetov in obrazi, in podobno. Uporaba zgolj brutalnega zmanjševanja hrupa v današnjem času ni prava rešitev, ker na koncu izgubite podrobnosti.
Tisto, kar želite storiti, je, da uporabite tehnike več okvirjev ali tehnike umetne inteligence, tako da lahko še vedno uporabljate šum zmanjšanje na bolj podobna notranja področja predmetov, medtem ko ohranja lepe čiste robove ali ohranja ostre robove predmetov. To je tisto, kar bi rekel: z uporabo umetne inteligence ali več okvirjev je mogoče v prihodnje zmanjšati šum in izboljšati slike pri šibki svetlobi.
Idrees Patel: Da, in točno to sem želel slišati. [Je] zato, ker je to glavna stvar, ki loči odlične kamere pametnih telefonov od kamer srednjega ali cenovno ugodnega razreda.
Judd Heape: Ja.
Idrees Patel: Odlične kamere pametnih telefonov vedo, kdaj uporabiti zmanjšanje šuma in kdaj ne.
Judd Heape: Točno tako. Ja, in kot sem rekel, nastavitev kamere dejansko opravijo naše stranke ali proizvajalci originalne opreme, nekateri proizvajalci originalne opreme pa imajo raje mehkejšo sliko z manj šuma. Nekateri raje razkrijejo več podrobnosti z morda malo več šuma.
In tako je kompromis, zato imate omejitve. In kot sem rekel, je najbolje, da dobimo boljši slikovni senzor z večjo občutljivostjo, večje slikovne pike ali optiko z nižjim številom f, ker potem dobite več svetlobe že od začetka, to je vedno boljše. Če pa tega ne morete storiti, namesto da samo povečate zmanjšanje hrupa in izgubite podrobnosti, morate uporabiti več okvirjev ali tehnike umetne inteligence.
Analiza in kontekst: To je po mojem mnenju trenutno največja težava pri kamerah pametnih telefonov. Da, uporabite lahko 48MP ali 64MP ali celo 108MP senzor. Če pa se ne odločite za uporabo omejenega zmanjševanja hrupa s tehnikami MFNR ali AI, vsi ti megapiksli, združevanje 4 v 1 in celo združevanje 9 v 1 ne bodo veliko koristni. Galaxy S20 Ultra je tukaj glavni primer s svojo primarno kamero s 108 MP v veliki meri veljalo za razočaranje. Samsung je šel nazaj pri obdelavi slik z uporabo izjemno agresivnega zmanjševanja šuma v svojih nočnih načinih v svojih paradnih modelih leta 2020, medtem ko je serija Galaxy S10 leta 2019 ironično imela boljšo kakovost slike.
Judd razkriva, da imajo nekateri proizvajalci originalne opreme dejansko raje mehkejšo sliko z manj šuma, kar je v osnovi napačna izbira. Uglaševanje izvajajo izdelovalci naprav, zato lahko dva telefona, ki uporabljata isti senzor in ju napaja isti SoC, oddata zelo, zelo različne fotografije. Upati je, da se bodo ti izdelovalci naprav naučili resnice od svojih uspešnejših konkurentov. Medtem ko je Samsung letos izgubil svojo pot pri obdelavi slik, je bil OnePlus oster kontrast. OnePlus 8 Pro je ena najboljših kamer za pametne telefone na trgu, kar je pomemben dosežek glede na zelo slab rezultat kamere OnePlus 5T v letu 2017. Miselnost obdelave slik se mora spremeniti, da bodo fotografije ostre, ne glede na to, kako močno divjajo vojne megapikslov.
AV1 dekodiranje in kodiranje
Mishaal Rahman: To je torej nekoliko ločeno od drugih razprav, ki jih imamo o kakovosti fotoaparata. Ena od stvari, ki so se spraševali nekateri ljudje v skupnosti odprtokodnih medijskih kodekov, je, kdaj bo Qualcomm podpiral AV1 dekodiranje in po možnosti kodiranje. Vem, da je to malo zapleteno, vendar Google zahteva, da televizorji 4K HDR in 8K v sistemu Android 10 podpirajo dekodiranje AV1 in Netflix, YouTube, začenjajo uvajanje videoposnetkov, kodiranih v AV1. Torej je videti kot počasen porast kodiranih videoposnetkov AV1. Zato se sprašujemo, kdaj bo v Spectri na voljo vsaj podpora za dekodiranje.
Izjava Qualcomma: glede na vaše vprašanje o AV1 - danes nimamo ničesar za napoved. Vendar pa je Snapdragon trenutno zmožen predvajanja AV1 prek programske opreme. Qualcomm vedno sodeluje s partnerji na kodekih naslednje generacije prek izdelave programske in strojne opreme Snapdragon vodilni na področju kodekov HDR, vključno z zajemanjem in predvajanjem v HEIF, HLG, HDR10, HDR10+ in Dolby Vizija. Seveda se zavedamo, da želimo svojim strankam zagotoviti najboljše izkušnje s CODEC-om, vključno s podporo za visoko ločljivost in najmanjšo porabo energije, zato je zaželena njihova implementacija v HW.
Video snemanje - kompenzacija gibanja
Mishaal Rahman: Torej ne vem, ali ima Idrees še kakšna vprašanja, vendar sem imel eno vprašanje o nečem, kar sem prebral na srečanju Snapdragon Tech Summit. Gre za video jedro s kompenzacijo gibanja. Slišal sem, da obstajajo izboljšave v mehanizmu za kompenzacijo gibanja, da bi zmanjšali hrup pri snemanju videa. Zanima me, ali lahko razširite, kaj točno je bilo izboljšano in kaj je bilo narejenega.
Judd Heape: Mehanizem EVA (Engine for Video Analytics) je bil izboljšan z bolj gostim jedrom zemljevida gibanja, tako da EVA motor, veš, na primer vedno gleda dohodni video in ima notri jedro, ki izvaja gibanje ocena. Naredili smo to, da smo naredili to jedro veliko bolj natančno, kjer to počne na ravni skoraj na slikovno piko, namesto na nekako bolj na grobi ravni blokov, zato iz mehanizma EVA v Snapdragonu 865 pridobimo veliko več vektorjev gibanja kot v prejšnjem generacije. In to pomeni, da lahko video jedro, ki izvaja kodiranje, uporabi te vektorje gibanja za več natančen glede kodiranja, vendar ponudnik internetnih storitev na strani kamere te informacije uporablja tudi za šum zmanjšanje.
Kot veste, imamo že generacije časovno filtriranje s kompenzacijo gibanja, ki je v resnici aktivno zmanjševanje šuma med videom, ki povpreči okvirje skozi čas, da se znebi šuma.
Težava s to tehniko pa je, če imate v sceni gibanje. Gibanje na koncu preprosto zavrne zmanjšanje hrupa, ker ga ni mogoče obvladati ali pa se razmaže, na premikajočih se stvareh pa dobite te grde sledi in artefakte. Torej, pri časovnem filtriranju s kompenzacijo gibanja, kar smo počeli v preteklosti, odkar nismo imeli te goste karte gibanja za lokalne gibanja, imamo - preprosto obravnavamo samo primere, ko premikate kamero, to je precej enostavno, ker se vse premika globalno.
Toda če nekaj snemate in imate predmet, ki se premika ZNOTRAJ prizora, kar smo naredili prej [je bilo to] te slikovne pike smo preprosto prezrli, ker jih nismo mogli obdelati za šum, ker je šlo za lokalno premikanje predmet. In zato, če ste povprečili okvir za okvirjem, je bil predmet vsak okvir na drugem mestu, tako da ga niste mogli zares obdelati.
Toda pri Snapdragonu 865, ker imamo bolj gost zemljevid gibanja in imamo možnost videti vektorje gibanja na skoraj enem pikslu. glede na slikovno piko, dejansko lahko obdelamo te lokalno premaknjene slikovne pike okvir za okvirjem za zmanjšanje šuma, medtem ko prej nismo mogli. Mislim, da sem v govoru omenil meritev. Ne spomnim se številke (bilo je 40%) vendar je bil v povprečju velik odstotek slikovnih pik za večino videoposnetkov, ki jih je zdaj mogoče obdelati za šum, medtem ko v prejšnji generaciji tega ni bilo mogoče. In to je dejansko delno sposobnost razumevanja lokalnega gibanja in ne samo globalnega gibanja.
Snemanje videa - HDR
Idrees Patel: Imam še eno vprašanje o videu HDR. Letos opažam, da veliko več proizvajalcev naprav ponuja snemanje videa HDR10. Ali je torej nekaj, kar je bilo promovirano s Snapdragonom 865, ali je tam že nekaj generacij.
Judd Heape: Oh ja, ko smo o tem govorili na tehničnem vrhu, smo imeli HDR10, ki je video standard za HDR na kamera kodira stran že nekaj generacij, od Snapdragona 845, verjamem, in nenehno izboljšujemo to.
Tako smo lani govorili o HDR10+, ki je 10-bitno snemanje HDR, vendar ima namesto statičnih metapodatkov dinamične metapodatke, torej metapodatke, ki jih posname kamera. med prizorom se dejansko posname v realnem času, tako da, ko ga predvajate, mehanizem za predvajanje razume, ali je bila temna soba ali svetla soba, in lahko kompenzira to.
Tudi lani smo na Tech Summitu govorili o zajemanju Dolby Vision, ki je Dolbyjeva alternativa HDR10+. Zelo podobno je, če dejansko izdelajo tudi dinamične metapodatke. Tako lahko Snapdragon danes podpira vse tri formate: HDR10, HDR10+ in zajem Dolby Vision. In tako res ni nobenih omejitev, naši proizvajalci originalne opreme lahko izberejo katero koli metodo. Že nekaj časa imamo stranke, ki uporabljajo HDR10, lani in letos pa vse več strank izbere HDR10+. In mislim, da boste v prihodnosti videli tudi nekaj sprejetja Dolby Vision Capture.
Tako da, to smo močno promovirali. HDR je za nas zelo pomemben, tako na strani posnetkov kot na strani videa. In kot sem rekel, zavezani smo formatoma HDR10 in HDR10+ ter zdaj Dolby Vision, saj veste od Snapdragona 845 in zdaj celo pred kratkim Snapdragon 865 za Dolby Vision.
Mishaal Rahman: Pravzaprav nisem bil prepričan, ali je še kateri prodajalec implementiral snemanje Dolby Vision, vendar mislim, da je to odgovor na to vprašanje. [To je] nekaj, kar bomo videli v prihodnosti.
Judd Heape: Seveda – ne morem komentirati, kateri prodajalci so zainteresirani in podobno. To bi bilo vprašanje za Dolby; to je njihova značilnost, zato vam predlagam, da se obrnete na Dolby, če želite več informacij o tem. Toda do danes, kolikor vem, ni bilo slušalke, ki bi še izšla z Dolby Vision Capture.
Idrees Patel: Ker potrebujete tudi podporo za zaslon. Opazil sem, da zasloni pametnih telefonov podpirajo HDR10 in HDR10+, ne pa tudi Dolby Vision.
Judd Heape: Pravzaprav ja, toda predvajanje Dolby Vision je bilo v preteklosti podprto na Snapdragonu. Deluje lahko z danim zaslonom in ni nujno, da zaslon izpolnjuje nobena posebna merila, da je skladen z Dolby Vision, razen Dolby bo ocenil zaslon in poskrbel, da ima določen barvni razpon, gama, določeno bitno globino, določeno svetlost in določen kontrast razmerje.
Torej, veste, lahko kupite zaslon HDR10, lahko pa tudi slušalko, ki podpira Dolby Vision predvajanje, vendar bo Doby kvalificiral ta zaslon, da se prepriča, da je skladen z njihovimi strogimi zahteve.
Sodelovanje s ponudniki programske opreme: Imint, Morpho in Arcsoft
Mishaal Rahman: Predvidevam, da je samo eno vprašanje, ki ga moram nadaljevati, da opravim več raziskav, in to je eno podjetje, s katerim smo nedavno govorili, Imint. Pred kratkim so nadgradili svoje Programska oprema za stabilizacijo Vidhance do delo s Spectro 480. Vem, da delate z veliko podjetji, ki prav tako izkoriščajo prednosti Spectre 480, obdelave. Zanima me, ali lahko razkrijete več primerov teh tehnologij, ki imajo – ali partnerje, ki ste jih delali, tako da je] nekaj, čemur bi lahko sledili, izvedeli več o tem, kako se Spectra 480 uporablja v polje.
Judd Heape: Sodelujemo s številnimi ponudniki programske opreme. Kot smo že omenili, je Dolby eden izmed njih. Obstajajo še drugi, kot ste jih omenili, Imint/Vidhance za EIS (elektronska stabilizacija slike). Prej smo omenili tudi Morpho in Arcsoft, tudi z njima zelo tesno sodelujemo.
Kar zadeva naše sodelovanje z njimi, je naša politika takšna, da resnično želimo tesno sodelovati s temi neodvisnimi prodajalci programske opreme in prepričani, da ne glede na to, kaj delajo v programski opremi, lahko izkoristijo strojno opremo v Snapdragonu, da dosežejo najnižjo porabo energije mogoče.
Ena od stvari, ki jih počnemo s temi prodajalci, je, da poskrbimo, da imajo resnično dober dostop do motorja HVX ali jedra Hexagon DSP. Prav tako uporabljajo mehanizem EVA za pridobivanje vektorjev gibanja in uporabo strojne opreme in mehanizma EVA za manipulacijo s slikami, tako da lahko izvajajo premikanje slike, prevajanje in deformacijo in podobne stvari v strojni opremi, namesto da bi za to uporabili GPE to.
In tako res tesno sodelujemo s temi neodvisnimi ponudniki programske opreme, zlasti s tistimi, ki sem jih posebej omenil, da zagotovimo, da ne postavljajo vsega in programsko opremo v CPE, vendar uporabljajo stvari, kot so DSP in strojni pospeševalci v EVA, da bi dosegli boljšo zmogljivost in manjšo porabo poraba. To je tudi za nas zelo pomembno, saj našim strankam nudi najboljšo možno kombinacijo funkcij in porabe energije.
[Zaključni komentarji Judda]: Hotel sem samo reči, hvala vam za vsa res dobra vprašanja. Res so zelo podrobni. Pri Qualcommu sem že približno tri leta in gledam na našo preteklost, tudi po mojem mandatu tukaj, kjer smo pred tem začeli s Spectro Snapdragon 845, zelo trdo smo delali, da smo dramatično izboljšali ponudnika internetnih storitev, kamero in samo splošno izkušnjo v zadnjih nekaj leta. Zelo sem navdušen tudi nad tem, kaj prinaša prihodnost. Navdušen sem nad tem, kar bomo objavili na prihodnjih tehnoloških vrhih, o katerih boste lahko vprašali in pisali. [Spectra Camera] je po mojem mnenju verjetno ena najbolj vznemirljivih tehnologij pri Qualcommu.
Končne misli
Super je bilo razpravljati z Juddom o Qualcommovih prispevkih k fotografiji s pametnimi telefoni. Lahko imamo mešane občutke o podjetju in njihovem sistemu licenciranja patentov, a Qualcommov pečat v industriji pametnih telefonov čutijo vsi, ne glede na to, ali govorite o patenti, 4G in 5G, Wi-Fi, grafični procesorji Adreno, ponudniki internetnih storitev Spectra in sami čipi Snapdragon, ki v veliki meri veljajo za zlati standard v pametnem telefonu Android trgu.
Pri fotografiji s pametnimi telefoni je še vedno veliko bolečih točk, ki jih je treba rešiti, a prihodnost je pameten, saj Qualcomm obljublja, da bo dosegel več napredka na obsežnih, rastočih področjih strojnega jezika, ki poganja AI. Poglejmo, kaj ima Qualcomm napovedati na tem področju na naslednjem srečanju Snapdragon Tech Summit.