Qualcommi Judd Heape selgitab, kuidas Qualcomm täiustab Android-telefonide kaamerakogemust oma Spectra Interneti-teenuse pakkujate uute funktsioonidega.
Kuna USA-s asuv Qualcomm on süsteemsete kiipide (SoC) tootja, mis toidab suurt osa maailma nutitelefonidest ja kantavatest seadmetest, on USA-s asuv Qualcomm kahtlemata üks kiibitootjate tööstuse hiiglasi. Näiteks Snapdragoni SoC-de sarja kasutavad peaaegu kõik suuremad Android-seadmete tootjad lipulaevade, keskklassi ja soodsate nutitelefonide jaoks. Qualcomm pälvib igal aastal ettevõtte iga-aastasel Tech Summit'il kiidusõnu protsessori, GPU ja AI valdkondade edusammude eest, kuna see hõlmab ARM-i uusi protsessori mikroarhitektuure ja täiendab neid oma kohandatud GPU-de iga-aastaste täiustustega. Kuid selle edusamme kaamerate valdkonnas ei märgata nii palju, kuna need kipuvad jääma alla radar.
See aga ei tähenda, et Qualcommi töö nutitelefonide kaamerates oleks ebaoluline. Vastupidi, Qualcommi Spectra Interneti-teenuse pakkujad oma Snapdragon SoC-des aitavad muuta palju kaasaegseid nutitelefoni kaameraid võimalikuks tänu suuremale hulgale. arvutuslik töötlemisvõimsus, sellised funktsioonid nagu 8K videosalvestus, HDR10 video, suure megapiksliga QCFA kaamerate tugi ja palju, palju rohkem. Qualcomm on reklaaminud Snapdragon 855-s Spectra 380 ISP-d
Kuigi Qualcomm selgitab enamikku oma pressiteadetes ja tootekirjeldustes olevatest pealkirjadest, siis üles siiani ei ole tarbijatel olnud võimalust teada saada enamikku madala tasemega üksikasjadest, mis need asjad teevad tööd.
Seetõttu oli meil XDA arendajatel hea meel võtta vastu pakkumine rääkida Qualcommi tootejuhtimise vanemdirektor Judd Heape'iga. XDA peatoimetaja Mishaal Rahman ja mina tegime 2020. aasta juunis intervjuu Juddiga, et saada teada ja näha, kuidas Qualcomm nutitelefoniga pildistamise ja videosalvestusega väravaposte nihutab. Rääkisime sellistel teemadel nagu tehisintellekti pilditöötlus, mitme kaadri müra vähendamine (MFNR), AV1, Dolby Vision videosalvestus, pikslite eraldamine suure megapiksliga kaamerates ja palju muud. Heitkem pilk Juddi arusaamadele iga teema kohta ükshaaval:
AI pilditöötluse töökoormused
Mishaal Rahman: Alustan ühest nendest, mis Idreesel olid, mis on huvitav ja mis mind ka huvitas. Nii et me mõtleme, millised on AI-pilditöötluse töökoormused, mida Qualcomm Spectra ISP-s kasutab ja mil määral on seadmetootjad neid kohandatavad?
Judd Heape: Jah, nii et me vaatame paljusid tehisintellekti töökoormust ja mõned tehisintellektid võivad töötada Interneti-teenuse pakkujas endas nagu näiteks meie järgmise põlvkonna 3A: automaatne säritus, automaatne valge tasakaal ja autofookus on AI põhineb.
Kuid me vaatame ka mõnda muud tehisintellekti töökoormust, mis töötaks väljaspool ISP-d, ühes teises arvutuselemendis. Seega vaatleme eelkõige selliseid asju: meil on AI-põhine mürasummutustuum, mis töötab väljastpoolt ISP-st, kiibi AI-mootori (AIE) osas.
Lisaks on meil sellised asjad nagu näotuvastus, mis on täielik sügavõppe mootor, mis töötab ka AIE kompleksis, kuid loomulikult abistab kaamerat. Ja lisaks näotuvastuse ja müra vähendamisega töötame ka muude asjade kallal; Samuti püüame teha selliseid asju nagu hetktõmmiste automaatne reguleerimine automaatselt seadistatava AI abil parameetreid stseeni kohta HDR-i sisu põhjal, muudame varju ja esiletõstmisi, värve ja muud sellist asi.
Üks meie partneritest, Morpho, võitis just sel aastal Embedded Vision Summitil tohutu AI töökoormuse auhinna. Sõltumatutel tarkvaramüüjate partneritel on ka palju tõeliselt intensiivseid AI-põhiseid algoritme ja need võivad ulatuda kõigest, näiteks sujuvast kaamerast. üleminek Morpho semantilisele segmenteerimisele, nagu Arcsoft mootor. Morpho lahendus on AI-mootor, mis mõistab stseeni erinevaid osi, näiteks seda, mida te teate, kangas versus nahk versus taevas ja rohi ja hoone ja muud sellised asjad ning siis saab Interneti-teenuse pakkuja võtta selle teabe ja töödelda neid piksleid erinevalt tekstuuri, müra ja värvi jaoks. näide.
Qualcommi avaldus: ML ja AI puhul ei teata me täna ka uutest värskendustest näotuvastuse ja 3A (AE, AF ja AWB) funktsioonidele. Kuid nagu Judd ütles, oleme edaspidi pühendunud sellele, et tuua kaamerasse rohkem ML/AI-võimalusi, sealhulgas neid kahte funktsiooni.
Analüüs ja kontekst: AI-d nutitelefonides on suures osas peetud moesõnaks sellest ajast peale, kui esimesed närviprotsessorid (NPU-d) ja AI-põhised funktsioonid Android-telefonidesse jõudsid. See aga ei tähenda, et AI ise oleks mõttetu. Vastupidi, tehisintellektil on mobiilseadmetes palju potentsiaali, kuni nii kiibimüüjad kui ka seadmete tootjad ei ole nii kaugele jõudnud, kui võimalik.
Tänu tehisintellektile on nutitelefonide kaamerad muutunud paremaks – vahel kiiresti, vahel piinavalt aeglaselt, aga sinna nad jõuavad. Nutitelefonide kaamerad ületavad põhilisi piiranguid, nagu suhteliselt väiksemad andurid, fikseeritud fookuskaugused ja kehvem optika koos masinõppel töötava nutika arvutusfotograafiaga (ML). Automaatne säritus, müravähendus, näotuvastus ja segmenteerimine on vaid mõned valdkonnad, kus AI nutitelefonide fotograafias on suutnud mõjutada. Järgmise viie aasta jooksul arenevad need arenevad tehisintellekti väljad, mis täiustavad fotograafia erinevaid aspekte, palju.
Mitme kaadri müra vähendamine
Idrees Patel: Qualcomm on maininud mitme kaadri müra vähendamist funktsioonina. Tahaksin selle kohta üksikasjalikumalt teada saada, kuidas piltide virnastamine töötab. Kas see, mida Google oma HDR+ tehnoloogiaga teeb, on kuidagi sarnane või on see täiesti erinev?
Judd Heape: See on sarnane, kuid erinev. Kujutage ette, et kaamera teeb sarivõtte ja jäädvustab kiiresti viis kuni seitse kaadrit järjest. Seejärel vaatab ISP mootor need raamid üle ja valib nende jaoks parima (nimetatakse ankurraamiks). fookus ja selgus ning seejärel saab selle kaadri mõlemalt küljelt valida 3–4 kaadrit ja seejärel need kõik keskmistada koos. See püüab valida raamid, mis on üksteisele piisavalt lähedal, nii et seal on väga vähe liikumist.
Ja kui see nende kaadrite järgi otsustab, arvutab see need kokku, et eristada, mis on erinev, näiteks millised on tegelikud pildiandmed ja mis on müraandmed. Nii et kui teil on üha rohkem teavet ja rohkemate kaadrite hulgast, saate tegelikult teha lihtsaid asju, näiteks vaadata kaadrite erinevusi. Erinevused on ilmselt müras, samas kui kaadrites võrdsed on tõenäoliselt pildiandmed.
Seega saame müra vähendamiseks seda reaalajas kaadrit kombineerida. Nüüd saate sama teha ka vähese valguse ja HDR-iga ning see sarnaneb tõenäoliselt Google'iga. Me ei tunne nende algoritmi. Kuid nad kasutavad tundlikkuse suurendamiseks mitme kaadri tehnikaid, et saaksite paremini "näha"; Kui olete mürataseme vähendanud, saate nüüd teha rohkem kohalikku toonide kaardistamist või lisada pildile võimendust ilma rohkem müra lisamata.
Nii saavad nad hakkama nii hämaras kui ka HDR-iga. Mitme kaadri müravähendusfunktsiooni täiustused tulevad Qualcommilt, mis hõlmab ka hämarat valgust ja HDR-i. Kuid see on midagi, mida me peagi avaldame.
Mishaal Rahman: Nii et mainisite selle funktsiooni peagi kasutuselevõtmist. Kas see tuleb nagu partnerite BSP värskendus?
Judd Heape: meie järgmise põlvkonna toodetes saame tarkvara lisamise kaudu suhelda – tegelikult toimub see kohe järgmisel põlvkonna tooted – tegeleme praegu klientidega, et lisaks müra vähendamisele teha rohkem mitme kaadri tehnikaid, aga ka HDR-i ja vähese valguse korral olukordi. See kasutab sama põhilist ISP HW mootorit, kuid lisame rohkem tarkvara, mis võimaldab nende mitme kaadri haldamist mitte ainult müra vähendamiseks.
Nii et see pole midagi, mis pole välja lastud, kuid me suhtleme nende funktsioonide osas mõne peamise juhtiva kliendiga.
Analüüs ja kontekst: Qualcommi spetsifikatsioonide tabel sisaldab iga uue Snapdragon SoC teadaandega mitme kaadri müra vähendamisega seotud spetsifikatsioone. Näiteks Snapdragon 865 oma kahe 14-bitise CV-ISP-ga toetab kuni hüpoteetilist 200 MP üksikkaamerat (kuigi kaameraandurite müüjad, nagu Sony, Samsung ja OmniVision, ei ole veel välja andnud ühtegi nutitelefoni kaameraandurit, mis on suurem kui 108 MP). Kui aga tegemist on ühe kaamera toega MFNR-i, nulli katiku viivituse (ZSL) ja 30 kaadrit sekundis toega, spetsifikatsioon muutub 64 MP-ks ja samade spetsifikatsioonidega kahe kaamera puhul muutub spetsifikatsioon väärtuseks 25 MP.
Qualcommi mitme kaadri müravähendus on väga sarnane HDR+-ga, kuid mitte täiesti sama, nagu Judd eespool selgitas. Kui HDR+ teeb rea alasäritatud säritusi ja keskmistab need parima foto saamiseks, siis MFNR teeb viis-seitse tavalist kaadrit. Tundub, et Qualcommi MFNR ei ole nii arenenud kui Google'i lahendus, sest HDR-i ja vähese valgusega ei mainita praeguses konkreetses prioriteedis. Spectra töövoog, samas kui Google'i HDR+ sihib samaaegselt HDR-i, hämaras pildistamist ja müra vähendamist, kusjuures öövaade võtab selle isegi hoo sisse. edasi. Siiski on julgustav teada, et MFNR saab täiustusi ja Qualcomm tutvustab neid täiustusi "mõnedele võtmeklientidele". Tulevikus ei vaja me võib-olla mitteametlikke Google'i kaamera porte, et saavutada mitte-Google'i Androidi nutitelefonide kaamerate täielik potentsiaal.
Super eraldusvõime video jaoks
Mishaal Rahman: Midagi, mida kuulsin tehnika tippkohtumisel. Tegelikult ma arvan, et see oli intervjuus Androidi asutus. Kas see, et Qualcomm kavatseb laiendada ülieraldusvõimet videole kui partnerite tarkvaralahendusele, ja see ilmub ilmselt värskendusena. Soovin teada, kas teil on selle funktsiooni kohta värskendusi, mida jagada.
Judd Heape: Jah, nii et see on funktsioon, mida oleme juba mõnda aega saanud teha ja see on alles nüüd saadaval. Ma ei ütleks, et see on tarkvarauuenduses, kuid ma ütleksin, et see on nagu olemasoleva mitme kaadri vähese valgusega funktsioonide lisaeelis. Suhtleme selle funktsiooni osas konkreetsete juhtivate klientidega. Nii et jah, video ülieraldusvõime on midagi teisest põlvkonnast või nii on meil see selline, nagu me oleme kutsuge välja salvestusplaani funktsioon, kus see on tegelikult [the] tarkvara koodibaasi sisse ehitatud kaamera. Kuid praegu on see rohkem seotud konkreetsete klientide kaasamisega selle uue funktsiooniga.
Analüüs ja kontekst: Ülieraldusvõime video jaoks on funktsioon, mida seni pole nutitelefonide kaamerates näidatud. See on nii uus valdkond, et sellest kirjutatakse siiani teadustöid. Mitme kaadri tehnika kasutamine fotograafias on üks asi, kuid nende kasutamine video jaoks, et suurendada video eraldusvõimet, on hoopis teine asi. Qualcomm ütleb, et see laseb selle funktsiooni taas "mõnedele võtmeklientidele" välja, kuid praegu pole see kaamera tarkvara koodibaasi sisse ehitatud. Tulevikus võib see olla kõigile kättesaadav, kuid praegu on see funktsioon, mida lõpptarbijad pole veel jõudnud isegi kasutada.
Suure megapiksliga Quad Bayeri andurid
Idrees Patel: Räägime Quad Bayeri anduritest. Alates 2019. aastast on paljudel telefonidel nüüd 48MP, 64MP ja nüüd isegi 108MP andurid. Need on Quad Bayeri andurid; tegelikult pole teil tegelikku värvieraldusvõimet 48 või 64 või 108 MP. Üks asi, mida ma tahtsin küsida, oli see, kuidas ISP erineb nende Quad Bayeri või Nona pilditöötluse osas Bayeri andurid (4-in-1 või 9-in-1 pikslite eraldamine), võrreldes traditsiooniliste anduritega, millel pole ühtegi pikslit binning.
Judd Heape: Jah, loomulikult on nende neljavärviliste CFA (Quad Color Filter Array) andurite eeliseks võime eredas valguses töötada. neid täiseraldusvõimega ja seejärel saab Interneti-teenuse pakkuja neid töödelda 108-megapikslise või 64-megapikslise või mis iganes. saadaval.
Kuid tavaliselt peate enamikus valgusolukordades, nagu siseruumides või pimedas, lahtrisse panema, kuna anduri pikslid on nii väikesed, et parema valgustundlikkuse saavutamiseks peate piksleid kombineerima. Seega ma ütleksin, et enamiku ajast, eriti kui pildistate videot või kui olete hetkepildi tegemiseks hämaras, töötate binned režiimis.
Nüüd saab Interneti-teenuse pakkuja andurit töödelda mõlemal viisil. Saate vaadata andurit binned režiimis, sel juhul on see lihtsalt tavaline Bayeri pilt, või see võib vaadata seda täiseraldusvõimega režiimis, kus sissetulevad andmed on quad CFA. Ja kui see on selles režiimis, teisendab Interneti-teenuse pakkuja selle Bayeriks.
Nii et me teeme – mida me nimetame – "remosaitsiiniks". See interpoleerib neljakordse CFA kujutist, et see näeks uuesti välja nagu täiseraldusvõimega Bayer. Ja seda tehakse tavaliselt hetktõmmise tarkvaras, kuigi lõpuks lisame selle võimaluse ka riistvarasse, et toetada ka videot.
See, mis ISP riistvaras täna on, on binning. Nii saate anduri sisestada ja anduril on võimalik otsustada, kas see väljastab täis- või veerand- või 1/9 eraldusvõime, või saate selle salvestada Interneti-teenuse pakkujas. Ja see on funktsioon, mille me Snapdragon 865-sse lisasime. Seega, kui sisestate ISP-sse ja käivitate seejärel anduri täiseraldusvõimega, on Interneti-teenuse pakkujal võimalus kasutada korraga nii täiseraldusvõimega pilti kui ka kogutud pilti. Seetõttu saab see kasutada väiksemat eraldusvõimet ehk "binned" pilti video (kaamera) ja eelvaate (pildiotsija) jaoks ning samaaegselt kasutada täissuuruses hetktõmmise tegemiseks täiseraldusvõimega pilti.
Aga jällegi, see oleks eredate valgustingimuste korral. Kuid vähemalt Interneti-teenuse pakkujas on teil võimalus hallata nii suurt kui ka väikest pilti samal ajal ja seetõttu saate samaaegselt video ja hetktõmmise saada ka täiseraldusvõime ZSL; seda kõike ilma andurit edasi-tagasi vahetamata, mis võtab palju aega.
See on tõesti hea omadus. Ja nagu Quad CFA andurid ja isegi te teate, tulevad välja 9x andurid ja võib-olla isegi rohkem, ja mida rohkem neid andureid muutub üldlevinud – otsime üha enam nende andurite käsitlemist riistvaras, mitte ainult binnimiseks, vaid ka remosaitsiin.
Selle eeliseks on see, et kui teete seda riistvaras, võrreldes tarkvaraga, vähendate seda latentsusaeg teie klientide jaoks ja seetõttu on teie pildistamise aeg ja sarivõtte kiirus palju kiirem. Nii et uute Interneti-teenuse pakkujate ja uute kiipidega edasi liikudes hakkate nägema palju rohkem seda, mida me teeme nende uut tüüpi andurite jaoks, mis on lisatud riistvarasse.
Analüüs ja kontekst: Huawei oli esimene, kes kasutas koos 40 MP Quad Bayeri andurit Huawei P20 Pro 2018. aastal ja Quad Bayeri andurite populaarsus oli nii kõrge, et nüüdseks on see jõudnud isegi 150-dollariliste telefonideni, mis töötavad Snapdragoni/Exynose/MediaTeki kiipidega. Eelkõige oleme näinud nutitelefonide tööstust, mis on jõudnud 48 MP ja 64 MP kaamerateni, samas kui mõned telefonid ulatuvad isegi 108 MP. Quad Bayeri ja Nona Bayeri andurid ei tule ilma negatiivseteta, kuna nende täiseraldusvõimega kaasnevad hoiatused.
Turunduslikel põhjustel kõlab aga 48MP sensor palju paremini kui 12MP sensor, isegi kui kasutaja teeb suurema osa ajast niikuinii 12MP pikslitega binned fotosid. 48 MP sensor peaks teoreetiliselt andma hämaras paremad 12 MP piksliga ühendatud fotod kui traditsiooniline 12 MP sensor, kuid pilditöötlus peab sammu pidama ja nagu ma allpool mainin, on selleni veel pikk tee minna juhtuma. Sellest hoolimata oli huvitav näha, kuidas Spectra ISP käsitleb Quad Bayeri remosaitsiiniga andureid. Nendes andurites ja sellistes telefonides nagu OnePlus 8 Pro (mis kasutab suurte pikslitega Sony IMX689 Quad Bayeri andurit) on palju potentsiaali. on praegu nutitelefonide kaamerate tipus.
ML-põhine näotuvastus
Mishaal Rahman: Nii et ma arvan, et varem mainisite, et Spectra 480 toetab ML-põhist näotuvastust. See on midagi, mida ma tehnika tippkohtumisel tegelikult kuulsin. [See on] üks täiustustest 380-lt 480-le; et see on osa – videoanalüüsi mootoris on uus objektiivi tuvastamise plokk, mida kasutatakse edaspidi ruumilise tuvastamise jaoks.
Kas saate rääkida lähemalt, kui palju see näotuvastust parandab ja milliseid potentsiaalseid rakendusi näete seda müüjate poolt kasutamas?
Judd Heape: Jah, tegelikult, nii et teil on õigus manustatud arvuti nägemisplokis, mis on "EVA" plokk, millest me Tech Summitil rääkisime. Sellel on üldine objekti tuvastamise tuum, mida kasutame kaamera töötamise ajal, me kasutame seda nägude tuvastamiseks. Selle ploki tehnikad on traditsioonilisemad, nii et objektide tuvastamine toimub traditsiooniliste tehnikatega klassifikaatorid, kuid lisaks sellele töötab meil tarkvaramootor, mis selle täpsust tegelikult parandab blokk.
Seega kasutame valepositiivsete tulemuste välja filtreerimiseks ML-põhist tarkvara, kuna riistvara võib tuvastada stseenis rohkem asju nägudena ja siis on ML-tarkvara öeldes: "okei, see on nägu" või "see pole tõesti nägu" ja see suurendab täpsust mõne protsendipunkti võrra, käivitades selle ML-filtri riistvara.
Mainisin palju asju tuleviku kohta. Tulevikus plaanime ka tegeliku näotuvastuse käivitada ML-s või tarkvara sügavas õpperežiimis. Eriti kehtib see madalamate tasemete puhul, nii et näiteks tasemel, kus meil pole EVA riistvaramootorit, hakkame järk-järgult kasutama sügavat õppimist. tuvastamisena, mis töötab kiibi AI-mootoris ja hiljem, 700–800 astme ülemistes astmetes, on meil selleks EVA riistvara...
Ütlen siiski üldiselt, et me liigume näotuvastuse tegemiseks rohkem ML-lähenemisviiside poole ja see hõlmaks nii tarkvara keskmises perspektiivis kui ka riistvara hilisemas perspektiivis. Ma ei kavatse avaldada, millistel toodetel see on, kuid loomulikult lisame Interneti-teenuse pakkuja täiustamise suunas üha rohkem riistvaravõimalusi, kindlasti.
Mishaal Rahman: Vinge. Noh, ma arvan, et see on iseenesestmõistetav, et teie suund on viia 800-seeria masinõppe täiustused madalamale tasemele, nii et ma arvan, et see on üldiselt ette antud. Kuid loomulikult ei saa te meile selle kohta mingeid üksikasju anda. Aitäh uuenduse eest.
Judd Heape: Näotuvastus on midagi, mille vastu oleme väga kirglikud. Tahame neid täpsusi parandada, teate põlvkondade kaupa kõikidel tasanditel alates 800. tasemest kuni 400. tasandini. ML on selles suur osa.
Analüüs ja kontekst: Need aspektid annavad nutitelefoni fotograafiale palju rohkem potentsiaali võrreldes isegi uusimate peeglita kaameratega. Jah, peeglita kaamerad on hämaras parema pildikvaliteediga ja palju paindlikumad, kuid nutitelefonide kaamerad ületavad oma piiranguid leidlike viiside abil. ML-põhine näotuvastus on vaid osa sellest.
Pilditöötlusmootori täiustused
Mishaal Rahman: Vinge. Nii et üks asi, mida ma pärast Snapdragon Tech Summitit toimunud ümarlauavestlustel lühidalt kuulsin, oli pilditöötlusmootori täiustamine. Ma kuulsin, et seal on täiustatud madala kesksagedusega müra vähendamist või LEANR-i. Ja et te rakendate dünaamilist pöördvõimenduse kaarti; kas see on midagi, mida te varem vestluses mainisite.
Judd Heape: Oeh olgu. Nii et ma arvan, et sa ajad kaks asja kokku. Jah, seega on olemas LEANR-tuum, mis töötab jämedamate teradega müra vähendamisel, mis aitab hämaras. See on uus plokk, mis lisati Snapdragon 865-s ISP-sse, ja see on üks asi.
Vastupidine võimenduskaart on midagi muud. See on midagi muud, mida ma ümarlaudades mainisin, kuid see on objektiivi varjutamise mõju ümberpööramine. Nagu teate, kui teil on telefonitoru ja sellel on väike objektiiv; objektiivi keskosa on hele ja servad on rohkem vinjeteeritud; see tähendab, et need muutuvad tumedamaks.
Varasematel aastatel oleme ISP-s kasutanud staatilist pöördvõimenduse kaarti, et neist tumedatest servadest vabaneda. Ja nii on see Interneti-teenuse pakkujas olnud juba mõnda aega. Snapdragon 865-s lisasime aga selle võimenduskaardi võime dünaamiliselt muutuda, arvestades konkreetset pildiraami, sest kui rakendate servadele palju võimendusi juhtub see, et servad võivad kärpida, eriti kui vaatate õues heledaid stseene, näiteks sinine taevas võib muutuda valgeks või servad katkevad paljude häirete tõttu. kasu.
Nii et Snapdragon 865 puhul pole see vastupidise võimenduse kaart staatiline; see on dünaamiline. Nii et me vaatame pilti ja ütleme: "okei neid pildi osi kärbitakse ja neid ei tohiks teha", et saaksime rullida võimenduskaardilt loomulikult välja, et objektiivi korrigeerimisel ei tekiks eredaid äärejooni ega haloefekte ega muud sellist varjutamine. Nii et see erineb müra vähendamisest ja need on kaks erinevat tuuma.
Pildistamine vähese valgusega ja agressiivne müravähendus
Idrees Patel: Nii et üks asi, mida ma tahtsin küsida, oli hämaras fotograafia. Nagu viimastel aastatel, on olnud palju [OEM-i juurutatud] öörežiime, kuid üks asi, mida olen märganud, on see, et Paljud seadmete tootjad kasutavad agressiivset müravähendust, mis vähendab detaile nii kaugele, et heledusmüra on ühtlane. eemaldatud.
Seega on minu küsimus selles, et kas Qualcomm soovitab seadmetootjatel seda mitte teha ja kas see on midagi, mida nende töötlemiskonveierid teevad või mõjutab seda SoC-i Interneti-teenuse pakkuja.
Judd Heape: Suur osa sellest on seotud häälestamisega ja kui sul pole mitmekaadrilist või ma ütleksin, et väga head pildisensorit pole saadaval, siis suure tundlikkusega või madala f-arvuga optikaga. Üks viis mürast vabanemiseks just hämaras on rakendada rohkem müravähendust, kuid suurema müra vähendamise korral kaotate üksikasjad, mistõttu teravad servad muutuvad uduseks. Nüüd saate sellest lahti, kui rakendate neid mitme kaadri tehnikaid. Või kui kasutate AI-tehnikaid, mis suudavad välja selgitada, kus on objektide ja nägude servad, ja muud sellist. Seega ei ole praegusel ajal lihtsalt jõulise jõuga müra vähendamise rakendamine tegelikult õige viis sellega toime tulla, kuna kaotate detaile.
Mida soovite teha, on teha mitme kaadri tehnikaid või AI tehnikaid, et saaksite endiselt müra rakendada vähendamine pigem objektide sisepindadeks, säilitades samal ajal ilusad puhtad servad või teravad servad objektid. Ütleksin nii: tehisintellekti või mitme kaadri kasutamine on viis müra vähendamiseks ja edaspidiseks hämaras pildi parandamiseks.
Idrees Patel: Jah, ja just seda ma kuulda tahtsin. [See on], sest see on peamine asi, mis eristab suurepäraseid nutitelefonikaameraid keskmise või eelarve astme kaameratest.
Judd Heape: Jah.
Idrees Patel: Suurepärased nutitelefonikaamerad teavad, millal mürasummutust rakendada ja millal mitte.
Judd Heape: Täpselt. Jah, ja nagu ma ütlesin, teevad kaamera häälestamise tõesti meie kliendid või originaalseadmete tootjad ning mõned originaalseadmete tootjad eelistavad pehmemat pilti, millel on vähem müra. Mõned eelistavad paljastada rohkem detaile, võib-olla veidi rohkem müra.
Ja seega on see kompromiss ja seega on teil piirangud. Ja nagu ma ütlesin, et parim asi, mida teha, on hankida parem pildisensor, millel on suurem tundlikkus, suuremad pikslid või väiksema f-arvuga optika, sest siis saab algusest peale rohkem valgust sisse, see on alati parem. Aga kui te seda teha ei saa, siis selle asemel, et lihtsalt mürasummutamist suurendada ja detaile kaotada, soovite kasutada mitme kaadri või AI tehnikaid.
Analüüs ja kontekst: See on minu arvates praegu nutitelefonide kaamerate suurim probleem. Jah, saate kasutada 48MP või 64MP või isegi 108MP sensorit. Kui te aga MFNR-i või AI-tehnikatega vaoshoitud mürasummutust ei kasuta, pole kõigist nendest megapikslitest, 4-in-1 binningist ja isegi 9-in-1 binningust palju kasu. Galaxy S20 Ultra on siin parim näide selle 108MP põhikaamerana peeti suures osas pettumuseks. Samsung läks pilditöötluses tagasi, kasutades oma 2020. aasta lipulaevades öörežiimides äärmiselt agressiivset mürasummutust, samas kui 2019. aasta Galaxy S10 seerial oli raudselt parem pildikvaliteet.
Judd paljastab, et mõned originaalseadmete tootjad eelistavad tegelikult pehmemat ja väiksema müraga pilti, mis on põhimõtteliselt vale valik. Häälestamise teevad seadmetootjad ja seega võivad kaks sama andurit ja sama SoC-i toitega telefoni väljastada väga-väga erinevaid fotosid. Tuleb loota, et need seadmetootjad õpivad tõde oma paremini toimivatelt konkurentidelt. Kui Samsung kaotas sel aastal pilditöötluses tee, siis OnePlus on olnud terav kontrast. OnePlus 8 Pro on üks parimaid nutitelefonikaameraid turul, mis on märkimisväärne saavutus, arvestades OnePlus 5T kaamera väga kehva väljundit 2017. aastal. Pilditöötluse mõtteviis peab muutuma, et fotod tuleksid teravad, olenemata sellest, kui palju megapiksliseid sõda käib.
AV1 dekodeerimine ja kodeerimine
Mishaal Rahman: Nii et see on veidi eraldi teistest aruteludest, mis meil kaamerakvaliteedi teemal on. Üks asi, mida mõned avatud lähtekoodiga meediumikoodeki kogukonna inimesed on mõelnud, on see, millal Qualcomm toetab AV1 dekodeerimine ja võib-olla ka kodeering. Ma tean, et see on natuke veniv, kuid Google nõuab 4K HDR-i ja 8K telereid operatsioonisüsteemis Android 10, et toetada AV1 dekodeerimist ja Netflixi. Youtube, alustavad nad AV1-sse kodeeritud videote levitamist. Nii et see näeb välja nagu AV1-kodeeringuga videote aeglane tõus. Nii et me mõtleme, millal on Spectras saadaval vähemalt dekodeerimise tugi.
Qualcommi avaldus: Teie küsimuse kohta AV1 kohta – meil pole täna midagi teatada. Snapdragon on aga praegu võimeline tarkvara kaudu AV1 taasesitama. Qualcomm töötab alati koos partneritega järgmise põlvkonna koodekite kallal tarkvara ja riistvara loomise kaudu Snapdragon on liider HDR-koodekite vallas, sealhulgas HEIF, HLG, HDR10, HDR10+ ja Dolby jäädvustamise ja taasesituse vallas Nägemus. Muidugi mõistame, et pakume oma klientidele parimaid CODEC-kogemusi, sealhulgas kõrge eraldusvõime ja väikseima võimsuse tugi, et nende rakendamine HW-s on soovitav.
Videosalvestus – liikumise kompenseerimine
Mishaal Rahman: Nii et ma ei tea, kas Idreesil on rohkem küsimusi, kuid mul oli üks küsimus millegi kohta, mida ma Snapdragon Tech Summitil tagasi lugesin. See puudutab liikumiskompenseeritud videotuuma. Kuulsin, et liikumiskompensatsiooni mootorit on täiustatud, et vähendada video salvestamisel tekkivat müra. Ma mõtlesin, kas saate laiendada, mida täpselt on parandatud ja mida on tehtud.
Judd Heape: EVA (videoanalüüsi mootor) mootorit on täiustatud tihedama liikumiskaardi tuumaga, nii et EVA mootor, näiteks vaatab alati sissetulevat videot ja sellel on tuum, mis teeb liikumist hinnang. Oleme teinud selle tuuma palju täpsemaks, kui see teeb seda peaaegu piksli tasemel, mitte nagu rohkem. jäme ploki tase ja seega saame Snapdragon 865 EVA mootorist palju rohkem liikumisvektoreid kui eelmises versioonis põlvkonnad. Ja see tähendab, et kodeeriv videotuum saab neid liikumisvektoreid rohkem kasutada kodeerimise kohta täpne, kuid kaamerapoolne Interneti-teenuse pakkuja kasutab seda teavet ka müra jaoks vähendamine.
Nagu teate, oleme põlvkondade kaupa kasutanud liikumiskompenseeritud ajalist filtreerimist, mis on tegelikult aktiivne müra vähendamine video ajal, mis keskmistab kaadrite arvu aja jooksul, et mürast vabaneda.
Selle tehnika probleem on aga selles, kui teil on stseenis liikumine. Liikumine lükatakse mürasummutuse tõttu lihtsalt tagasi, sest seda ei saa käsitseda või see määrib, ja liigutavatele asjadele ilmuvad koledad jäljed ja artefaktid. Nii et liikumisega kompenseeritud ajalises filtreerimises, mida me oleme varem teinud, kuna meil polnud seda tihedat liikumiskaarti kohalike jaoks motion, oleme lihtsalt lahendanud ainult kaamera liigutamise juhtumeid, see on üsna lihtne, sest kõik liigub globaalselt.
Aga kui pildistate midagi ja teil on stseenis liikumas objekt, siis see, mida me varem tegime, [oli see] me lihtsalt eirasime neid piksleid, kuna me ei saanud neid müra jaoks töödelda, kuna see oli lokaalselt liikuv objektiks. Ja seetõttu, kui te keskmistasite kaadri kaupa, oli objekt iga kaadri kohta erinevas kohas, nii et te ei saanud seda tegelikult töödelda.
Kuid Snapdragon 865 puhul, kuna meil on tihedam liikumiskaart ja meil on võimalus vaadata liikumisvektoreid peaaegu piksli ulatuses pikslipõhiselt suudame tegelikult neid kohapeal teisaldatud piksleid kaaderhaaval müra vähendamiseks töödelda, samas kui varem me ei saanud seda teha. Arvan, et mainisin kõnes mõõdikut. Ma ei mäleta numbrit (see oli 40%) kuid see oli enamiku videote puhul keskmiselt suur pikslite protsent, mida saab nüüd müra jaoks töödelda, samas kui eelmise põlvkonna puhul ei saanud seda teha. Ja see on tõesti osaliselt tingitud võimest mõista kohalikku liikumist, mitte ainult globaalset liikumist.
Videosalvestus – HDR
Idrees Patel: Teine küsimus, mis mul on, puudutab HDR-videot. Sel aastal näen palju rohkem seadmetootjaid, kes pakuvad HDR10 videosalvestust. Nii et kas see on midagi, mida reklaamiti Snapdragon 865-ga või on see olnud seal juba paar põlvkonda.
Judd Heape: Oh jah, nii nagu me sellest Tech Summitil rääkisime, on meil olnud HDR10, mis on HDR-i videostandard. Usun, et kaamera kodeerimise pool on juba paar põlvkonda, alates Snapdragon 845-st, ja me oleme seda pidevalt täiustanud et.
Nii et eelmisel aastal rääkisime HDR10+-st, mis on 10-bitine HDR-salvestus, kuid staatiliste metaandmete asemel on sellel dünaamilised metaandmed, seega on kaamera jäädvustatud metaandmed. stseeni ajal salvestatakse tegelikult reaalajas, nii et selle taasesitamisel saab taasesitusmootor aru, kas tegemist oli pimeda või valgusküllase ruumiga, ning suudab kompenseerida et.
Samuti rääkisime eelmisel aastal Tech Summitil Dolby Visioni jäädvustamisest, mis on Dolby alternatiiv HDR10+-le. See on väga sarnane seal, kus nad tegelikult toodavad ka dünaamilisi metaandmeid. Seega toetab Snapdragon täna kõiki kolme vormingut: HDR10, HDR10+ ja Dolby Vision jäädvustamine. Ja seega pole tegelikult mingeid piiranguid, meie originaalseadmete tootjad saavad valida, millist meetodit nad eelistavad. Meil on olnud kliente, kes on kasutanud HDR10 juba mõnda aega ning eelmisel ja sel aastal on järjest rohkem kliente valinud HDR10+. Ja ma arvan, et tulevikus võetakse kasutusele ka Dolby Vision Capture.
Nii et jah, me oleme seda kõvasti propageerinud. HDR on meile väga oluline nii hetktõmmise kui ka video poole pealt. Ja nagu ma ütlesin, oleme pühendunud HDR10 ja HDR10+ ja nüüd Dolby Visioni vormingutele, teate juba alates Snapdragon 845-st ja nüüd isegi hiljutisest Snapdragon 865-st Dolby Visioni jaoks.
Mishaal Rahman: Samuti ei olnud ma tegelikult kindel, kas mõni müüja on veel Dolby Visioni salvestust rakendanud, kuid arvan, et see vastab sellele küsimusele. [See on] midagi, mida me tulevikus näeme.
Judd Heape: Muidugi – ma ei oska kommenteerida, millised müüjad on huvitatud ja missugused. See oleks küsimus Dolbyle; see on nende funktsioon ja kui soovite selle kohta lisateavet, soovitan võtta ühendust Dolbyga. Kuid minu teada pole siiani olnud ühtegi telefoni, mis oleks Dolby Vision Capture'iga välja tulnud.
Idrees Patel: Sest vajate ka kuvatuge. Märkasin, et nutitelefoni ekraanid toetavad HDR10 ja HDR10+, kuid mitte Dolby Visioni.
Judd Heape: Jah, tegelikult, aga Dolby Visioni taasesitust on Snapdragon varem toetanud. See võib töötada teatud kuvariga ja ekraan ei pea tingimata vastama ühelegi konkreetsele kriteeriumile, et olla Dolby Visioniga ühilduv, välja arvatud Dolby hindab ekraani ja veendub, et sellel on teatud värvigamma, gamma, teatud bitisügavus, teatud heledus ja teatav kontrast suhe.
Nii et teate, võite osta HDR10 ekraani, kuid võite osta ka telefoni, mis toetab Dolby Visioni taasesitus, kuid Doby on selle kuva kvalifitseerinud, et veenduda, et see vastab nende rangetele nõuetele nõuded.
Koostöö tarkvaramüüjatega: Imint, Morpho ja Arcsoft
Mishaal Rahman: Ma arvan, et mul on vaid üks küsimus, millega ma peaksin edasi tegelema ja kellega rohkem uurida, on üks ettevõte, kellega oleme hiljuti rääkinud. Imint. Nad uuendasid hiljuti oma Vidhance'i stabiliseerimistarkvara juurde töötage Spectra 480-ga. Ma tean, et te töötate paljude ettevõtetega, kes kasutavad ära ka Spectra 480 töötlemist. Ma ei tea, kas saate avaldada rohkem näiteid nendest tehnoloogiatest, mis on või partnerid, kes olete koos töötanud, et see] oleks midagi, mida võiksime jälgida, et saada lisateavet selle kohta, kuidas Spectra 480 kasutatakse valdkonnas.
Judd Heape: Teeme koostööd paljude tarkvaramüüjatega. Nagu me varem mainisime, on Dolby üks neist. On ka teisi, nagu te mainisite, Imint/Vidhance for EIS (elektrooniline pildistabilisaator). Mainisime enne ka Morphot ja Arcsofti, nendega teeme samuti väga tihedat koostööd.
Mis puudutab aga seda, kuidas me nendega töötame, siis meie poliitika on see, et tahame nende sõltumatute tarkvaramüüjatega tõesti tihedat koostööd teha ja olla kindlad, et mida iganes nad tarkvaraga teevad, saavad nad Snapdragoni riistvara kasutada, et saavutada madalaim energiatarbimine võimalik.
Nii et üks asi, mida me nende müüjatega teeme, on tagada, et neil oleks tõesti hea juurdepääs HVX mootorile või Hexagon DSP tuumale. Samuti kasutavad nad EVA-mootorit liikumisvektorite hankimiseks ja riistvara kasutamiseks ning EVA-mootoris pilditöötluseks, et nad saavad teostada kujutise liigutamist, tõlkimist ja moonutamist ja muud sellist riistvaras, selle asemel et kasutada selleks GPU-d et.
Ja nii, me teeme nende ISV-dega, eriti nendega, mida eriti mainisin, tihedat koostööd, et olla kindel, et nad ei pane kõike lihtsalt ja tarkvara protsessoris, kuid nad kasutavad parema jõudluse ja väiksema võimsuse saavutamiseks selliseid asju nagu DSP ja EVA riistvarakiirendid tarbimist. Seega on see ka meie jaoks väga oluline, sest see annab meie klientidele parima võimaliku kombinatsiooni funktsioonidest ja energiatarbimisest.
[Juddi lõppkommentaarid]: Tahtsin lihtsalt öelda, tänan teid kõigi tõeliselt heade küsimuste eest. Need on tõesti väga üksikasjalikud. Olen olnud Qualcommis umbes kolm aastat ja vaadanud meie minevikku, isegi väljaspool oma ametiaega siin, kus me varem Spectraga alustasime. Snapdragon 845, tegime viimaste aastate jooksul kõvasti tööd, et oluliselt parandada ISP-d ja kaamerat ning lihtsalt üldist kogemust. aastat. Olen väga põnevil isegi selle üle, mis tulevik toob. Ja ma olen põnevil, mida me tulevastel tehnika tippkohtumistel välja kuulutame, mille kohta saate küsida ja kirjutada. [Spectra Camera] on minu arvates ilmselt üks põnevamaid tehnoloogiaid Qualcommis.
Viimased Mõtted
Tore oli Juddiga arutleda Qualcommi panuse üle nutitelefonide fotograafias. Meil võivad olla segased tunded ettevõtte ja nende patendilitsentsimissüsteemi suhtes, kuid Qualcommi märki nutitelefonitööstuses tunnevad kõik, olenemata sellest, kas räägite patendid, 4G ja 5G, Wi-Fi, Adreno GPU-d, Spectra Interneti-teenuse pakkujad ja Snapdragoni kiibid ise, mida peetakse suures osas Androidi nutitelefonide kuldstandardiks. turul.
Nutitelefonide pildistamises on veel palju valupunkte, mis tuleb lahendada, kuid tulevik on nii särav kui Qualcomm lubab, et teha rohkem edusamme ML tohututes ja kasvavates valdkondades, mis AI. Vaatame, mida on Qualcommil selles valdkonnas järgmisel Snapdragon Tech Summitil teada anda.