Qualcomm Judd Heape paskaidro, kā Qualcomm uzlabo kameru pieredzi Android tālruņos, izmantojot jaunas funkcijas savos Spectra ISP.
Kā sistēmu mikroshēmu (SoC) ražotājs, kas nodrošina lielu daļu pasaules viedtālruņu un valkājamo ierīču, ASV bāzētais Qualcomm neapšaubāmi ir viens no mikroshēmu ražotāju nozares milžiem. Piemēram, Snapdragon SoC līniju izmanto gandrīz visi lielākie Android ierīču ražotāji vadošajiem, vidējas klases un budžeta viedtālruņiem. Qualcomm katru gadu saņem atzinību uzņēmuma ikgadējā tehnoloģiju samitā par sasniegumiem CPU, GPU un AI jomās, jo tajā ir iekļautas ARM jaunās CPU mikroarhitektūras. un papildina tos ar ikgadējiem uzlabojumiem pielāgotajos GPU. Tomēr tā sasniegumi kameru jomā nav tik ļoti pamanīti, jo tie mēdz būt zem radars.
Tomēr tas nenozīmē, ka Qualcomm darbs viedtālruņu kamerās ir mazsvarīgs. Gluži pretēji, Qualcomm Spectra ISP Snapdragon SoC palīdz padarīt daudz mūsdienu viedtālruņu kameru iespējamas ar palielinātu skaitļošanas apstrādes jauda, tādas funkcijas kā 8K video ierakstīšana, HDR10 video, augstas megapikseļu QCFA kameru atbalsts un daudz kas cits vairāk. Qualcomm ir reklamējis Spectra 380 ISP Snapdragon 855
bija pasaulē pirmais CV-ISP, un tas ir veicinājis pasaulē pirmās 4K HDR video ierakstīšanas funkcijas, kas tagad ir papildinātas ar 2. paaudzes 4K HDR10+ video ierakstīšanu. Spectra 480 ISP jaunākajā paaudzē Snapdragon 865 ir ļoti spējīgs - tas var apstrādāt divus gigapikseļus sekundē, kas ir par 40% vairāk nekā tā priekšgājējs. Tas ir intelektuālais īpašums (IP), kas atšķir Qualcomm no tā konkurentiem mobilo mikroshēmu piegādātāju jomā.Lai gan Qualcomm savos preses relīzēs un produkta pamatnostādnēs izskaidro lielāko daļu virsrakstu funkciju, uz augšu līdz šim patērētājiem nav bijusi iespēja uzzināt lielāko daļu zemā līmeņa detaļu, kas padara šīs lietas strādāt.
Tāpēc mēs, XDA Developers, ar prieku pieņēmām piedāvājumu runāt ar Džadu Hīpu, Qualcomm produktu vadības vecāko direktoru. XDA galvenais redaktors Mišāls Rahmans un man bija intervija ar Džadu 2020. gada jūnijā, lai uzzinātu un redzētu, kā Qualcomm virza vārtu stabus ar viedtālruņa fotografēšanu un video ierakstīšanu. Mēs runājām par tēmām, tostarp AI attēlu apstrādi, vairāku kadru trokšņu samazināšanu (MFNR), AV1, Dolby Vision video ierakstīšanu, pikseļu sadalīšanu liela megapikseļu kamerās un daudz ko citu. Apskatīsim Džada ieskatus katrā tēmā pa vienam:
AI attēlu apstrādes slodzes
Mišals Rahmans: Sākšu ar vienu no tiem, kas bija Idrīsam, kas ir interesants un kas arī mani ieinteresēja. Tāpēc mēs domājam, kādas ir AI attēlu apstrādes darba slodzes, ko Qualcomm izmanto Spectra ISP, un cik lielā mērā tās var pielāgot ierīču ražotāji?
Džads Hīps: Jā, tāpēc mēs aplūkojam daudzas AI darba slodzes, un daži AI var darboties pašā ISP. kā, piemēram, mūsu nākamās paaudzes 3A: automātiskā ekspozīcija, automātiskais baltā balanss un autofokuss ir AI pamatā.
Bet mēs arī aplūkojam dažas citas AI darba slodzes, kas darbotos ārpus ISP, vienā no citiem skaitļošanas elementiem. Tāpēc mēs īpaši aplūkojam tādas lietas kā: mums ir AI balstīts trokšņu samazināšanas kodols, kas darbojas ārēji no ISP, mikroshēmas AI dzinēja (AIE) daļā.
Mums ir arī tādas lietas kā sejas noteikšana, kas ir pilna dziļas mācīšanās dzinējs, kas darbojas arī AIE kompleksā, bet, protams, palīdz kamerai. Un ir arī citas lietas, pie kurām mēs strādājam, izņemot sejas noteikšanu un trokšņa novēršanu; mēs arī meklējam tādas darbības kā momentuzņēmumu automātiska pielāgošana, izmantojot AI, kas automātiski iestatītu parametrus katrai ainai, pamatojoties uz HDR saturu, mēs apstrādāsim, lai mainītu ēnas un izgaismojumus, krāsas un šāda veida lieta.
Viens no mūsu partneriem Morpho šogad tikko ieguva milzīgu AI darba slodzes balvu Embedded Vision Summitā. Neatkarīgiem programmatūras piegādātāju partneriem ir arī daudz patiešām intensīvu uz AI balstītu algoritmu, un tie var būt dažādi, piemēram, vienmērīga kamera. pāreju uz Morpho semantisko segmentāciju, piemēram, to, ko dara Arcsoft. dzinējs. Morpho risinājums ir mākslīgā intelekta dzinējs, kas izprot dažādas ainas daļas, piemēram, to, ko jūs zināt, audumu pret ādu pret debesīm un zāli un ēka un tamlīdzīgas lietas, un tad ISP var iegūt šo informāciju un citādi apstrādāt šos pikseļus tekstūrai, trokšņiem un krāsām piemērs.
Qualcomm paziņojums: Attiecībā uz ML un AI mēs arī šodien nepaziņojam par jauniem atjauninājumiem sejas noteikšanas un “3A” (AE, AF un AWB) funkcijām. Tomēr, kā teica Džads, mēs esam apņēmušies turpmāk nodrošināt kamerā vairāk ML/AI iespēju, tostarp šajās divās funkciju jomās.
Analīze un konteksts: AI viedtālruņos lielākoties tiek uzskatīts par populāru vārdu kopš brīža, kad Android tālruņos sāka parādīties pirmie neironu apstrādes bloki (NPU) un "AI balstītas" funkcijas. Tomēr tas nenozīmē, ka pats AI ir bezjēdzīgs. Gluži pretēji, mākslīgajam intelektam ir liels potenciāls mobilajās ierīcēs, līdz pat vietai, kur mikroshēmu pārdevēji un ierīču ražotāji tikai saskrāpē to, kas ir iespējams.
Pateicoties mākslīgajam intelektam, viedtālruņu kameras ir kļuvušas labākas - dažreiz ātri, dažreiz mokoši lēni, bet tās sasniedz. Viedtālruņu kameras pārvar fundamentālus ierobežojumus, piemēram, salīdzinoši mazākus sensorus, fiksētus fokusa attālumi un sliktāka optika ar viedo skaitļošanas fotogrāfiju, ko nodrošina mašīnmācīšanās (ML). Automātiskā ekspozīcija, trokšņu samazināšana, sejas noteikšana un segmentācija ir tikai daži no laukiem, kuros AI viedtālruņa fotogrāfijā ir spējis ietekmēt. Nākamajos piecos gados šie topošie mākslīgā intelekta lauki, kas uzlabos dažādus fotografēšanas aspektus, ļoti nobriest.
Vairāku kadru trokšņu samazināšana
Idrīss Patels: Qualcomm ir minējis vairāku kadru trokšņu samazināšanu kā funkciju. Es vēlētos uzzināt sīkāku informāciju par to, piemēram, par to, kā darbojas attēlu sakraušana. Vai tas ir kaut kā līdzīgs tam, ka Google dara ar savu HDR+ tehnoloģiju, vai arī tas ir pilnīgi atšķirīgs?
Džads Hīps: Tas ir līdzīgs, bet atšķirīgs. Iedomājieties, ka kamera veic sēriju un ātri pēc kārtas uzņem piecus līdz septiņus kadrus. Pēc tam ISP dzinējs aplūko šos rāmjus un izvēlas labāko (sauktu par "enkura rāmi"). fokuss un skaidrība, un pēc tam tas var izvēlēties 3–4 kadrus abās šī kadra pusēs un pēc tam tos visus aprēķināt kopā. Tas mēģina izvēlēties rāmjus, kas atrodas pietiekami tuvu viens otram, lai būtu ļoti maz kustības.
Un, kad tas nokārtojas uz šiem kadriem, tas pēc tam nosaka to vidējo vērtību kopā, lai noteiktu, kas atšķiras, piemēram, kas ir faktiskie attēla dati un trokšņa dati. Tātad, kad jums ir arvien vairāk informācijas no arvien vairāk kadriem, jūs faktiski varat veikt vienkāršas darbības, piemēram, aplūkot atšķirības starp kadriem. Atšķirības, iespējams, ir troksnis, bet tas, kas ir vienāds kadros, iespējams, ir attēla dati.
Tātad mēs varam apvienot šo reāllaika kadru, lai samazinātu troksni. Tagad jūs varat darīt to pašu ar vāju apgaismojumu un HDR, un tas ir līdzīgs tam, ko, iespējams, dara Google. Mēs neesam informēti par viņu algoritmu. Bet viņi izmanto vairāku kadru paņēmienus, lai palielinātu jutību, lai jūs varētu labāk "redzēt"; Kad esat samazinājis trokšņu līmeni, tagad varat veikt vairāk vietējo toņu kartēšanas vai attēla palielināšanas, nepievienojot papildu troksni.
Tātad viņi izturas pret vāju apgaismojumu, kā arī ar HDR. Uzlabojumus vairāku kadru trokšņu samazināšanas funkcijai nodrošinās Qualcomm, kas ietvers arī vāju apgaismojumu un HDR. Bet tas ir kaut kas, ko mēs drīzumā izlaidīsim.
Mišals Rahmans: Tātad jūs minējāt šīs funkcijas drīzu ieviešanu. Vai tas nāk kā BSP atjauninājums partneriem?
Džads Hīps: mūsu nākamās paaudzes produktos, izmantojot programmatūras papildinājumu, mēs varēsim sazināties ar — patiesībā tas notiek tieši tagad nākamajā paaudzes produkti — mēs šobrīd sadarbojamies ar klientiem, lai izmantotu vairāk vairāku kadru paņēmienu, ne tikai trokšņu samazināšanu, bet arī HDR un vājā apgaismojumā. situācijas. Tas izmanto to pašu pamata ISP HW dzinēju, taču mēs pievienojam vairāk programmatūras, lai apstrādātu šos daudzkadrus vairāk nekā tikai trokšņu samazināšanai.
Tātad tas nav kaut kas tāds, kas ir ieviests, bet mēs sadarbojamies ar dažiem galvenajiem klientiem, kuri izmanto šīs funkcijas.
Analīze un konteksts: ar katru jauno Snapdragon SoC paziņojumu Qualcomm specifikāciju tabulā ir iekļautas specifikācijas, kas saistītas ar vairāku kadru trokšņu samazināšanu. Piemēram, Snapdragon 865 ar diviem 14 bitu CV-ISP atbalsta līdz pat hipotētiskai 200MP vienai kamerai (lai gan kameru sensoru pārdevēji, piemēram, Sony, Samsung un OmniVision, vēl nav izlaiduši nevienu viedtālruņa kameras sensoru, kas pārsniedz 108 MP). Tomēr, ja runa ir par vienas kameras atbalstu ar MFNR, nulles aizvara aizkaves (ZSL) un 30 kadru/s atbalstu, specifikācija tiek mainīta uz 64MP, un divām kamerām ar vienādām specifikācijām specifikācija mainās uz 25 MP.
Qualcomm vairāku kadru trokšņu samazināšana ir ļoti līdzīga HDR+, taču nav pilnībā tāda pati, kā iepriekš skaidroja Džads. Kamēr HDR+ uzņem virkni nepietiekami eksponētu ekspozīciju un nosaka to vidējo vērtību, lai iegūtu vislabāko fotoattēlu, MFNR uzņem piecus līdz septiņus parastos kadrus. Šķiet, ka Qualcomm MFNR nav tik uzlabots kā Google risinājums, jo HDR un vājš apgaismojums pašlaik nav minēts kā īpašas prioritātes. Spectra darbplūsma, savukārt Google HDR+ ir vērsta uz HDR, fotografēšanu vājā apgaismojumā un trokšņu samazināšanu vienlaikus, un nakts skats to padara pat vienu soli. tālāk. Tomēr ir iepriecinoši uzzināt, ka MFNR saņem uzlabojumus un Qualcomm ieviesīs šos uzlabojumus "dažiem galvenajiem klientiem". Nākotnē, iespējams, mums nebūs vajadzīgi neoficiāli Google kameru pieslēgvietas, lai pilnībā izmantotu viedtālruņu kameru, kas nav Google Android, iespējas.
Super izšķirtspēja video
Mišals Rahmans: Tātad, es dzirdēju tehnoloģiju samitā. Patiesībā es domāju, ka tā bija intervijā ar Android iestāde. Vai Qualcomm plāno paplašināt superizšķirtspēju, iekļaujot video kā programmatūras risinājumu partneriem, un acīmredzot tas tiks ieviests atjauninājumā. Vēlos uzzināt, vai jums ir kādi atjauninājumi, ko kopīgot par šo funkciju.
Džads Hīps: Jā, tā ir funkcija, ko mēs esam spējuši izmantot kādu laiku, un tā tikai tagad tiek ieviesta. Es neteiktu, ka tas ir programmatūras atjauninājumā, bet es teiktu, ka tas ir kā papildu ieguvums no esošās vairāku kadru, vāja apgaismojuma funkciju iespējas. Mēs sadarbojamies ar dažiem konkrētiem potenciālajiem klientiem saistībā ar šo funkciju. Jā, video superizšķirtspēja ir kaut kas citā paaudzē, vai arī tā mums būs tāda, kāda mums ir izsaukt ierakstu plāna līdzekli, ja tas faktiski ir iebūvēts [the] programmatūras koda bāzē kameru. Taču šobrīd tas vairāk attiecas uz konkrētu klientu piesaisti šai jaunajai funkcijai.
Analīze un konteksts: Superizšķirtspēja video ir funkcija, kas līdz šim viedtālruņu kamerās nav bijusi redzama. Tā ir tik jauna joma, ka par to joprojām tiek rakstīti pētnieciskie darbi. Vairāku kadru paņēmienu izmantošana fotografēšanai ir viena lieta, taču to izmantošana video, lai palielinātu video izšķirtspēju, ir pavisam cita lieta. Qualcomm saka, ka tā atkal ievieš šo funkciju "dažiem galvenajiem klientiem", taču šobrīd tā nav iebūvēta kameras programmatūras koda bāzē. Nākotnē tā var būt pieejama ikvienam, taču šobrīd tā ir funkcija, kuru gala patērētāji vēl nav dabūjuši izmantot.
Augsta megapikseļu Quad Bayer sensori
Idrīss Patels: Parunāsim par Quad Bayer sensoriem. Kopš 2019. gada daudziem tālruņiem tagad ir 48 MP, 64 MP un tagad pat 108 MP sensori. Tie ir Quad Bayer sensori; patiesībā jums nav patiesas krāsu izšķirtspējas 48 vai 64 vai 108 MP. Viena lieta, ko gribēju jautāt, bija ar ko ISP atšķiras attēla apstrādes ziņā šiem Quad Bayer vai Nona Bayer sensori (4-in-1 vai 9-in-1 pikseļu sadale), salīdzinot ar tradicionālajiem sensoriem, kuriem nav pikseļu binning.
Džads Hīps: Jā, protams, šo četru CFA (Quad Color Filter Array) sensoru priekšrocība ir spēja darboties spilgtā gaismā. tos ar pilnu izšķirtspēju, un tad interneta pakalpojumu sniedzējs var apstrādāt tos pilnos 108 megapikseļos vai 64 megapikseļos vai jebkurā citā. pieejams.
Tomēr parasti lielākajā daļā apgaismojuma situāciju, piemēram, iekštelpās vai tumsā, jums ir jāatbrīvojas, jo sensora pikseļi ir tik mazi, ka jums ir jāapvieno pikseļi, lai iegūtu labāku gaismas jutību. Tāpēc es teiktu, ka lielāko daļu laika, it īpaši, ja uzņemat video vai ja esat vājā apgaismojumā, lai uzņemtu momentuzņēmumu, jūs strādājat binned režīmā.
Tagad ISP var apstrādāt sensoru jebkurā veidā. Varat skatīt sensoru binned režīmā, un tādā gadījumā tas ir tikai parasts Bayer attēls, vai arī tas var skatīt to pilnas izšķirtspējas režīmā, kurā ienākošie dati ir quad CFA. Un, ja tas ir šajā režīmā, ISP pārvērš to par Bayer.
Tātad mēs darām - to, ko mēs saucam - "remosaicing". Tādējādi tiek veikta četrkāršā CFA attēla interpolācija, lai tas atkal izskatītos pēc pilnas izšķirtspējas Bayer. Un tas parasti tiek darīts programmatūrā momentuzņēmumam, lai gan mēs galu galā pievienosim šo iespēju aparatūrai, lai atbalstītu arī video.
Tas, kas šodien ir ISP aparatūrā, ir binning. Tātad jūs varat ievietot sensoru, un jūs faktiski varat likt sensoram izlemt, vai tas izvadīs pilnu vai ceturtdaļu vai 1/9 izšķirtspēju, vai arī varat ievietot ISP. Un šī ir funkcija, ko mēs pievienojām Snapdragon 865. Tātad, ja jūs ievietojat ISP un pēc tam palaižat sensoru ar pilnu izšķirtspēju, tas nodrošina, ka ISP vienlaikus varēs iegūt gan pilnas izšķirtspējas attēlu, gan pievienoto attēlu. Tāpēc tas var izmantot mazāku izšķirtspēju jeb “sadalīto” attēlu video (videokamera) un priekšskatījuma (skatu meklētājs) un vienlaikus izmantot pilnas izšķirtspējas attēlu pilna izmēra momentuzņēmumam.
Bet atkal tas būtu spilgta apgaismojuma gadījumā. Bet vismaz, ja jūs ievietojat ISP, jums ir iespēja apstrādāt gan lielo, gan mazo attēlu tajā pašā laikā, un tāpēc jūs varat iegūt vienlaikus video un momentuzņēmumu, varat arī iegūt pilnu izšķirtspēju ZSL; viss bez nepieciešamības pārslēgt sensoru uz priekšu un atpakaļ, kas prasa ievērojamu laiku.
Šī ir patiešām laba īpašība. Un kā Quad CFA sensori un pat jūs zināt, 9x sensori un varbūt pat vairāk parādās, un, jo šie sensori kļūst arvien vairāk visuresošs — mēs arvien vairāk cenšamies apstrādāt šos sensorus aparatūrā ne tikai atdalīšanai, bet arī remosaicināšana.
Tātad ieguvums no tā ir tāds, ka, ja to darāt aparatūrā, nevis programmatūrā, jūs samazināt latentums jūsu klientiem un līdz ar to jūsu kadru laiks un sērijveida uzņemšanas ātrums būs daudz ātrāks. Tā kā mēs virzāmies uz priekšu ar jauniem interneta pakalpojumu sniedzējiem un jaunām mikroshēmām, jūs sāksit redzēt daudz vairāk par to, ko mēs darām saistībā ar šiem jaunajiem sensoru veidiem, kas tiek ievietoti aparatūrā.
Analīze un konteksts: Huawei bija pirmais, kas izmantoja 40MP Quad Bayer sensoru ar Huawei P20 Pro 2018. gadā, un Quad Bayer sensoru popularitāte bija tik augsta, ka tagad tie ir nonākuši pat 150 $ vērtos tālruņos, kurus darbina Snapdragon/Exynos/MediaTek mikroshēmas. Jo īpaši mēs esam redzējuši, ka viedtālruņu nozare piedāvā 48 MP un 64 MP kameras, bet daži tālruņi sasniedz pat 108 MP. Quad Bayer un Nona Bayer sensori ir pieejami bez negatīviem, jo to pilnai izšķirtspējai ir pievienoti brīdinājumi.
Tomēr mārketinga apsvērumu dēļ 48 MP sensors izklausās daudz labāk nekā 12 MP sensors, pat ja lietotājs jebkurā gadījumā lielāko daļu laika uzņem fotoattēlus ar 12 MP pikseļiem. 48MP sensoram teorētiski vajadzētu radīt labākus 12MP pikseļu fotoattēlus vājā apgaismojumā nekā tradicionālajam 12MP. sensors, taču attēla apstrādei ir jāseko līdzi, un, kā es minēju tālāk, līdz tam ir ejams garš ceļš notikt. Neatkarīgi no tā, bija interesanti redzēt, kā Spectra ISP apstrādā Quad Bayer sensorus ar remosaicinēšanu. Šajos sensoros un tālruņos, piemēram, OnePlus 8 Pro (kas izmanto Sony IMX689 Quad Bayer sensoru ar lieliem pikseļiem) ir liels potenciāls. šobrīd ir viedtālruņu kameru virsotnē.
Uz ML balstīta sejas atpazīšana
Mišals Rahmans: Tāpēc es domāju, ka iepriekš jūs minējāt, ka Spectra 480 atbalsta uz ML balstītu sejas atpazīšanu. Tas ir kaut kas, ko es tiešām dzirdēju tehnoloģiju samitā. [Tas ir] viens no uzlabojumiem no 380 uz 480; ka tā ir daļa no — video analītikas programmā ir jauns objektīvu noteikšanas bloks, kas turpmāk tiek izmantots telpiskajai atpazīšanai.
Vai varat pastāstīt vairāk par to, cik daudz tas uzlabo sejas atpazīšanu un kādas potenciālās lietojumprogrammas, jūsuprāt, to izmanto pārdevēji?
Džads Hīps: Jā, patiesībā jūs esat iegultā datora redzes blokā, kas ir "EVA" bloks, par kuru mēs runājām Tech Summit. Tajā ir vispārējs objektu noteikšanas kodols, ko mēs izmantojam, kad kamera darbojas, un mēs to izmantojam, lai noteiktu sejas. Metodes šajā blokā ir tradicionālākas metodes, tāpēc objektu atpazīšana tiek veikta ar tradicionālo klasifikatoriem, bet papildus tam mums ir programmatūras dzinējs, kas darbojas, lai faktiski uzlabotu tā precizitāti bloķēt.
Tāpēc mēs izmantojam uz ML balstītu programmatūru, lai filtrētu viltus pozitīvos rezultātus, jo aparatūra var noteikt vairāk lietu kā sejas ainā, un tad ML programmatūra tiek sakot: "labi, tā ir seja" vai "tā tiešām nav seja", un tādējādi tas palielina precizitāti par dažiem procentpunktiem, palaižot šo ML filtru virs aparatūra.
Es minēju daudzas lietas par nākotni. Nākotnē mēs plānojam arī palaist visu sejas noteikšanu ML vai dziļās apmācības režīmā programmatūrā. Jo īpaši tas attiecas uz zemākajiem līmeņiem, tāpēc, piemēram, līmenī, kurā mums nav EVA aparatūras dzinēja, mēs sāksim pakāpeniski iedziļināties padziļinātā apmācībā. kā noteikšana, kas darbojas mikroshēmas mākslīgā intelekta dzinējā un vēlāk, augšējos līmeņos 700–800 līmeņos, mums ir EVA aparatūra, lai to paveiktu...
Tomēr es teikšu kopumā, ka mēs vairāk virzīsimies uz ML pieejām, lai veiktu sejas noteikšanu, un tas ietvertu gan programmatūru vidējā termiņā, gan aparatūru vēlākā termiņā. Es neatklāšu, kuriem produktiem tas būs pieejams, bet, protams, ejot uz priekšu ISP uzlabošanā, mēs noteikti pievienosim arvien vairāk aparatūras iespēju, lai veiktu ML.
Mišals Rahmans: Satriecošs. Manuprāt, tas ir pašsaprotami, ka virziens, ko jūs ejat, ir 800. sērijas mašīnmācīšanās uzlabojumu pazemināšana līdz zemākajam līmenim, tāpēc es domāju, ka tas parasti ir pašsaprotami. Bet, protams, jūs nevarat mums sniegt konkrētu informāciju par to. Paldies par atjauninājumu.
Džads Hīps: Sejas noteikšana ir kaut kas, kas mums ļoti patīk. Mēs vēlamies uzlabot šo precizitāti, jūs zināt no paaudzes paaudzē visos līmeņos no 800. līdz 400. līmenim. ML ir liela daļa no tā.
Analīze un konteksts: Šie aspekti nodrošina viedtālruņu fotografēšanai daudz lielāku potenciālu, salīdzinot pat ar jaunākajām bezspoguļa kamerām. Jā, bezspoguļa kamerām ir labāka attēla kvalitāte vājā apgaismojumā, un tās ir daudz elastīgākas, taču viedtālruņu kameras pārvar savus ierobežojumus, izmantojot ģeniālus veidus. Uz ML balstīta sejas noteikšana ir tikai daļa no tā.
Uzlabojumi attēlu apstrādes dzinējā
Mišals Rahmans: Satriecošs. Tātad viena no lietām, ko es īsi dzirdēju apaļā galda diskusijās pēc Snapdragon Tech Summit, bija attēlu apstrādes dzinēja uzlabojums. Es dzirdēju, ka ir uzlabota zemas vidējās frekvences trokšņu samazināšana jeb LEANR. Un ka jūs lietojat dinamisku apgrieztā pastiprinājuma karti; vai tas ir kaut kas, ko jūs minējāt iepriekš sarunā.
Džads Hīps: Ā labi. Tāpēc es domāju, ka jūs sajaucat divas lietas. Jā, tāpēc ir LEANR kodols, kas darbojas, lai samazinātu troksni rupjā veidā, kas palīdz vājā apgaismojumā. Tas ir jauns bloks, kas Snapdragon 865 tika pievienots ISP, un tā ir viena lieta.
Reversā pastiprinājuma karte ir kaut kas cits. Tas ir kaut kas cits, ko es minēju apaļajos galdos, bet tas ir, lai mainītu objektīva ēnojuma ietekmi. Tātad, kā jūs zināt, ja jums ir klausule un tai ir mazs objektīvs; objektīva centrs būs gaišs un malas būs vairāk vinjetes; tas nozīmē, ka tie būs tumšāki.
Tāpēc iepriekšējos gados ISP esam izmantojuši statisku apgrieztā pastiprinājuma karti, lai atbrīvotos no šīm tumšajām malām. Un tā tas ir bijis ISP jau labu laiku. Tomēr tas, ko mēs pievienojām Snapdragon 865, ir spēja šai pastiprinājuma kartei dinamiski mainīties, ņemot vērā konkrēto attēla rāmi, jo, ja malām izmantojat daudz pastiprinājumu notiek tas, ka malas var tikt apgrieztas, it īpaši, ja skatāties uz spilgtas gaismas ainas ārā, piemēram, zilas debesis var kļūt baltas vai malas tiks nogrieztas daudzu iemeslu dēļ. iegūt.
Tātad Snapdragon 865 šī apgrieztā pastiprinājuma karte nav statiska; tas ir dinamisks. Tāpēc mēs skatāmies uz attēlu un sakām: "Labi, šīs attēla daļas tiek apgrieztas, un tām nevajadzētu būt", lai mēs varētu ritināt. dabiski izslēgt no pastiprinājuma kartes, lai objektīva labošanas rezultātā nerastos spilgtas bārkstis vai oreola efekti vai tamlīdzīgi ēnojumu. Tātad tas atšķiras no trokšņu samazināšanas, un tie ir divi dažādi kodoli.
Fotografēšana vājā apgaismojumā un agresīva trokšņu samazināšana
Idrīss Patels: Viena lieta, par kuru es gribēju jautāt, bija fotografēšana vājā apgaismojumā. Tāpat kā pēdējos gados, ir bijis daudz [OEM ieviestu] nakts režīmu, taču esmu ievērojis vienu lietu, ka daudzi ierīču ražotāji cenšas izmantot agresīvu trokšņu samazināšanu, kas samazina detaļas līdz tādam līmenim, ka ir vienmērīgs spilgtuma troksnis. noņemts.
Tāpēc mans jautājums ir par to, vai Qualcomm iesaka ierīču ražotājiem to nedarīt, un vai to dara viņu apstrādes cauruļvadi, vai arī to ir ietekmējis ISP SoC.
Džads Hīps: Liela daļa no tā ir saistīta ar regulēšanu, un, ja jums nav vairākkadru vai, es teiktu, nav pieejams ļoti labs attēla sensors, ar augstu jutību vai optiku ar zemiem f skaitļiem. Viens no veidiem, kā atbrīvoties no trokšņa, jo īpaši vājā apgaismojumā, ir piemērot lielāku trokšņu samazināšanu, bet tas, kas notiek, ja tiek samazināts troksnis, ir tas, ka tiek zaudētas detaļas, tāpēc asās malas kļūst izplūdušas. Tagad jūs varat atbrīvoties no tā, ja izmantojat šīs vairāku kadru metodes. Vai arī, ja izmantojat AI paņēmienus, kas var noteikt, kur atrodas objektu un seju malas, un tamlīdzīgi. Tāpēc tikai brutāla trokšņa samazināšana mūsdienās nav īstais veids, kā to rīkoties, jo jūs galu galā zaudējat detaļas.
Tas, ko vēlaties darīt, ir izmantot vairāku kadru vai mākslīgā intelekta paņēmienus, lai joprojām varētu izmantot troksni samazinājums līdzīgākiem objektu iekšējiem laukumiem, vienlaikus saglabājot tīras malas vai asas malas objektus. Tā es teiktu: AI vai vairāku kadru izmantošana ir veids, kā samazināt trokšņus un uzlabot attēlus vājā apgaismojumā.
Idrīss Patels: Jā, un tieši to es gribēju dzirdēt. [Tas ir], jo tas ir galvenais, kas atšķir lieliskās viedtālruņu kameras no vidēja līmeņa vai budžeta līmeņa kamerām.
Džads Hīps: Jā.
Idrīss Patels: lieliskas viedtālruņu kameras zina, kad piemērot trokšņu samazināšanu un kad ne.
Džads Hīps: Tieši tā. Jā, un, kā jau teicu, kameras regulēšanu patiešām veic mūsu klienti vai oriģinālo iekārtu ražotāji, un daži OEM dod priekšroku maigākam attēlam ar mazāku troksni. Daži dod priekšroku atklāt vairāk detaļu ar varbūt nedaudz lielāku troksni.
Un tāpēc tas ir kompromiss, un tāpēc jums ir ierobežojumi. Un tas ir tāpat kā es teicu, ka labākais, ko darīt, ir iegūt labāku attēla sensoru ar lielāku jutību, lielāki pikseļi vai mazāka f skaitļa optika, jo tad jūs saņemat vairāk gaismas jau no paša sākuma, tas vienmēr ir labāk. Bet, ja jūs to nevarat izdarīt, tā vietā, lai tikai palielinātu trokšņu samazināšanu un zaudētu detaļas, jūs vēlaties izmantot vairāku kadru vai AI paņēmienus.
Analīze un konteksts: Šī, manuprāt, šobrīd ir lielākā problēma ar viedtālruņu kamerām. Jā, jūs varat izmantot 48MP vai 64MP vai pat 108MP sensoru. Tomēr, ja neizvēlaties izmantot ierobežotu trokšņu samazināšanu ar MFNR vai AI paņēmieniem, visi šie megapikseļi, četri vienā un pat 9-in-1 binning nebūs īpaši noderīgi. Galaxy S20 Ultra ir lielisks piemērs šeit, jo tā 108MP galvenā kamera lielākoties tika uzskatīts par vilšanos. Samsung atkāpās attēlu apstrādē, savos 2020. gada flagmaņos nakts režīmos izmantojot ārkārtīgi agresīvu trokšņu samazināšanu, savukārt 2019. gada Galaxy S10 sērijai ironiskā kārtā bija labāka attēla kvalitāte.
Džads atklāj, ka daži oriģinālo iekārtu ražotāji dod priekšroku maigākam attēlam ar mazāku troksni, kas būtībā ir nepareiza izvēle. Noregulēšanu veic ierīču ražotāji, un tādējādi divi tālruņi, kas izmanto vienu un to pašu sensoru un tiek darbināti ar vienu un to pašu SoC, var izvadīt ļoti, ļoti atšķirīgus fotoattēlus. Jācer, ka šie ierīču ražotāji uzzinās patiesību no saviem konkurentiem, kuri darbojas labāk. Kamēr Samsung šogad zaudēja savu ceļu attēlu apstrādē, OnePlus ir bijis krass kontrasts. OnePlus 8 Pro ir viena no labākajām viedtālruņu kamerām tirgū, kas ir ievērojams sasniegums, ņemot vērā ļoti slikto OnePlus 5T kameras jaudu 2017. gadā. Attēlu apstrādes domāšanas veids ir jāmaina, lai fotoattēli būtu asi, neatkarīgi no tā, cik lielā mērā notiek megapikseļu kari.
AV1 dekodēšana un kodēšana
Mišals Rahmans: Tātad tas ir mazliet nošķirts no citām diskusijām par kameru kvalitāti. Viena no lietām, ko daži cilvēki atvērtā pirmkoda multivides kodeku kopienā ir domājuši, ir tas, kad Qualcomm atbalstīs AV1 dekodēšana un, iespējams, kodēšana. Es zinu, ka tas ir nedaudz sarežģīts, taču Google pieprasa 4K HDR un 8K televizoriem operētājsistēmā Android 10, lai atbalstītu AV1 dekodēšanu un Netflix. YouTube, viņi sāk AV1 kodētu videoklipu izlaišanu. Tātad šķiet, ka AV1 kodētu videoklipu skaits ir lēns. Tāpēc mēs domājam, kad vismaz dekodēšanas atbalsts būs pieejams Spectra.
Qualcomm paziņojums: Atbilstoši jūsu jautājumam par AV1 — mums šodien nav par ko paziņot. Tomēr Snapdragon pašlaik spēj atskaņot AV1, izmantojot programmatūru. Qualcomm vienmēr sadarbojas ar partneriem pie nākamās paaudzes kodekiem, izmantojot programmatūras un aparatūras veidošanu Snapdragon ir līderis HDR kodeku jomā, tostarp tveršanā un atskaņošanā HEIF, HLG, HDR10, HDR10+ un Dolby Vīzija. Protams, mēs apzināmies, ka saviem klientiem piedāvājam vislabāko CODEC pieredzi, tostarp augstas izšķirtspējas un zemākās jaudas atbalstu, ka ir vēlama to ieviešana HW.
Video ierakstīšana - kustības kompensācija
Mišals Rahmans: Tāpēc es nezinu, vai Idreesam ir vēl kādi jautājumi, bet man bija viens jautājums par kaut ko, ko izlasīju Snapdragon Tech Summit laikā. Tas ir par kustību kompensētu video kodolu. Es dzirdēju, ka ir tādi uzlabojumi kustību kompensācijas dzinējā, lai samazinātu troksni video ierakstīšanas laikā. Es domāju, vai varat izvērst, kas tieši tas ir uzlabots un kas ir izdarīts.
Džads Hīps: EVA (Video Analytics dzinējs) dzinējs ir uzlabots ar blīvāku kustības kartes kodolu, lai EVA dzinējs, piemēram, vienmēr skatās ienākošo video, un tajā ir kodols, kas veic kustību aplēse. Mēs esam padarījuši šo kodolu daudz precīzāku, ja tas to dara gandrīz pikseļa līmenī, nevis kā vairāk rupjš bloku līmenis, un tāpēc mēs iegūstam daudz vairāk kustību vektoru no Snapdragon 865 EVA dzinēja nekā iepriekšējā. paaudzes. Un tas nozīmē, ka video kodols, kas veic kodēšanu, var izmantot šos kustības vektorus, lai būtu vairāk precīzs par kodēšanu, taču kameras puses ISP izmanto šo informāciju arī trokšņiem samazināšana.
Tātad, kā jūs zināt, paaudzēm ir bijusi kustības kompensēta laika filtrēšana, kas patiesībā ir aktīva trokšņu samazināšana video laikā, kas laika gaitā nosaka vidējo kadru skaitu, lai atbrīvotos no trokšņa.
Problēma ar šo paņēmienu tomēr ir, ja jums ir kustība ainā. Kustības galu galā vienkārši tiek noraidītas no trokšņa samazināšanas, jo ar to nevar rīkoties vai tā kļūst izsmērēta, un jūs iegūstat šīs neglītās pēdas un artefaktus uz kustīgām lietām. Tātad, izmantojot kustību kompensētu laika filtrēšanu, ko mēs esam darījuši pagātnē, jo mums nebija šīs blīvās kustības kartes vietējai kustība, mums ir — vienkārši tiek apstrādāti tikai gadījumi, kad pārvietojat kameru, tas ir diezgan vienkārši, jo viss kustas globāli.
Bet, ja jūs kaut ko fotografējat un jums ir kāds objekts, kas kustas ainas IEKŠĀ, tas, ko mēs darījām iepriekš [tā bija] mēs vienkārši ignorējām šos pikseļus, jo nevarējām apstrādāt tajos troksni, jo tas bija lokāli kustīgs objektu. Un tāpēc, ja jūs aprēķinājāt vidējo kadru pa kadram, objekts katru kadru atradās citā vietā, tāpēc jūs to nevarēja īsti apstrādāt.
Bet Snapdragon 865, jo mums ir blīvāka kustības karte un mums ir iespēja aplūkot kustības vektorus gandrīz pikselī pēc pikseļiem mēs faktiski varam apstrādāt šos lokāli pārvietotos pikseļus kadru pa kadram, lai samazinātu trokšņus, turpretim iepriekš mēs to nevarējām. Man šķiet, ka sarunā pieminēju metriku. Es neatceros numuru (tas bija 40%) taču lielākajai daļai videoklipu tas bija vidēji liels pikseļu procentuālais daudzums, ko tagad var apstrādāt, lai novērstu troksni, turpretim iepriekšējā paaudzē to nevarēja darīt. Un tas patiešām daļēji ir saistīts ar spēju izprast vietējo kustību, nevis tikai globālo kustību.
Video ierakstīšana - HDR
Idrīss Patels: Vēl viens mans jautājums ir par HDR video. Šogad es redzu, ka daudz vairāk ierīču ražotāju piedāvā HDR10 video ierakstīšanu. Vai tas ir kaut kas, kas tika reklamēts ar Snapdragon 865, vai arī tas ir bijis tur jau vairākas paaudzes.
Džads Hīps: Ak, jā, tā kā mēs par to runājām Tech Summit, mums ir HDR10, kas ir HDR video standarts kameras kodēšanas puse jau dažas paaudzes, kopš Snapdragon 845, manuprāt, un mēs esam pastāvīgi uzlabojuši ka.
Tātad pagājušajā gadā mēs runājām par HDR10+, kas ir 10 bitu HDR ieraksts, taču statisko metadatu vietā ir dinamiski metadati, tātad kameras tvertie metadati. aina tiek ierakstīta reāllaikā, lai atskaņošanas laikā atskaņošanas programma saprastu, vai tā bija tumša vai gaiša telpa, un tas var kompensēt ka.
Mēs arī pagājušajā gadā Tech Summit runājām par Dolby Vision uztveršanu, kas ir Dolby alternatīva HDR10+. Tas ir ļoti līdzīgi, ja tie faktiski rada arī dinamiskos metadatus. Tātad Snapdragon šodien var atbalstīt visus trīs šos formātus: HDR10, HDR10+ un Dolby Vision uztveršanu. Un tāpēc nav nekādu ierobežojumu, mūsu oriģinālo iekārtu ražotāji var izvēlēties sev tīkamāko metodi. Mums jau kādu laiku ir bijuši klienti, kuri izmanto HDR10, un pagājušajā un šogad arvien vairāk klientu izvēlas HDR10+. Un es domāju, ka nākotnē jūs redzēsit arī Dolby Vision Capture pieņemšanu.
Tātad, jā, mēs esam to ļoti veicinājuši. HDR mums ir patiešām svarīgs gan momentuzņēmuma, gan video pusē. Un, kā jau teicu, mēs esam apņēmušies izmantot HDR10 un HDR10+ un tagad arī Dolby Vision formātus, jūs zināt kopš Snapdragon 845 un tagad pat nesen Snapdragon 865 Dolby Vision.
Mišals Rahmans: Turklāt es nebiju pārliecināts, vai kāds pārdevējs vēl ir ieviesis Dolby Vision ierakstīšanu, bet es domāju, ka tas atbild uz šo jautājumu. [Tas ir] kaut kas, ko mēs redzēsim nākotnē.
Džads Hīps: Protams - es nevaru komentēt, kuri pārdevēji ir ieinteresēti un kaut kas tāds. Tas būtu jautājums Dolbijam; tā ir viņu funkcija, tāpēc, ja vēlaties par to vairāk informācijas, es ieteiktu sazināties ar Dolby. Bet līdz šim, cik es zinu, nav bijis neviena klausule, kas vēl būtu iznākusi ar Dolby Vision Capture.
Idrīss Patels: jo jums ir nepieciešams arī displeja atbalsts. Esmu ievērojis, ka viedtālruņu displeji atbalsta HDR10 un HDR10+, bet ne Dolby Vision.
Džads Hīps: Jā, patiesībā, bet Dolby Vision atskaņošana iepriekš tika atbalstīta Snapdragon. Tas var darboties ar noteiktu displeju, un displejam nav obligāti jāatbilst kādiem īpašiem kritērijiem, lai tas būtu saderīgs ar Dolby Vision, izņemot Dolby novērtēs displeju un pārliecinās, ka tam ir noteikta krāsu gamma, gamma, noteikts bitu dziļums, noteikts spilgtums un noteikts kontrasts attiecība.
Tātad, jūs zināt, jūs varat iegādāties HDR10 displeju, bet jūs varat arī iegādāties klausuli, kas atbalsta Dolby Vision. atskaņošanu, taču Dobijs būs kvalificējis šo displeju, lai pārliecinātos, ka tas atbilst viņu stingrajiem noteikumiem prasībām.
Sadarbība ar programmatūras pārdevējiem: Imint, Morpho un Arcsoft
Mišals Rahmans: Man šķiet, ka man ir jāseko līdzi vienam uzņēmumam, ar kuru mēs nesen runājām, lai veiktu vairāk izpētes. Imint. Viņi nesen jaunināja savu Vidhance stabilizācijas programmatūra uz strādāt ar Spectra 480. Es zinu, ka jūs strādājat ar daudziem uzņēmumiem, kuri arī izmanto Spectra 480, apstrādi. Es vēlos uzzināt, vai varat atklāt vairāk piemēru par šīm tehnoloģijām vai partneriem, kurus esat izmantojis strādājām, lai tas būtu] kaut kas, ko mēs varētu turpināt, uzziniet vairāk par to, kā Spectra 480 tiek izmantots lauks.
Džads Hīps: Mēs sadarbojamies ar daudziem programmatūras pārdevējiem. Tāpat kā tas, ko mēs minējām agrāk, Dolby ir viens no tiem. Ir arī citi, piemēram, jūs minējāt, Imint/Vidhance priekš EIS (elektroniskā attēla stabilizācija). Iepriekš mēs pieminējām arī Morpho un Arcsoft, mēs arī ar tiem sadarbojamies ļoti cieši.
Tomēr attiecībā uz to, kā mēs ar viņiem sadarbojamies, mūsu politika ir tāda, ka mēs patiešām vēlamies patiešām cieši sadarboties ar šiem neatkarīgajiem programmatūras pārdevējiem un ir pārliecināti, ka neatkarīgi no tā, ko viņi dara programmatūrā, viņi var izmantot Snapdragon aparatūru, lai iegūtu viszemāko enerģijas patēriņu iespējams.
Tāpēc viena no lietām, ko mēs darām ar šiem pārdevējiem, ir nodrošināt, ka viņiem ir patiešām laba piekļuve HVX dzinējam vai Hexagon DSP kodolam. Viņi arī izmanto EVA dzinēju, lai iegūtu kustības vektorus un izmantotu aparatūru un EVA dzinēju attēlu manipulācijām, lai viņi var veikt attēla pārvietošanu, tulkošanu un deformāciju un tamlīdzīgas lietas aparatūrā, nevis izmantot GPU. ka.
Un tāpēc mēs patiešām cieši sadarbojamies ar šiem ISV, jo īpaši tiem, kurus es minēju, lai pārliecinātos, ka viņi ne tikai ievieto visu un programmatūra CPU, bet viņi izmanto tādas lietas kā DSP un aparatūras paātrinātājus EVA, lai nodrošinātu labāku veiktspēju un mazāku jaudu patēriņu. Tāpēc tas ir ļoti svarīgi arī mums, jo tas nodrošina mūsu klientiem vislabāko iespējamo funkciju un enerģijas patēriņa kombināciju.
[Noslēguma komentāri no Džada]: Es tikai gribēju pateikt, paldies, puiši, par visiem patiešām labajiem jautājumiem. Tie ir patiešām, ļoti detalizēti. Es strādāju Qualcomm jau apmēram trīs gadus un skatos uz mūsu pagātni, pat pēc mana pilnvaru laika šeit, kur mēs agrāk sākām Spectra. Snapdragon 845, mēs ļoti smagi strādājām, lai ievērojami uzlabotu ISP, kameru un tikai kopējo pieredzi pēdējo vairāku gadu laikā. gadiem. Esmu patiesi sajūsmā pat par to, ko nesīs nākotne. Un es priecājos par to, ko mēs paziņosim nākamajos tehnoloģiju samitos, par kuriem jūs, puiši, varat jautāt un rakstīt. [Spectra Camera], iespējams, manuprāt, ir viena no aizraujošākajām tehnoloģijām Qualcomm.
Pēdējās domas
Bija lieliski apspriesties ar Džadu par Qualcomm ieguldījumu viedtālruņu fotografēšanā. Mums var būt dalītas jūtas par uzņēmumu un viņu patentu licencēšanas sistēmu, taču Qualcomm ietekmi uz viedtālruņu nozari izjūt visi neatkarīgi no tā, vai runājat par patenti, 4G un 5G, Wi-Fi, Adreno GPU, Spectra ISP un pašas Snapdragon mikroshēmas, kas lielā mērā tiek uzskatītas par zelta standartu Android viedtālrunī. tirgus.
Viedtālruņu fotografēšanā joprojām ir daudz sāpju punktu, kas jāatrisina, taču nākotne ir tāda spoži, kā Qualcomm sola, lai panāktu lielāku progresu plašajās, augošajās ML jomās, kas AI. Redzēsim, kas Qualcomm ir jāpaziņo šajā jomā nākamajā Snapdragon Tech Summit sanāksmē.