„Qualcomm“ Judd Heape paaiškina, kaip „Qualcomm“ tobulina „Android“ telefonų fotoaparatų patirtį, naudodama naujas „Spectra“ IPT funkcijas.
Kaip daugumą pasaulio išmaniųjų telefonų ir nešiojamų įrenginių maitinančių sistemų lustų (SoC) gamintojas, JAV įsikūrusi „Qualcomm“ neabejotinai yra viena iš lustų gamintojų pramonės gigantų. Pavyzdžiui, „Snapdragon“ SoC seriją naudoja beveik visi pagrindiniai „Android“ įrenginių gamintojai pavyzdiniams, vidutinės klasės ir nebrangiems išmaniesiems telefonams. „Qualcomm“ kiekvienais metais sulaukia pagyrimų kasmetiniame bendrovės „Tech Summit“ susitikime už pažangą procesoriaus, GPU ir AI srityse, nes jame įdiegtos naujos ARM procesoriaus mikroarchitektūros. ir papildo juos kasmet tobulinamais tinkintais GPU. Tačiau jo pažanga fotoaparatų srityje nėra tokia pastebima, nes jie paprastai nukrenta radaras.
Tačiau tai nereiškia, kad Qualcomm darbas išmaniųjų telefonų kamerose yra nesvarbus. Priešingai, Qualcomm Spectra IPT savo Snapdragon SoC padeda padaryti daug šiuolaikinių išmaniųjų telefonų kamerų įmanomus su padidintu skaičiavimo galia, tokios funkcijos kaip 8K vaizdo įrašymas, HDR10 vaizdo įrašas, didelio megapikselių QCFA kamerų palaikymas ir daug kitų daugiau. „Qualcomm“ reklamavo „Spectra 380“ IPT „Snapdragon 855“
buvo pirmasis pasaulyje CV-ISP, ir jis reklamavo pirmąsias pasaulyje 4K HDR vaizdo įrašymo funkcijas, kurias dabar papildė 2 kartos 4K HDR10+ vaizdo įrašymas. Naujausios kartos Spectra 480 IPT Snapdragon 865 yra labai pajėgus – gali apdoroti du gigapikselius per sekundę, o tai 40% daugiau nei jo pirmtakas. Tai intelektinė nuosavybė (IP), kuri išskiria „Qualcomm“ iš konkurentų mobiliųjų lustų pardavėjų erdvėje.Nors „Qualcomm“ savo pranešimuose spaudai ir produkto pagrindinėse pastabose paaiškina daugumą antraštės ypatybių, aukštyn iki šiol vartotojai neturėjo galimybės sužinoti daugumos žemo lygio detalių, dėl kurių šie dalykai yra sukurti dirbti.
Štai kodėl mes, XDA kūrėjai, džiaugiamės galėdami pasikalbėti su Judd Heape, „Qualcomm“ produktų valdymo vyresniuoju direktoriumi. XDA vyriausiasis redaktorius Mishaalas Rahmanas ir aš 2020 m. birželio mėn. davėme interviu su Juddu, kad sužinotume ir pamatytume, kaip „Qualcomm“ stumia vartų stulpus fotografuodamas ir filmuodamas išmaniuoju telefonu. Kalbėjomės tokiomis temomis kaip AI vaizdo apdorojimas, kelių kadrų triukšmo mažinimas (MFNR), AV1, Dolby Vision vaizdo įrašymas, pikselių atskyrimas didelės megapikselių kamerose ir daug daugiau. Pažvelkime į Juddo įžvalgas apie kiekvieną temą po vieną:
AI vaizdo apdorojimo darbo krūviai
Mišaalas Rahmanas: Pradėsiu nuo vieno iš tų, kuriuos turėjo Idrees, kuris yra įdomus ir kuris mane taip pat domino. Taigi mums įdomu, kokie yra AI vaizdo apdorojimo krūviai, kuriuos Qualcomm naudoja Spectra IPT ir kokiu mastu juos gali pritaikyti įrenginių gamintojai?
Juddas Heipas: Taip, mes žiūrime į daugybę AI darbo krūvių ir yra keletas AI, kurie gali veikti pačiame IPT kaip, pavyzdžiui, mūsų naujos kartos 3A: automatinis ekspozicija, automatinis baltos spalvos balansas ir automatinis fokusavimas yra AI pagrįstas.
Tačiau mes taip pat žiūrime į keletą kitų AI darbo krūvių, kurie būtų vykdomi ne IPT, viename iš kitų skaičiavimo elementų. Taigi, ypač žiūrime į tokius dalykus: turime dirbtiniu intelektu pagrįstą triukšmo mažinimo branduolį, kuris veikia išorėje iš IPT, lusto AI variklio (AIE) dalyje.
Be to, turime tokių dalykų kaip veido aptikimas, kuris yra pilnas gilus mokymosi variklis, kuris taip pat veikia AIE komplekse, bet, žinoma, padeda fotoaparatui. Be veido aptikimo ir triukšmo slopinimo, dirbame ir su kitais dalykais; taip pat ieškome tokių dalykų kaip automatinis momentinių nuotraukų koregavimas naudojant AI, kuris būtų nustatytas automatiškai scenos parametrus, atsižvelgdami į HDR turinį, pakeisime šešėlį ir šviesius elementus, spalvas ir panašias dalykas.
Vienas iš mūsų partnerių Morpho šiais metais ką tik laimėjo didžiulį AI darbo krūvio apdovanojimą Embedded Vision Summit susitikime. Nepriklausomi programinės įrangos pardavėjai taip pat turi daug tikrai intensyvių dirbtiniu intelektu pagrįstų algoritmų, kurie gali būti įvairūs, pavyzdžiui, sklandžiai fotoaparatas. perėjimas prie Morpho semantinio segmentavimo, kaip tai daro Arcsoft. variklis. Morpho sprendimas yra dirbtinio intelekto variklis, kuris supranta įvairias scenos dalis, pvz., ką žinote, audinį prieš odą prieš dangų ir žolę ir pastatas ir panašiai, o tada IPT gali paimti tą informaciją ir kitaip apdoroti tuos pikselius tekstūrai, triukšmui ir spalvoms pavyzdys.
Qualcomm pareiškimas: Dėl ML ir AI šiandien taip pat neskelbiame jokių naujų veido aptikimo ir „3A“ (AE, AF ir AWB) funkcijų atnaujinimų. Tačiau, kaip sakė Juddas, esame pasiryžę ateityje suteikti daugiau ML/AI galimybių fotoaparatui, įskaitant šias dvi funkcijų sritis.
Analizė ir kontekstas: AI išmaniuosiuose telefonuose dažniausiai buvo laikomas populiariu žodžiu nuo tada, kai „Android“ telefonuose pradėjo pasirodyti pirmieji neuroninio apdorojimo įrenginiai (NPU) ir „AI pagrindu sukurtos“ funkcijos. Tačiau tai nereiškia, kad pats AI yra beprasmis. Priešingai, dirbtinis intelektas turi daug potencialo mobiliuosiuose įrenginiuose – tiek lustų pardavėjai, tiek prietaisų gamintojai tik subraižo tai, kas įmanoma.
Dirbtinio intelekto dėka išmaniųjų telefonų kameros tapo geresnės – kartais greitai, kartais kankinančiai lėtai, bet vis tiek jos pasiekia. Išmaniųjų telefonų kameros įveikia esminius apribojimus, tokius kaip santykinai mažesni jutikliai, fiksuoti židinio nuotoliai ir prastesnė optika su išmaniąja kompiuterine fotografija, kurią maitina mašininis mokymasis (ML). Automatinė ekspozicija, triukšmo mažinimas, veido aptikimas ir segmentavimas yra tik keletas sričių, kuriose AI fotografuojant išmaniuosius telefonus galėjo turėti įtakos. Per ateinančius penkerius metus šios besiformuojančios DI sritys, tobulinančios įvairius fotografijos aspektus, labai subręs.
Kelių kadrų triukšmo mažinimas
Idreesas Patelis: Qualcomm paminėjo kelių kadrų triukšmo mažinimą kaip funkciją. Norėčiau sužinoti daugiau apie tai, kaip veikia vaizdų kaupimas. Ar panašu, kad patinka tai, ką „Google“ daro su savo HDR+ technologija, ar ji visiškai skiriasi?
Juddas Heipas: Tai panašu, bet skiriasi. Įsivaizduokite, kad fotoaparatas daro seriją ir greitai fiksuoja nuo penkių iki septynių kadrų iš eilės. Tada IPT variklis peržiūri tuos rėmelius ir pasirenka geriausią (vadinamą „inkaro rėmu“). fokusavimas ir aiškumas, tada jis gali pasirinkti 3–4 kadrus iš abiejų kadro pusių ir visus juos suvesti kartu. Jis bando pasirinkti rėmus, kurie yra pakankamai arti vienas kito, kad būtų labai mažai judėjimo.
Ir kai jis nusėda ant tų kadrų, tada jis kartu apskaičiuoja jų vidurkį, kad atskirtų, kas skiriasi, pavyzdžiui, kas yra tikrieji vaizdo duomenys, palyginti su triukšmo duomenimis. Taigi, kai turite vis daugiau informacijos iš vis daugiau kadrų, iš tikrųjų galite atlikti paprastus dalykus, pavyzdžiui, pažvelgti į kadrų skirtumus. Skirtumai tikriausiai yra triukšmas, o tai, kas vienoda kadruose, tikriausiai yra vaizdo duomenys.
Taigi galime derinti realaus laiko kadrus, kad sumažintume triukšmą. Dabar tą patį galite padaryti esant silpnam apšvietimui ir HDR, ir tai labai panašu į tai, ką tikriausiai daro „Google“. Mes nesame susipažinę su jų algoritmu. Tačiau jie naudoja kelių kadrų metodus, kad padidintų jautrumą, kad galėtumėte geriau „matyti“; Kai sumažinsite triukšmo lygį, dabar galite atlikti daugiau vietinių tonų atvaizdavimo arba padidinti vaizdą nepridėdami daugiau triukšmo.
Taigi jie elgiasi esant silpnam apšvietimui ir HDR. „Qualcomm“ patobulins kelių kadrų triukšmo mažinimo funkciją, kuri taip pat apims silpną apšvietimą ir HDR. Bet tai yra kažkas, ką netrukus paskelbsime.
Mišaalas Rahmanas: Taigi jūs paminėjote, kad netrukus išleisite šią funkciją. Ar tai ateina kaip partnerių BSP atnaujinimas?
Juddas Heipas: mūsų naujos kartos produktuose, papildydami programinę įrangą, turėsime galimybę bendrauti – iš tikrųjų tai vyksta dabar kartos produktai – šiuo metu bendradarbiaujame su klientais, siekdami atlikti daugiau kelių kadrų technikų, ne tik sumažinti triukšmą, bet ir valdyti HDR bei esant silpnam apšvietimui. situacijos. Jis naudoja tą patį pagrindinį ISP HW variklį, tačiau pridedame daugiau programinės įrangos, kad būtų galima apdoroti šiuos kelis kadrus ir ne tik sumažinti triukšmą.
Taigi tai nėra kažkas, kas buvo išleista, bet mes bendradarbiaujame su kai kuriais pagrindiniais klientais dėl šių funkcijų.
Analizė ir kontekstas: su kiekvienu nauju „Snapdragon SoC“ pranešimu „Qualcomm“ specifikacijų lentelėje pateikiamos specifikacijos, susijusios su kelių kadrų triukšmo mažinimu. Pavyzdžiui, „Snapdragon 865“ su dviem 14 bitų CV-IPT palaiko iki hipotetinės 200MP vienos kameros (nors fotoaparato jutiklių pardavėjai, tokie kaip „Sony“, „Samsung“ ir „OmniVision“, dar neišleido jokio išmaniojo telefono kameros jutiklio, viršijančio 108 MP). Tačiau kalbant apie vienos kameros palaikymą su MFNR, nulinės užrakto delsos (ZSL) ir 30 kadrų per sekundę palaikymu, specifikacija pasikeičia į 64 MP, o dviejų kamerų su tomis pačiomis specifikacijomis specifikacija pasikeičia į 25 MP.
„Qualcomm“ kelių kadrų triukšmo mažinimas yra labai panašus į HDR+, bet ne visiškai tas pats, kaip paaiškino Judd aukščiau. Nors HDR+ fotografuoja per mažai išlaikytų ekspozicijų seriją ir suvidurkina jas, kad gautų geriausią nuotrauką, MFNR fotografuoja nuo penkių iki septynių įprastų kadrų. Atrodo, kad „Qualcomm“ MFNR nėra toks pažangus kaip „Google“ sprendimas, nes HDR ir silpnas apšvietimas šiuo metu nėra minimi kaip konkretūs prioritetai. „Spectra“ darbo eiga, o „Google HDR+“ tuo pačiu metu yra skirtas HDR, fotografavimui prasto apšvietimo ir triukšmo mažinimui, o naktinis vaizdas netgi pagerina toliau. Tačiau džiugu, kad MFNR gauna patobulinimų ir „Qualcomm“ šiuos patobulinimus pristatys „kai kuriems pagrindiniams klientams“. Ateityje galbūt neprireiks neoficialių „Google Camera“ prievadų, kad išnaudotume visas ne „Google Android“ išmaniųjų telefonų kamerų galimybes.
Super raiška vaizdo įrašams
Mišaalas Rahmanas: Taigi, kažkas, ką išgirdau Technikos viršūnių susitikime. Tiesą sakant, manau, kad buvo interviu su Android institucija. Ar tai, kad „Qualcomm“ planuoja išplėsti vaizdo įrašų skiriamąją gebą, kaip programinės įrangos sprendimą partneriams, ir, matyt, tai bus atnaujinta. Noriu sužinoti, ar turite kokių nors naujienų apie šią funkciją.
Juddas Heipas: Taip, tai yra funkcija, kurią galėjome atlikti jau kurį laiką, tačiau ji tik dabar pristatoma. Nepasakyčiau, kad tai programinės įrangos naujinimas, bet sakyčiau, kad tai tarsi papildomas esamos kelių kadrų, silpno apšvietimo funkcijos pranašumas. Dėl šios funkcijos bendradarbiaujame su kai kuriais konkrečiais klientais. Taip, vaizdo įrašų super raiška yra kažkas kito karto, ar taip, mes ją turėsime tokią, kokią turime iškvieskite įrašymo planą, kai jis iš tikrųjų yra įtrauktas į [the] programinės įrangos kodo bazę fotoaparatas. Tačiau šiuo metu tai labiau susiję su konkrečių klientų įtraukimu į šią naują funkciją.
Analizė ir kontekstas: Puiki vaizdo įrašų skyra yra funkcija, kuri iki šiol nebuvo rodoma išmaniųjų telefonų kamerose. Tai tokia nauja sritis, kad apie tai vis dar rašomi moksliniai darbai. Kelių kadrų technikos naudojimas fotografuojant yra vienas dalykas, tačiau naudoti juos vaizdo įrašams norint padidinti vaizdo įrašo skiriamąją gebą yra visiškai kitas dalykas. „Qualcomm“ teigia, kad šią funkciją vėl pristato „kai kuriems pagrindiniams klientams“, tačiau šiuo metu ji nėra integruota į fotoaparato programinės įrangos kodo bazę. Ateityje ji gali būti prieinama visiems, tačiau kol kas tai yra funkcija, kuria galutiniai vartotojai dar net nespėjo naudotis.
Didelio megapikselių Quad Bayer jutikliai
Idreesas Patelis: Pakalbėkime apie Quad Bayer jutiklius. Nuo 2019 m. daugelis telefonų turi 48 MP, 64 MP, o dabar net 108 MP jutiklius. Tai Quad Bayer jutikliai; iš tikrųjų neturite tikros 48, 64 ar 108 MP spalvų skiriamosios gebos. Vieno dalyko norėjau paklausti, kuo IPT skiriasi vaizdo apdorojimu šiems Quad Bayer ar Nona „Bayer“ jutikliai (keturi viename arba 9 viename pikselių suskirstymas), palyginti su tradiciniais jutikliais, kurie neturi pikselių surišimas.
Juddas Heipas: Taip, žinoma, šių keturių CFA (Quad Color Filter Array) jutiklių pranašumas yra galimybė veikti ryškioje šviesoje juos apdoroja visa skiriamąja geba, o tada IPT gali juos apdoroti visais 108 megapikseliais arba 64 megapikseliais ar bet kokia kita raiška. prieinama.
Tačiau paprastai daugumoje apšvietimo situacijų, pavyzdžiui, patalpoje ar tamsoje, turite sunaikinti, nes jutiklio pikseliai yra tokie maži, kad reikia derinti pikselius, kad būtų geresnis šviesos jautrumas. Taigi sakyčiau, kad didžiąją laiko dalį, ypač jei filmuojate arba fotografuojate esant silpnam apšvietimui, dirbate sugrupuotu režimu.
Dabar IPT gali apdoroti jutiklį bet kuriuo būdu. Galite žiūrėti į jutiklį sugrupuotu režimu. Tokiu atveju tai tik įprastas „Bayer“ vaizdas, arba jis gali žiūrėti į jį visos skyros režimu, kai gaunami duomenys yra keturių CFA. Ir jei jis veikia tokiu režimu, IPT konvertuoja jį į Bayer.
Taigi mes darome – ką vadiname – „remosaicing“. Tai atlieka tam tikrą keturkampio CFA vaizdo interpoliaciją, kad jis vėl atrodytų kaip visos raiškos „Bayer“. Ir tai paprastai daroma momentinių nuotraukų programinėje įrangoje, nors galiausiai šią galimybę įtrauksime į aparatinę įrangą, kad palaikytume ir vaizdo įrašą.
Tai, kas šiandien yra IPT techninėje įrangoje, yra binning. Taigi galite įdėti į jutiklį ir iš tikrųjų galite nustatyti, ar jis išves visą, ketvirtadalį, ar 1/9 skiriamąją gebą, arba galite įdėti į IPT. Ir tai yra funkcija, kurią mes įtraukėme į „Snapdragon 865“. Taigi, jei įtraukiate į IPT ir paleidžiate jutiklį visa skiriamąja geba, tai suteikia IPT galimybę tuo pačiu metu turėti ir visos skyros vaizdą, ir surinktą vaizdą. Todėl jis gali naudoti mažesnę raišką arba „surinktą“ vaizdą vaizdo įrašui (kameroje) ir peržiūrai (vaizdo ieškiklyje) ir tuo pačiu metu naudoti visos skyros vaizdą viso dydžio momentinei nuotraukai.
Bet vėlgi, tai būtų ryškaus apšvietimo sąlygomis. Bet bent jau įdėję į IPT, galėsite tvarkyti tiek didelį, tiek mažą vaizdą tuo pačiu metu, todėl vienu metu galite gauti vaizdo įrašą ir momentinę nuotrauką, taip pat galite gauti visą skiriamąją gebą ZSL; visa tai nereikia perjungti jutiklio pirmyn ir atgal, o tai užtrunka daug laiko.
Tai tikrai gera savybė. O kaip Quad CFA jutikliai ir net jūs žinote, atsiranda 9x jutikliai ir galbūt net daugiau, ir kai šių jutiklių tampa vis daugiau visur – vis labiau stengiamės valdyti tuos jutiklius aparatinėje įrangoje, ne tik sujungimui, bet ir remosaicinas.
Taigi to privalumas yra tas, kad jei tai darote aparatinėje įrangoje, o ne programinėje įrangoje, sumažinate delsą savo klientams, taigi, jūsų fotografavimo laikas ir serijų dažnis bus daug greitesnis. Taigi, kai žengsime į priekį su naujais IPT ir naujais lustais, pamatysite daug daugiau to, ką darome dėl šių naujų tipų jutiklių, įtrauktų į aparatinę įrangą.
Analizė ir kontekstas: „Huawei“ pirmasis panaudojo 40 MP „Quad Bayer“ jutiklį Huawei P20 Pro 2018 m., o Quad Bayer jutiklių populiarumas buvo toks didelis, kad dabar pasiekė net 150 USD vertės telefonus, maitinamus Snapdragon/Exynos/MediaTek lustais. Visų pirma, išmaniųjų telefonų pramonė naudojasi 48 MP ir 64 MP kameromis, o kai kurie telefonai pasiekia net 108 MP. „Quad Bayer“ ir „Nona Bayer“ jutikliai neapsieina be negatyvų, nes visa jų skiriamoji geba yra su įspėjimais.
Tačiau dėl rinkodaros priežasčių 48 MP jutiklis skamba daug geriau nei 12 MP jutiklis, net jei vartotojas didžiąją laiko dalį fotografuoja 12 MP pikseliais. 48MP jutiklis teoriškai turėtų lemti geresnes 12MP pikselių nuotraukas esant silpnam apšvietimui nei tradicinis 12MP. jutiklis, tačiau vaizdo apdorojimas turi neatsilikti, ir, kaip minėjau toliau, iki to reikia nueiti ilgą kelią atsitikti. Nepaisant to, buvo įdomu pamatyti, kaip Spectra IPT valdo Quad Bayer jutiklius su remosaicinu. Šiuose jutikliuose ir telefonuose, pvz., „OnePlus 8 Pro“ (kuriame naudojamas „Sony IMX689 Quad Bayer“ jutiklis su dideliais pikseliais), yra daug potencialo. šiuo metu yra išmaniųjų telefonų kamerų viršūnėje.
ML pagrįstas veido atpažinimas
Mišaalas Rahmanas: Taigi manau, kad anksčiau minėjote, kad ML pagrįstas veido atpažinimas palaikomas Spectra 480. Tai kažkas, ką iš tikrųjų išgirdau Technikos aukščiausiojo lygio susitikime. [Tai yra] vienas iš patobulinimų nuo 380 iki 480; kad tai yra dalis – vaizdo analizės variklyje yra naujas objektyvo aptikimo blokas, kuris ateityje naudojamas erdviniam atpažinimui.
Ar galite daugiau pakalbėti apie tai, kiek tai pagerina veido atpažinimą ir kokias galimas programas, jūsų nuomone, tai naudoja pardavėjai?
Juddas Heipas: Taip, iš tikrųjų, taigi jūs esate įterptajame kompiuterinio matymo bloke, kuris yra „EVA“ blokas, apie kurį kalbėjome „Tech Summit“. Jame yra bendras objektų aptikimo branduolys, kurį naudojame, kai kamera veikia, tai naudojame veidus aptikti. Tame bloke naudojamos technikos yra labiau tradicinės, todėl objektas atpažįstamas naudojant tradicinius klasifikatoriai, bet be to, mes turime programinės įrangos variklį, kuris iš tikrųjų pagerina jo tikslumą blokas.
Taigi mes naudojame ML pagrįstą programinę įrangą, kad išfiltruotume klaidingus teigiamus rezultatus, nes aparatinė įranga gali aptikti daugiau dalykų kaip veidų scenoje, o tada ML programinė įranga sakydami: „gerai, tai veidas“ arba „tai tikrai ne veidas“, tai padidina tikslumą keliais procentiniais punktais paleidus ML filtrą ant aparatūra.
Daug ką minėjau apie ateitį. Ateityje taip pat planuojame paleisti visą veido aptikimą ML arba gilaus mokymosi režimu programinėje įrangoje. Tai ypač pasakytina apie žemesnius lygius, taigi, pavyzdžiui, pakopoje, kurioje neturime EVA aparatinės įrangos variklio, pradėsime palaipsniui mokytis giliai. kaip aptikimą, kuris veikia lusto AI variklyje, o vėliau, viršutinėse 700–800 pakopų pakopose, turime EVA aparatinę įrangą, kad tai padarytume...
Vis dėlto pasakysiu apibendrintai, kad veidų aptikimui labiau pereisime prie ML metodų, kurie apimtų ir programinę įrangą vidutinės trukmės laikotarpiu, ir aparatinę įrangą vėlesniu laikotarpiu. Nesiruošiu atskleisti, kurie produktai jį turės, bet, žinoma, tobulindami IPT, tikrai pridėsime vis daugiau aparatinės įrangos, kad galėtume atlikti ML.
Mišaalas Rahmanas: Nuostabu. Na, manau, savaime suprantama, kad kryptis, kuria einate, yra 800 serijos mašininio mokymosi patobulinimų sumažinimas iki žemesnės pakopos, todėl manau, kad tai yra savaime suprantama. Bet, žinoma, jūs negalite mums pateikti jokių konkrečių dalykų. Dėkoju už atnaujinimą.
Juddas Heipas: Veido aptikimas yra kažkas, kas mums labai patinka. Norime patobulinti šiuos tikslumus, žinote, kad kartos iš kartos visose pakopose nuo 800 iki 400 pakopos. ML yra didelė to dalis.
Analizė ir kontekstas: Šie aspektai suteikia išmaniųjų telefonų fotografavimui daug daugiau galimybių, palyginti su naujausiais beveidrodiniais fotoaparatais. Taip, beveidrodinės kameros turi geresnę vaizdo kokybę esant silpnam apšvietimui ir yra daug lankstesnės, tačiau išmaniųjų telefonų kameros išradingais būdais įveikia savo ribotumą. ML pagrįstas veido aptikimas yra tik dalis to.
Vaizdo apdorojimo variklio patobulinimai
Mišaalas Rahmanas: Nuostabu. Taigi vienas iš dalykų, kurį trumpai išgirdau per apskritojo stalo diskusijas po „Snapdragon Tech Summit“, buvo vaizdo apdorojimo variklio patobulinimas. Girdėjau, kad patobulintas žemo vidutinio dažnio triukšmo mažinimas arba LEANR. Ir kad taikote dinaminį atvirkštinio stiprinimo žemėlapį; ar tai kažkas, ką minėjote anksčiau pokalbyje.
Juddas Heipas: Na, gerai. Taigi manau, kad jūs maišote du dalykus. Taip, taigi yra LEANR branduolys, kuris sumažina triukšmą stambesniuose grūduose, o tai padeda esant silpnam apšvietimui. Tai naujas blokas, kuris buvo įtrauktas į IPT Snapdragon 865, ir tai yra vienas dalykas.
Atvirkštinio stiprinimo žemėlapis yra kažkas kita. Tai dar kažkas, ką minėjau prie apskritų stalų, bet tai yra, kad būtų panaikintas objektyvo šešėliavimo poveikis. Taigi, kaip žinote, jei turite ragelį ir jis turi mažą objektyvą; objektyvo centras bus šviesus, o kraštai bus labiau vinjetuoti; tai reiškia, kad jie bus tamsesni.
Taigi praėjusiais metais IPT naudojome statinį atvirkštinio stiprinimo žemėlapį, kad pašalintume tuos tamsius kraštus. Ir tai jau ilgą laiką buvo IPT. Tačiau tai, ką mes įtraukėme į „Snapdragon 865“, yra galimybė, kad šis stiprinimo žemėlapis dinamiškai keistųsi atsižvelgiant į konkretų vaizdo rėmelį, nes jei kraštams pritaikysite daug padidėjimo. gali būti nukirpti kraštai, ypač jei žiūrite į ryškias šviesas lauke, pavyzdžiui, mėlynas dangus gali pasidaryti baltas arba kraštai nukirps dėl daugybės įgyti.
Taigi „Snapdragon 865“ atvirkštinio stiprinimo žemėlapis nėra statinis; tai dinamiška. Taigi mes žiūrime į vaizdą ir sakome: „gerai, šios vaizdo dalys yra iškirptos ir neturėtų būti“, kad galėtume pasukti natūraliai pašalinkite stiprinimo žemėlapį, kad pataisius objektyvą neatsirastų ryškių kraštų, aureolės efektų ar panašių dalykų šešėliavimas. Taigi tai skiriasi nuo triukšmo mažinimo ir yra du skirtingi branduoliai.
Fotografavimas prastame apšvietime ir agresyvus triukšmo mažinimas
Idreesas Patelis: Taigi vienas dalykas, kurio norėjau paklausti, buvo fotografavimas prastame apšvietime. Kaip ir per pastaruosius kelerius metus, buvo daug [OĮG įdiegtų] naktinių režimų, tačiau pastebėjau vieną dalyką. daugelis prietaisų gamintojų imasi agresyvaus triukšmo mažinimo, kuris sumažina detalumą iki tokio lygio, kad skaisčio triukšmas yra tolygus. pašalintas.
Taigi, mano klausimas, ar „Qualcomm“ pataria įrenginių gamintojams to nedaryti ir ar tai daro jų apdorojimo vamzdynai, ar tam įtakos turi IPT SoC.
Juddas Heipas: Daug kas yra susiję su derinimu, o jei neturite kelių kadrų arba, sakyčiau, nėra labai gero vaizdo jutiklio, su dideliu jautrumu arba optika su mažais f skaičiais. Vienas iš būdų atsikratyti triukšmo, ypač esant silpnam apšvietimui, yra labiau sumažinti triukšmą, bet kas atsitinka, kai sumažinate triukšmą, prarandate detales, todėl aštrūs kraštai tampa neryškūs. Dabar galite to atsikratyti, jei taikysite šiuos kelių kadrų metodus. Arba jei taikote AI metodus, kurie gali išsiaiškinti, kur yra objektų ir veidų kraštai, ir panašiai. Taigi tiesiog brutalios jėgos triukšmo mažinimo taikymas šiais laikais nėra tinkamas būdas, nes galiausiai prarandate detales.
Tai, ką norite padaryti, yra naudoti kelių kadrų arba AI metodus, kad vis tiek galėtumėte taikyti triukšmą Sumažinti iki panašių į vidines objektų sritis, išlaikant gražius švarius kraštus arba išlaikant aštrius kraštus objektų. Taigi aš sakyčiau štai ką: naudojant dirbtinį intelektą arba kelių kadrų skaičių galima sumažinti triukšmą ir pagerinti vaizdus esant silpnam apšvietimui.
Idreesas Patelis: Taip, ir aš būtent tai norėjau išgirsti. [Taip], nes tai yra pagrindinis dalykas, skiriantis puikias išmaniųjų telefonų kameras nuo vidutinės ar biudžetinės klasės kamerų.
Juddas Heipas: Taip.
Idreesas Patelis: Puikios išmaniųjų telefonų kameros žino, kada taikyti triukšmo mažinimą, o kada ne.
Juddas Heipas: Būtent. Taip, ir, kaip sakiau, fotoaparato derinimą iš tikrųjų atlieka mūsų klientai arba originalios įrangos gamintojai, o kai kurie originalios įrangos gamintojai renkasi švelnesnį vaizdą su mažiau triukšmo. Kai kurie nori atskleisti daugiau detalių su šiek tiek didesniu triukšmu.
Taigi tai yra kompromisas, todėl jūs turite apribojimų. Ir tarsi sakiau, kad geriausia yra gauti geresnį vaizdo jutiklį su didesniu jautrumu, didesni pikseliai arba mažesnio f skaičiaus optika, nes tada nuo pat pradžių gausite daugiau šviesos, tai visada geriau. Bet jei to padaryti negalite, užuot tiesiog padidinę triukšmo mažinimą ir praradę detales, norite naudoti kelių kadrų arba dirbtinio intelekto technologijas.
Analizė ir kontekstas: Tai, mano nuomone, šiuo metu yra didžiausia išmaniųjų telefonų kamerų problema. Taip, galite naudoti 48 MP arba 64 MP ar net 108 MP jutiklį. Tačiau jei nesirenkate naudoti suvaržyto triukšmo mažinimo naudojant MFNR arba AI metodus, visi šie megapikseliai, 4 viename ir net 9 viename skirstymas nėra labai naudingi. „Galaxy S20 Ultra“ yra puikus pavyzdys, nes jo pagrindinė 108 MP kamera iš esmės buvo laikomas nusivylimu. „Samsung“ 2020 m. flagmanuose naudojo itin agresyvų triukšmo mažinimą naktiniuose režimuose, o 2019 m. „Galaxy S10“ serija, kaip ironiška, vaizdo apdorojimo srityje atsigręžė.
Judd atskleidžia, kad kai kurie originalios įrangos gamintojai iš tikrųjų renkasi švelnesnį vaizdą su mažiau triukšmo, o tai iš esmės yra neteisingas pasirinkimas. Derinimą atlieka įrenginių gamintojai, todėl du telefonai, naudojantys tą patį jutiklį ir maitinami to paties SoC, gali išvesti labai, labai skirtingas nuotraukas. Reikia tikėtis, kad šie prietaisų gamintojai sužinos tiesą iš savo konkurentų, kurie dirba geriau. Nors šiais metais „Samsung“ prarado kelią vaizdo apdorojimo srityje, „OnePlus“ buvo ryškus kontrastas. „OnePlus 8 Pro“ yra viena geriausių išmaniųjų telefonų kamerų rinkoje, o tai yra reikšmingas pasiekimas, atsižvelgiant į labai prastą „OnePlus 5T“ kameros našumą 2017 m. Vaizdo apdorojimo mąstysena turi pasikeisti, kad nuotraukos būtų ryškios, nepaisant to, kaip vyksta megapikselių karai.
AV1 dekodavimas ir kodavimas
Mišaalas Rahmanas: Taigi tai šiek tiek skiriasi nuo kitų diskusijų apie fotoaparato kokybę. Vienas iš dalykų, dėl kurių kai kurie atvirojo kodo medijos kodekų bendruomenės žmonės domėjosi, yra tai, kada „Qualcomm“ palaikys AV1 dekodavimas ir galbūt kodavimas. Žinau, kad tai yra šiek tiek sudėtinga, bet „Google“ reikalauja 4K HDR ir 8K televizorių „Android 10“, kad būtų palaikomas AV1 dekodavimas ir „Netflix“, YouTube, jie pradeda vaizdo įrašų, užkoduotų AV1, išleidimą. Taigi atrodo, kad AV1 užkoduotų vaizdo įrašų gausa lėtai. Taigi mums įdomu, kada bent dekodavimo palaikymas bus pasiekiamas Spectra.
Qualcomm pareiškimas: Pagal jūsų klausimą dėl AV1 – šiandien neturime nieko pranešti. Tačiau „Snapdragon“ šiuo metu gali atkurti AV1 per programinę įrangą. „Qualcomm“ visada dirba su partneriais naujos kartos kodekuose, kurdama programinę ir aparatinę įrangą Snapdragon yra HDR kodekų lyderis, įskaitant fiksavimą ir atkūrimą HEIF, HLG, HDR10, HDR10+ ir Dolby Vizija. Žinoma, mes suprantame, kad norime suteikti klientams geriausią CODEC patirtį, įskaitant didelės skiriamosios gebos ir mažiausios galios palaikymą, todėl norime juos įdiegti HW.
Vaizdo įrašymas – judesio kompensavimas
Mišaalas Rahmanas: Taigi nežinau, ar Idreesas turi daugiau klausimų, bet aš turėjau vieną klausimą apie tai, ką perskaičiau „Snapdragon Tech Summit“ susitikime. Kalbama apie judesio kompensuojamą vaizdo pagrindą. Girdėjau, kad yra patobulinimų judesio kompensavimo variklyje, siekiant sumažinti triukšmą filmuojant. Man buvo įdomu, ar galite išplėsti, kas tiksliai buvo patobulinta ir kas buvo padaryta.
Juddas Heipas: EVA (vaizdo analizės variklis) buvo patobulintas su tankesniu judesio žemėlapio šerdimi, kad EVA variklis, pavyzdžiui, visada žiūri į gaunamą vaizdo įrašą ir jame yra branduolys, kuris atlieka judesius įvertinimas. Mes padarėme tą branduolį daug tikslesnį, kai jis tai daro beveik pikselio lygiu, o ne kaip daugiau grubus bloko lygis, todėl iš Snapdragon 865 EVA variklio gauname daug daugiau judesio vektorių nei ankstesniame kartos. O tai reiškia, kad vaizdo įrašo branduolys, atliekantis kodavimą, gali naudoti tuos judesio vektorius, kad būtų daugiau tikslus apie kodavimą, tačiau fotoaparato pusėje esantis IPT taip pat naudoja šią informaciją triukšmui sumažinimas.
Taigi, kaip žinote, ištisas kartas naudojome judesį kompensuojamą laikinį filtravimą, kuris iš tikrųjų yra aktyvus triukšmo mažinimas vaizdo įrašo metu, kuris laikui bėgant apskaičiuoja kadrų vidurkį, kad pašalintų triukšmą.
Tačiau šios technikos problema yra ta, kad scenoje judate. Dėl triukšmo mažinimo judėjimas tiesiog atmetamas, nes jo negalima valdyti arba jis susitepa, o ant judančių daiktų atsiranda tokių bjaurių pėdsakų ir artefaktų. Taigi, naudojant judesį kompensuotą laikinį filtravimą, ką mes darėme praeityje, nes neturėjome šio tankaus judėjimo žemėlapio vietiniam judėjimas, mes turime – tiesiog tvarkome tik tuos atvejus, kai judinate fotoaparatą, tai gana paprasta, nes viskas juda visame pasaulyje.
Bet jei ką nors fotografuojate ir scenoje juda objektas, tai, ką mes darėme anksčiau [buvo tai] mes tiesiog ignoravome tuos pikselius, nes negalėjome juos apdoroti dėl triukšmo, nes tai buvo vietoje juda objektas. Ir todėl, jei apskaičiavote kadrų vidurkį, objektas kiekvieną kadrą buvo vis kitoje vietoje, todėl negalėjote jo apdoroti.
Bet „Snapdragon 865“, nes turime tankesnį judesio žemėlapį ir galime žiūrėti į judesio vektorius beveik pikselyje pagal pikselius, mes iš tikrųjų galime apdoroti tuos vietoje perkeltus pikselius kadras po kadro, kad sumažintume triukšmą, o anksčiau negalėjome. Manau, kalboje paminėjau metriką. Neatsimenu numerio (tai buvo 40 proc.) Tačiau tai buvo didelė pikselių procentinė dalis daugumoje vaizdo įrašų, kurie dabar gali būti apdoroti dėl triukšmo, o ankstesnės kartos jų negalėjo būti. Ir tai iš dalies priklauso nuo gebėjimo suprasti vietinį, o ne tik visuotinį judėjimą.
Vaizdo įrašymas – HDR
Idreesas Patelis: Kitas mano klausimas yra apie HDR vaizdo įrašą. Šiais metais matau, kad daug daugiau įrenginių gamintojų siūlo HDR10 vaizdo įrašymą. Ar tai kažkas, kas buvo reklamuojama naudojant „Snapdragon 865“, ar jis buvo ten jau keletą kartų.
Juddas Heipas: O taip, kaip apie tai kalbėjome Tech Summit metu, turime HDR10, kuris yra HDR vaizdo standartas kameros kodavimo pusė jau kelios kartos, nuo Snapdragon 845, manau, ir mes nuolat tobulinome kad.
Taigi praėjusiais metais kalbėjome apie HDR10+, kuris yra 10 bitų HDR įrašymas, tačiau vietoj statinių metaduomenų jame yra dinaminiai metaduomenys, taigi metaduomenys, kuriuos užfiksuoja kamera. scena iš tikrųjų įrašoma realiu laiku, kad ją atkuriant atkūrimo variklis suprastų, ar tai buvo tamsus, ar šviesus kambarys, ir gali kompensuoti kad.
Praėjusiais metais „Tech Summit“ taip pat kalbėjome apie „Dolby Vision“ fiksavimą, kuris yra „Dolby“ alternatyva HDR10+. Tai labai panašu, kai jie iš tikrųjų sukuria ir dinaminius metaduomenis. Taigi „Snapdragon“ šiandien gali palaikyti visus tris šiuos formatus: HDR10, HDR10+ ir „Dolby Vision“ fiksavimą. Taigi tikrai nėra jokių apribojimų, mūsų originalios įrangos gamintojai gali pasirinkti bet kurį pageidaujamą metodą. Jau kurį laiką turime klientų, naudojančių HDR10, o pernai ir šiais metais vis daugiau klientų renkasi HDR10+. Ir manau, kad ateityje pamatysite ir „Dolby Vision Capture“ pritaikymą.
Taip, mes tai labai reklamuojame. HDR mums tikrai svarbus tiek momentinių nuotraukų, tiek vaizdo įrašų atžvilgiu. Ir, kaip sakiau, esame įsipareigoję naudoti HDR10 ir HDR10+, o dabar – „Dolby Vision“ formatus, žinote nuo „Snapdragon 845“, o dabar netgi „Snapdragon 865“, skirto „Dolby Vision“.
Mišaalas Rahmanas: Be to, aš iš tikrųjų nebuvau tikras, ar kuris nors pardavėjas dar įdiegė Dolby Vision įrašymą, bet manau, kad tai atsako į šį klausimą. [Tai] kažkas, ką pamatysime ateityje.
Juddas Heipas: Žinoma – negaliu komentuoti, kurie pardavėjai domisi ir panašiai. Tai būtų klausimas Dolby; tai yra jų funkcija, todėl jei norite daugiau informacijos apie tai, siūlyčiau susisiekti su „Dolby“. Tačiau iki šiol, kiek aš žinau, dar nebuvo telefono, kuris būtų išleistas su Dolby Vision Capture.
Idreesas Patelis: Nes jums reikia ir ekrano palaikymo. Pastebėjau, kad išmaniųjų telefonų ekranai palaiko HDR10 ir HDR10+, bet ne „Dolby Vision“.
Juddas Heipas: Taip, iš tikrųjų, bet „Dolby Vision“ atkūrimas anksčiau buvo palaikomas „Snapdragon“. Jis gali veikti su tam tikru ekranu ir ekranas nebūtinai turi atitikti konkrečius kriterijus, kad būtų suderinamas su Dolby Vision, išskyrus Dolby įvertins ekraną ir įsitikins, kad jis turi tam tikrą spalvų gamą, gama, tam tikrą bitų gylį, tam tikrą ryškumą ir tam tikrą kontrastą santykis.
Taigi, žinote, galite nusipirkti HDR10 ekraną, bet taip pat galite nusipirkti telefoną, kuris palaiko „Dolby Vision“ atkūrimas, bet Doby bus kvalifikuotas tas ekranas, kad įsitikintų, jog jis atitinka jų griežtus reikalavimus reikalavimus.
Bendradarbiavimas su programinės įrangos pardavėjais: Imint, Morpho ir Arcsoft
Mišaalas Rahmanas: Manau, tik vienas klausimas, su kuriuo turėčiau atsakyti ir atlikti daugiau tyrimų, yra viena įmonė, su kuria neseniai kalbėjomės. Imint. Jie neseniai atnaujino savo Vidhance stabilizavimo programinė įranga į dirbti su Spectra 480. Žinau, kad dirbate su daugybe įmonių, kurios taip pat naudojasi Spectra 480, apdorojimu. Įdomu, ar galite atskleisti daugiau šių technologijų pavyzdžių arba partnerių, kuriuos naudojate dirbome, kad tai būtų] kažkas, ką galėtume tęsti, sužinoti daugiau apie tai, kaip Spectra 480 naudojamas lauke.
Juddas Heipas: Dirbame su daugybe programinės įrangos pardavėjų. Kaip ir tai, ką minėjome praeityje, Dolby yra vienas iš jų. Yra ir kitų, kaip jūs minėjote, „Imint/Vidhance“, skirta EIS (elektroniniam vaizdo stabilizavimui). Taip pat anksčiau minėjome Morpho ir Arcsoft, su jais taip pat labai glaudžiai bendradarbiaujame.
Kalbant apie tai, kaip dirbame su jais, mūsų politika yra tokia, kad tikrai norime glaudžiai bendradarbiauti su šiais nepriklausomais programinės įrangos pardavėjais ir kad ir ką jie darytų programinėje įrangoje, jie gali panaudoti Snapdragon aparatinę įrangą, kad sunaudotų mažiausią energijos galima.
Taigi vienas iš dalykų, kurį darome su šiais pardavėjais, yra tai, kad užtikriname, kad jie turėtų tikrai gerą prieigą prie HVX variklio arba šešiakampio DSP branduolio. Jie taip pat naudoja EVA variklį judesio vektoriams gauti ir naudoti aparatinę įrangą bei EVA variklį vaizdo manipuliavimui, kad jie gali atlikti vaizdų judėjimą, vertimą ir deformaciją bei panašius dalykus aparatinėje įrangoje, o ne naudoti GPU. kad.
Taigi, mes tikrai glaudžiai bendradarbiaujame su šiais ISV, ypač su tais, kuriuos paminėjau, kad įsitikintume, jog jie ne tik pateikia viską ir programinę įrangą CPU, bet jie naudoja tokius dalykus kaip DSP ir aparatūros greitintuvai EVA, kad pagerintų našumą ir sumažintų galią vartojimo. Taigi tai labai svarbu ir mums, nes tai suteikia klientams geriausią įmanomą funkcijų ir energijos suvartojimo derinį.
[Baigiamieji Juddo komentarai]: Tiesiog norėjau pasakyti, ačiū, vaikinai, už visus tikrai gerus klausimus. Jie tikrai labai detalūs. Aš dirbu „Qualcomm“ jau maždaug trejus metus ir žiūriu į mūsų praeitį, net ir po savo kadencijos čia, kur anksčiau pradėjome kurti „Spectra“ Snapdragon 845, mes tikrai sunkiai dirbome, kad žymiai pagerintume IPT, fotoaparatą ir tik bendrą patirtį per pastaruosius keletą metų. Aš tikrai džiaugiuosi net tuo, ką atneš ateitis. Ir aš džiaugiuosi, ką paskelbsime būsimuose technologijų viršūnių susitikimuose, apie kuriuos jūs, vaikinai, galėsite paklausti ir parašyti. [Spectra Camera], tikriausiai, mano nuomone, yra viena įdomiausių „Qualcomm“ technologijų.
Paskutinės mintys
Buvo puiku diskutuoti su Juddu apie „Qualcomm“ indėlį į išmaniųjų telefonų fotografiją. Galime turėti prieštaringų jausmų apie įmonę ir jos patentų licencijavimo sistemą, tačiau „Qualcomm“ ženklą išmaniųjų telefonų pramonėje jaučia visi, nesvarbu, ar kalbate apie patentai, 4G ir 5G, Wi-Fi, Adreno GPU, Spectra IPT ir patys Snapdragon lustai, kurie daugiausia laikomi aukso standartu Android išmaniajame telefone. turgus.
Fotografuojant išmaniuoju telefonu vis dar yra daug problemų, kurias reikia išspręsti, tačiau ateitis yra „Qualcomm“ žada padaryti daugiau pažangos didžiulėse, augančiose ML srityse, kurios gali AI. Pažiūrėkime, ką „Qualcomm“ turi paskelbti šioje srityje kitame „Snapdragon Tech Summit“ susitikime.