Qualcommin Judd Heape selittää, kuinka Qualcomm parantaa kamerakokemuksia Android-puhelimissa uusilla ominaisuuksilla Spectra ISP: issä.
Suurin osa maailman älypuhelimista ja puetettavista laitteista käyttävien system-on-chips (SoC) valmistajana yhdysvaltalainen Qualcomm on epäilemättä yksi sirujen valmistajateollisuuden jättiläisistä. Esimerkiksi lähes kaikki suuret Android-laitteiden valmistajat käyttävät Snapdragonin SoC-sarjaa lippulaiva-, keskitason ja budjettiälypuhelimissa. Qualcomm saa kiitosta joka vuosi yhtiön vuosittaisessa Tech Summit -kokouksessa suorittimen, grafiikkasuorittimen ja tekoälyn aloilla saavutetusta edistyksestä, koska se sisältää ARM: n uudet suorittimen mikroarkkitehtuurit ja täydentää niitä mukautettujen grafiikkasuorittimiensa vuosittaisilla parannuksilla. Sen edistystä kameroiden alalla ei kuitenkaan havaita niin paljon, koska ne jäävät yleensä alle tutka.
Tämä ei kuitenkaan tarkoita, että Qualcommin työ älypuhelimien kameroissa olisi merkityksetöntä. Päinvastoin, Qualcommin Spectra Internet-palveluntarjoajat Snapdragon SoC: issa auttavat tekemään suuren osan nykyaikaisista älypuhelinkameroista mahdollisiksi lisääntyneillä laskennallinen prosessointiteho, ominaisuudet, kuten 8K-videotallennus, HDR10-video, tuki korkean megapikselin QCFA-kameroille ja paljon, paljon lisää. Qualcomm on mainostanut Spectra 380 ISP: tä Snapdragon 855:ssä
oli maailman ensimmäinen CV-ISP, ja se on edistänyt maailman ensimmäisiä 4K HDR -videotallennusominaisuuksia, joita on nyt täydennetty 2. sukupolven 4K HDR10+ -videotallennuksella. Uusimman sukupolven Spectra 480 ISP Snapdragon 865 on erittäin suorituskykyinen - se pystyy käsittelemään kaksi gigapikseliä sekunnissa, mikä on 40 % enemmän kuin edeltäjänsä. Se on immateriaalioikeus (IP), joka erottaa Qualcommin sen kilpailijoista mobiilisirujen toimittajaalueella.Vaikka Qualcomm selittää useimmat otsikkoominaisuudet lehdistötiedotteissaan ja tuotepuheenvuoroissaan, ylös toistaiseksi kuluttajat eivät ole saaneet mahdollisuutta tietää suurinta osaa matalan tason yksityiskohdista, jotka tekevät nämä asiat tehdä työtä.
Siksi me XDA Developersissä otimme mielellämme vastaan tarjouksen keskustella Qualcommin tuotehallinnan johtajan Judd Heapen kanssa. XDA: n päätoimittaja Mishaal Rahman ja minä haastattelimme Juddin kanssa kesäkuussa 2020 oppiaksemme ja nähdäksemme, kuinka Qualcomm työntää maalitolppaa älypuhelimen valokuvauksen ja videon tallennuksen avulla. Puhuimme aiheista, kuten tekoälykuvankäsittelystä, monikuvakehikon kohinanvaimennus (MFNR), AV1, Dolby Vision -videotallennus, pikselien yhdistäminen korkean megapikselin kameroissa ja paljon muuta. Katsotaanpa Juddin näkemyksiä kustakin aiheesta yksitellen:
AI-kuvankäsittelyn työmäärät
Mishaal Rahman: Aloitan yhdestä niistä, jotka Idreesillä oli, joka on mielenkiintoinen ja josta olin myös kiinnostunut. Joten mietimme, mitkä ovat Qualcommin Spectra ISP: ssä käyttämät tekoälykuvankäsittelyn työmäärät ja missä määrin laitevalmistajat voivat muokata niitä?
Judd Heape: Joo, joten tarkastelemme monia tekoälyn työkuormia ja jotkut tekoälyt voivat toimia itse Internet-palveluntarjoajassa kuten esimerkiksi seuraavan sukupolven 3A: automaattinen valotus, automaattinen valkotasapaino ja automaattitarkennus ovat tekoälyä perustuu.
Mutta tarkastelemme myös muutamia muita AI-työkuormia, jotka toimisivat Internet-palveluntarjoajan ulkopuolella, jossakin muussa laskentaelementissä. Joten tarkastelemme erityisesti asioita, kuten: meillä on AI-pohjainen kohinanvaimennusydin, joka toimii ulkoisesti Internet-palveluntarjoajalta, sirun tekoälymoottorin (AIE) osassa.
Lisäksi meillä on asioita, kuten kasvojentunnistus, joka on täysi syväoppimismoottori, joka toimii myös AIE-kompleksissa, mutta tietysti avustaa kameraa. Ja on muitakin asioita, joita työskentelemme paitsi kasvojentunnistuksen ja melun poistamisen; Tarkastelemme myös esimerkiksi tilannekuvien automaattista säätöä tekoälyllä, joka asettuu automaattisesti parametrit kohtauskohtaisesti HDR-sisällön perusteella, prosessoimme muokkaamaan varjoja ja valokohtia ja värejä ja sellaisia asia.
Yksi kumppaneistamme, Morpho, voitti juuri valtavan tekoälyn työmääräpalkinnon Embedded Vision Summitissa tänä vuonna. Riippumattomilla ohjelmistotoimittajakumppaneilla on myös paljon todella intensiivisiä tekoälypohjaisia algoritmeja, ja ne voivat vaihdella mitä tahansa, kuten sujuvaa kameraa. siirtyminen, kuten Arcsoft tekee (mainitsin sen viimeisimmässä tekoälypohjaisessa Snapdragon Tech Summitissa) Morphon semanttiseen segmentointiin moottori. Morphon ratkaisu on tekoälymoottori, joka ymmärtää kohtauksen eri osia, kuten mitä tiedät, kangas vs iho vs. taivas ja ruoho ja rakentaminen ja vastaavat, ja sitten Internet-palveluntarjoaja voi ottaa nämä tiedot ja käsitellä ne pikselit eri tavalla tekstuuria, kohinaa ja värejä varten esimerkki.
Qualcommin lausunto: Emme myöskään julkaise uusia päivityksiä kasvojentunnistuksen ja "3A":n (AE, AF ja AWB) ominaisuuksiin ML- ja tekoälyn osalta tänään. Kuten Judd sanoi, olemme kuitenkin jatkossa sitoutuneet tuomaan enemmän ML/AI-kykyä kameraan, mukaan lukien nämä kaksi ominaisuusaluetta.
Analyysi ja konteksti: Älypuhelimien tekoälyä on pidetty suurelta osin muotisanana siitä lähtien, kun ensimmäiset neuroprosessointiyksiköt (NPU) ja "AI-pohjaiset" ominaisuudet alkoivat saapua Android-puhelimiin. Se ei kuitenkaan tarkoita, että tekoäly itsessään olisi merkityksetön. Päinvastoin, tekoälyllä on paljon potentiaalia mobiilialalla, jopa siihen pisteeseen, jossa sirujen myyjät ja laitevalmistajat vain raaputtavat pintaa mahdollisista.
Tekoälyn ansiosta älypuhelimien kamerat ovat parantuneet – joskus nopeasti, joskus tuskallisen hitaasti, mutta perille pääsevät. Älypuhelinten kamerat ylittävät perustavanlaatuiset rajoitukset, kuten suhteellisen pienet anturit, kiinteät polttovälit ja huonompi optiikka älykkäällä laskennallisella valokuvauksella, joka perustuu koneoppimiseen (ML). Automaattinen valotus, kohinanvaimennus, kasvojen tunnistus ja segmentointi ovat vain osa aloista, joihin älypuhelinvalokuvauksen tekoäly on voinut vaikuttaa. Seuraavan viiden vuoden aikana nämä kehittyvät tekoälykentät, jotka parantavat valokuvauksen eri puolia, kypsyvät paljon.
Multi-frame kohinanvaimennus
Idrees Patel: Qualcomm on maininnut usean kehyksen kohinanvaimennuksen ominaisuutena. Haluaisin tietää siitä tarkemmin, kuten kuinka kuvien pinoaminen toimii. Onko se jollain tapaa samanlaista pitää siitä, mitä Google tekee HDR+-teknologiallaan vai onko se täysin erilaista?
Judd Heape: Se on samanlainen, mutta erilainen. Kuvittele, että kamera tekee sarjan ja ottaa viidestä seitsemään kuvaa peräkkäin. Sitten ISP-moottori tarkastelee näitä kehyksiä ja valitsee niistä parhaan (kutsutaan "ankkurikehykseksi"). tarkennus ja selkeys, ja sitten se voi valita 3-4 kuvaa molemmilta puolilta kehystä ja keskittää ne kaikki yhdessä. Se yrittää poimia kehyksiä, jotka ovat riittävän lähellä toisiaan, jotta liikettä on hyvin vähän.
Ja kun se asettuu näille kehyksille, se laskee niiden keskiarvon yhdessä erottaakseen, mikä on erilaista, esimerkiksi mikä on todellista kuvadataa ja mikä on kohinadataa. Joten kun sinulla on enemmän ja enemmän tietoa yhä useammasta kehyksestä, voit itse asiassa tehdä yksinkertaisia asioita, kuten tarkastella kehysten välisiä eroja. Erot ovat luultavasti kohinaa, kun taas se, mikä on yhtä suuri kehyksissä, on luultavasti kuvadataa.
Joten voimme tehdä tämän reaaliaikaisen kehyksen yhdistämisen melun vähentämiseksi. Nyt voit tehdä saman myös hämärässä ja HDR: ssä, ja se on hyvin samanlaista kuin Google todennäköisesti tekee. Emme ole heidän algoritminsa tiedossa. Mutta he käyttävät monikehystekniikoita lisätäkseen herkkyyttä, jotta voit paremmin "nähdä"; Kun olet vähentänyt kohinaa, voit nyt tehdä enemmän paikallista sävykartoitusta tai lisätä kuvaan lisäämättä kohinaa.
Joten näin he käsittelevät hämärää sekä HDR: ää. Qualcomm tekee parannuksia usean kehyksen kohinanvaimennusominaisuuteen, joka sisältää myös hämärän valon ja HDR: n. Mutta se on jotain, jonka julkaisemme pian.
Mishaal Rahman: Mainitsit siis tämän ominaisuuden käyttöönotosta pian. Onko se tulossa kuin päivitys kumppaneiden BSP: hen?
Judd Heape: Uuden sukupolven tuotteissamme ohjelmistolisäyksen kautta voimme olla tekemisissä - itse asiassa se tapahtuu juuri nyt seuraavana päivänä sukupolven tuotteet – olemme tekemisissä asiakkaiden kanssa parhaillaan tehdäksemme enemmän monikehystekniikoita melun vähentämisen lisäksi, mutta myös käsitelläksemme HDR: ää ja hämärää tilanteita. Se käyttää samaa perus-ISP HW -moottoria, mutta lisäämme enemmän ohjelmistoja käsittelemään näitä useita kehyksiä enemmän kuin vain kohinan vähentämiseksi.
Joten se ei ole jotain, joka on otettu käyttöön, mutta teemme yhteistyötä joidenkin tärkeimpien pääasiakkaiden kanssa näiden ominaisuuksien parissa.
Analyysi ja konteksti: Jokaisen uuden Snapdragon SoC -ilmoituksen yhteydessä Qualcommin tekninen taulukko sisältää usean kehyksen kohinan vähentämiseen liittyvät tekniset tiedot. Esimerkiksi Snapdragon 865 kahdella 14-bittisellä CV-ISP: llä tukee jopa hypoteettista 200 megapikselin yhtä kameraa (vaikka kameraantureiden toimittajat, kuten Sony, Samsung ja OmniVision, eivät ole vielä julkaisseet älypuhelimen kameraanturia yli 108 MP). Kuitenkin, kun kyseessä on yhden kameran tuki MFNR: llä, nolla suljinviiveellä (ZSL) ja 30 fps -tuella, Tekniset tiedot muuttuvat 64 megapikseliksi, ja kahden kameran, joilla on samat tekniset tiedot, tekniset tiedot muuttuvat 25 MP.
Qualcommin usean kehyksen kohinanvaimennus on hyvin samanlainen kuin HDR+, mutta ei täysin sama, kuten Judd edellä selitti. HDR+ ottaa sarjan alivalottunutta valotusta ja laskee niistä keskiarvon parhaan kuvan saamiseksi, kun taas MFNR ottaa viisi-seitsemän normaalia kuvaa. Qualcommin MFNR ei näytä olevan yhtä edistynyt kuin Googlen ratkaisu, koska HDR: ää ja hämärää ei mainita erityisinä prioriteetteina nykyisessä. Spectran työnkulku, kun taas Googlen HDR+ kohdistaa HDR: n, hämärässä valokuvaamiseen ja kohinanvaimennuksen samaan aikaan, ja Yönäkymä tekee siitä jopa pykälän. edelleen. On kuitenkin rohkaisevaa kuulla, että MFNR saa parannuksia ja Qualcomm julkaisee nämä parannukset "joillekin avainasiakkaille". Jatkossa emme ehkä tarvitse epävirallisia Google-kameraportteja saavuttaaksemme muiden kuin Googlen Android-älypuhelinkameroiden täyden potentiaalin.
Superresoluutio videolle
Mishaal Rahman: Joten jotain, jonka kuulin Tech Summitissa. Itse asiassa mielestäni se oli haastattelussa kanssa Android Authority. Onko se, että Qualcomm aikoo laajentaa superresoluutiota videoon ohjelmistoratkaisuna kumppaneille ja että tämä ottaisi ilmeisesti käyttöön päivityksenä. Mietin, onko sinulla päivityksiä jaettavana tähän ominaisuuteen.
Judd Heape: Kyllä, tämä on ominaisuus, joka meillä on ollut kyky tehdä jo jonkin aikaa, ja se on vasta tulossa. En sanoisi, että se on ohjelmistopäivityksessä, mutta sanoisin, että se on eräänlainen lisäetu nykyisestä monikehyksestä, hämärässä. Olemme tekemisissä joidenkin tiettyjen pääasiakkaiden kanssa tästä ominaisuudesta. Joten kyllä, videon superresoluutio on jotain toisessa sukupolvessa tai niin meillä on se sellainen kuin meillä kutsu suunnitelman tallennusominaisuus, jossa se todella on sisäänrakennettu ohjelmiston koodipohjaan [the] kamera. Mutta juuri nyt kyse on enemmän erityisten asiakkaiden sitouttamisesta uuteen ominaisuuteen.
Analyysi ja konteksti: Videon superresoluutio on ominaisuus, jota ei ole tähän mennessä näkynyt älypuhelimien kameroissa. Se on niin uusi ala Siitä kirjoitetaan edelleen tutkimuspapereita. Monikehystekniikoiden käyttäminen valokuvauksessa on yksi asia, mutta niiden käyttäminen videossa videon skaalaamiseen korkeampaan resoluutioon on täysin eri asia. Qualcomm sanoo julkaisevansa ominaisuuden uudelleen "joillekin avainasiakkaille", mutta tällä hetkellä sitä ei ole sisäänrakennettu kameran ohjelmistokoodipohjaan. Tulevaisuudessa se saattaa olla kaikkien saatavilla, mutta toistaiseksi se on ominaisuus, jota loppukuluttajat eivät ole vielä päässeet käyttämään.
Korkean megapikselin Quad Bayer -anturit
Idrees Patel: Puhutaanpa Quad Bayer -antureista. Vuodesta 2019 lähtien monissa puhelimissa on nyt 48 MP, 64 MP ja nyt jopa 108 MP anturit. Nämä ovat Quad Bayer -antureita; sinulla ei itse asiassa ole todellista väriresoluutiota 48 tai 64 tai 108 MP. Yksi asia, jonka halusin kysyä, oli kuinka Internet-palveluntarjoaja eroaa kuvankäsittelyn suhteen näille Quad Bayerille tai Nonalle Bayer-anturit (4-in-1 tai 9-in-1-pikselin binning) verrattuna perinteisiin sensoreihin, joissa ei ole pikseliä binning.
Judd Heape: Joo, joten tietysti näiden quad CFA (Quad Color Filter Array) -anturien etu on kyky toimia kirkkaassa valossa ne täydellä resoluutiolla, ja sitten Internet-palveluntarjoaja voi käsitellä ne täydellä 108 megapikselillä tai 64 megapikselillä tai missä tahansa. saatavilla.
Kuitenkin tyypillisesti useimmissa valaistustilanteissa, kuten sisätiloissa tai pimeässä, sinun on jätettävä bin, koska anturin pikselit ovat niin pieniä, että sinun on yhdistettävä pikseleitä saadaksesi parempi valoherkkyys. Joten sanoisin, että suurimman osan ajasta, varsinkin jos kuvaat videota tai jos olet hämärässä, käytät binned-tilassa.
Nyt Internet-palveluntarjoaja voi käsitellä anturia kummallakin tavalla. Voit katsoa anturia binned-tilassa, jolloin se on vain tavallinen Bayer-kuva, joka tulee sisään, tai se voi katsoa sitä täyden resoluution tilassa, jossa saapuva data on quad CFA. Ja jos se on tässä tilassa, Internet-palveluntarjoaja muuntaa sen Bayeriksi.
Joten teemme - mitä me kutsumme - "remosaising". Tämä interpoloi nelinkertaista CFA-kuvaa, jotta se näyttäisi jälleen täyden resoluution Bayeriltä. Ja tämä tehdään tyypillisesti tilannekuvan ohjelmistossa, vaikka aiomme lopulta lisätä tämän ominaisuuden laitteistoon tukemaan myös videota.
Internet-palveluntarjoajan laitteistossa nykyään on binning. Voit siis sijoittaa anturin sisään ja antaa anturin päättää, tuottaako se täyden vai neljänneksen tai 1/9-resoluutioa, tai voit tallentaa Internet-palveluntarjoajan. Ja se on ominaisuus, jonka lisäsimme Snapdragon 865: een. Joten jos laitat Internet-palveluntarjoajan sisään ja käytät anturia täydellä resoluutiolla, Internet-palveluntarjoajalla on mahdollisuus saada sekä täyden resoluution kuva että bind-kuva samanaikaisesti. Siksi se voi käyttää pienempää resoluutiota tai "binned" -kuvaa videolle (videokamera) ja esikatselulle (etsin) ja käyttää samanaikaisesti täyden resoluution kuvaa täysikokoiseen tilannekuvaan.
Mutta jälleen kerran, tämä olisi kirkkaiden valaistusolosuhteiden tapauksessa. Mutta ainakin jos käytät Internet-palveluntarjoajaa, pystyt käsittelemään sekä suurta että pientä kuvaa samaan aikaan, ja siksi voit saada samanaikaisesti videon ja tilannekuvan, voit myös saada täyden resoluution ZSL; kaikki ilman, että anturia tarvitsee vaihtaa edestakaisin, mikä vie huomattavasti aikaa.
Tämä on todella hyvä ominaisuus. Ja kuten Quad CFA -anturit ja jopa tiedät, 9x anturit ja ehkä jopa enemmän tulevat esiin, ja kun näitä antureita tulee enemmän kaikkialla - pyrimme yhä enemmän käsittelemään näitä antureita laitteistossa, ei vain binningin, vaan myös remosaising.
Ja siksi sen hyöty on, että jos teet sen laitteistossa verrattuna ohjelmistoon, vähennät sen viive asiakkaidesi kannalta ja siten otosten väliset ajat ja sarjakuvausnopeudet ovat paljon nopeammat. Joten kun marssimme eteenpäin uusien Internet-palveluntarjoajien ja uusien sirujen kanssa, alat nähdä paljon enemmän siitä, mitä teemme näiden uudentyyppisten antureiden eteen.
Analyysi ja konteksti: Huawei käytti ensimmäisenä 40 megapikselin Quad Bayer -sensoria Huawei P20 Pro vuonna 2018, ja Quad Bayer -anturien suosio oli niin suuri, että se on nyt päässyt jopa 150 dollarin Snapdragon/Exynos/MediaTek-siruilla toimiviin puhelimiin. Erityisesti olemme nähneet älypuhelinteollisuuden saavuttavan 48 megapikselin ja 64 megapikselin kameroiden suosion, kun taas muutamassa puhelimessa on jopa 108 megapikseliä. Quad Bayer- ja Nona Bayer -anturit eivät ole ilman negatiivisia, sillä niiden täysi resoluutio sisältää varoituksia.
Markkinointisyistä 48 megapikselin anturi kuulostaa kuitenkin paljon paremmalta kuin 12 megapikselin anturi, vaikka käyttäjä ottaakin suurimman osan ajasta 12 megapikselin binned -kuvia. 48 megapikselin anturin pitäisi teoriassa tuottaa parempia 12 megapikselin binned-valokuvia heikossa valaistuksessa kuin perinteisen 12 megapikselin anturi, mutta kuvankäsittelyn on pysyttävä tahdissa, ja kuten alla mainitsen, siihen on vielä pitkä matka tapahtua. Siitä huolimatta oli mielenkiintoista nähdä, kuinka Spectra ISP käsittelee Quad Bayer -antureita remosaisingilla. Näissä antureissa ja puhelimissa, kuten OnePlus 8 Prossa, on paljon potentiaalia (joka käyttää Sony IMX689 Quad Bayer -anturia suurilla pikseleillä) ovat tällä hetkellä älypuhelimien kameroiden huipulla.
ML-pohjainen kasvojentunnistus
Mishaal Rahman: Luulen, että mainitsit aiemmin, että Spectra 480 tukee ML-pohjaista kasvojentunnistusta. Tämän kuulin itse asiassa Tech Summitissa. [Että tämä on] yksi parannuksista 380:sta 480:een; että se on osa - videoanalytiikkamoottorissa on uusi objektiivin tunnistuslohko, jota käytetään jatkossa spatiaaliseen tunnistamiseen.
Voitko kertoa lisää siitä, kuinka paljon tämä parantaa kasvojentunnistusta ja mitä potentiaalisia sovelluksia näet myyjien käyttävän sitä?
Judd Heape: Kyllä itse asiassa, joten olet oikeassa sulautetussa tietokonenäkölohkossa, joka on "EVA"-lohko, josta puhuimme Tech Summitissa. Siinä on yleinen objektintunnistusydin, jota käytämme kameran ollessa käynnissä. Käytämme sitä kasvojen havaitsemiseen. Tämän lohkon tekniikat ovat perinteisempiä tekniikoita, joten kohteen tunnistus tehdään perinteisellä luokittelijat, mutta sen lisäksi meillä on käynnissä ohjelmistokone, joka parantaa sen tarkkuutta lohko.
Joten käytämme ML-pohjaista ohjelmistoa väärien positiivisten suodattamiseen, koska laitteisto saattaa havaita enemmän asioita kasvoina kohtauksessa, ja sitten ML-ohjelmisto on sanomalla "okei, se on kasvot" tai "se ei todellakaan ole kasvot", joten se lisää tarkkuutta muutamalla prosenttiyksiköllä ajamalla ML-suodattimen laitteisto.
Mainitsin monia asioita tulevaisuudesta. Jatkossa aiomme myös suorittaa varsinaisen koko kasvojentunnistuksen itse ML: ssä tai syvään oppimistilassa ohjelmistossa. Tämä pätee erityisesti alemmilla tasoilla, joten esimerkiksi tasolla, jossa meillä ei ole EVA-laitteistomoottoria, alamme vaiheittain syväoppimisen havaitsemisena, joka on käynnissä sirun tekoälymoottorissa ja sitten myöhemmin, 700-800 tason ylemmissä tasoissa, meillä on EVA-laitteisto tätä varten...
Sanon kuitenkin yleisesti, että siirrymme enemmän kohti ML-lähestymistapoja kasvojentunnistukseen, ja se sisältäisi sekä ohjelmistot keskipitkällä aikavälillä että laitteistot myöhemmällä aikavälillä. En aio paljastaa, missä tuotteissa se on, mutta tietysti kun marssimme eteenpäin Internet-palveluntarjoajan parantamisessa, lisäämme varmasti yhä enemmän laitteistoa ML: n suorittamiseen.
Mishaal Rahman: Mahtavaa. No, mielestäni on itsestään selvää, että suunta, johon olet menossa, on viedä 800-sarjan koneoppimisparannukset alemmalle tasolle, joten mielestäni se on yleensä itsestäänselvyys. Mutta tietenkään et voi antaa meille siitä tarkempia tietoja. Kiitos päivityksestä.
Judd Heape: Kasvojentunnistus on asia, josta olemme erittäin intohimoisia. Haluamme parantaa näitä tarkkuuksia, tiedät sukupolvesta toiseen kaikilla tasoilla aina 800-tasosta 400-tasoon asti. ML on iso osa sitä.
Analyysi ja konteksti: Nämä näkökohdat antavat älypuhelimella kuvaamiseen niin paljon enemmän potentiaalia jopa uusimpiin peilittömiin kameroihin verrattuna. Kyllä, peilittomilla kameroilla on parempi kuvanlaatu heikossa valaistuksessa ja ne ovat paljon joustavampia, mutta älypuhelimien kamerat ylittävät rajoituksensa nerokkailla tavoilla. ML-pohjainen kasvojentunnistus on vain osa sitä.
Parannuksia kuvankäsittelykoneeseen
Mishaal Rahman: Mahtavaa. Joten yksi asia, jonka kuulin lyhyesti pyöreän pöydän keskusteluissa Snapdragon Tech Summitin jälkeen, oli kuvankäsittelymoottorin parannus. Kuulin, että matalan keskitaajuuden kohinanvaimennusta tai LEANR: ia on parannettu. Ja että käytät dynaamista käänteisen vahvistuksen karttaa; onko se jotain, jonka mainitsit aiemmin keskustelussa.
Judd Heape: Aha, ok. Joten luulen, että sekoitat kaksi asiaa keskenään. Joo, joten siellä on LEANR-ydin, joka vähentää melua karkeammilla rakeilla, mikä auttaa hämärässä. Se on uusi lohko, joka lisättiin Snapdragon 865:ssä ISP: hen, ja se on yksi asia.
Käänteinen vahvistuskartta on jotain muuta. Se on jotain muuta, jonka mainitsin pyöreissä pöydissä, mutta se on kääntää linssin varjostuksen vaikutukset. Joten kuten tiedät, jos sinulla on luuri ja siinä on pieni linssi; linssin keskiosa tulee olemaan kirkas ja reunat ovat vinjetoidumpia; eli niistä tulee tummempia.
Ja niinpä menneiden vuosien aikana Internet-palveluntarjoajassa olemme käyttäneet staattista käänteisvahvistuksen karttaa päästäksemme eroon noista tummista reunoista. Ja niin se on ollut Internet-palveluntarjoajassa jo jonkin aikaa. Lisäsimme kuitenkin Snapdragon 865:een, että vahvistuskartta voi muuttua dynaamisesti tietyn kuvakehyksen mukaan, koska jos käytät paljon vahvistusta reunoihin tapahtuu on se, että reunat voivat leikkautua, varsinkin jos katsot kirkkaita valoja ulkona, kuten sininen taivas voi muuttua valkoiseksi tai reunat katkeavat monien saada.
Joten Snapdragon 865:ssä käänteinen vahvistuskartta ei ole staattinen; se on dynaaminen. Joten katsomme kuvaa ja sanomme "okei näitä kuvan osia leikataan, eikä niiden pitäisi olla", jotta voimme rullata pois vahvistuskartalta luonnollisesti, jotta et saa kirkkaita hapsuja tai haloefektejä tai vastaavaa linssin korjaamisesta varjostus. Joten se on eri asia kuin kohinanvaimennus, ja ne ovat kaksi eri ydintä.
Valokuvaus heikossa valossa ja aggressiivinen kohinanvaimennus
Idrees Patel: Yksi asia, josta halusin kysyä, oli valokuvaus hämärässä. Kuten viime vuosina, [OEM-toteutettuja] yötiloja on ollut paljon, mutta yksi asia, jonka olen huomannut, on se, että monet laitevalmistajat käyttävät aggressiivista melunvaimennusta, joka vähentää yksityiskohtia niin pitkälle, että luminanssikohina on tasaista. poistettu.
Joten kysymykseni on, että Qualcomm neuvoo kaikkia laitevalmistajia olemaan tekemättä niin, ja onko se jotain, jota heidän prosessointiputkistonsa tekevät, vai vaikuttaako siihen SoC: n ISP.
Judd Heape: Suuri osa siitä liittyy viritykseen, ja jos sinulla ei ole monikehystä tai sanoisin, että erittäin hyvää kuvakennoa ei ole saatavilla, korkealla herkkyydellä tai optiikalla pienillä f-luvuilla. Yksi tapa päästä eroon melusta erityisesti hämärässä on käyttää enemmän kohinanvaimennusta, mutta mitä tapahtuu, kun käytät enemmän kohinanvaimennusta, menetät yksityiskohtia, jolloin terävät reunat muuttuvat epäselväksi. Nyt voit päästä eroon siitä, jos käytät näitä monikehystekniikoita. Tai jos käytät tekoälytekniikoita, jotka voivat tavallaan selvittää, missä esineiden ja kasvojen reunat ovat, ja sellaista. Joten pelkkä raa'an voiman melunvaimennus ei ole oikea tapa käsitellä sitä, koska lopulta menetät yksityiskohtia.
Haluat tehdä monikehystekniikoita tai tekoälytekniikoita, jotta voit silti käyttää kohinaa pienennetään enemmän esineiden sisäalueiksi pitäen samalla kauniit reunat puhtaina tai terävät reunat esineitä. Sanoisin siis näin: tekoälyn tai monikehyksen käyttäminen on tapa vähentää kohinan ja parantaa kuvien laatua heikossa valaistuksessa tulevaisuudessa.
Idrees Patel: Kyllä, ja juuri sen halusin kuulla. [Se on], koska se on tärkein asia, joka erottaa upeat älypuhelinkamerat keskitason tai budjettitason kameroista.
Judd Heape: Joo.
Idrees Patel: Erinomaiset älypuhelimen kamerat tietävät, milloin kohinanvaimennus on tehtävä ja milloin ei.
Judd Heape: Tarkalleen. Joo, ja kuten sanoin, kameran virityksen tekevät todella asiakkaamme tai OEM-valmistajat, ja jotkut OEM-valmistajat haluavat pehmeämmän kuvan, jossa on vähemmän kohinaa. Jotkut haluavat paljastaa enemmän yksityiskohtia ehkä hieman enemmän melua.
Joten se on kompromissi, joten sinulla on rajoituksia. Ja on kuin sanoin, että paras tapa on hankkia parempi kuvakenno korkeammalla herkkyydellä, suurempia pikseleitä tai pienempi f-lukuinen optiikka, koska silloin saat enemmän valoa alusta alkaen, tämä on aina paremmin. Mutta jos et voi tehdä niin, sen sijaan, että vain lisäät kohinanvaimennusta ja menetät yksityiskohtia, haluat käyttää multi-frame- tai tekoälytekniikoita.
Analyysi ja konteksti: Tämä on mielestäni tällä hetkellä suurin ongelma älypuhelimien kameroissa. Kyllä, voit käyttää 48 MP tai 64 MP tai jopa 108 MP anturia. Jos et kuitenkaan halua käyttää hillittyä kohinanvaimennusta MFNR- tai AI-tekniikoilla, kaikista noista megapikseleistä, 4-in-1-binningistä ja jopa 9-in-1-binningistä ei ole paljon hyötyä. Galaxy S20 Ultra on erinomainen esimerkki tästä, sen 108 megapikselin pääkamerana pidettiin suurelta osin pettymyksenä. Samsung meni taaksepäin kuvankäsittelyssä käyttämällä erittäin aggressiivista kohinanvaimennusta yötiloissaan vuoden 2020 lippulaivoissaan, kun taas vuoden 2019 Galaxy S10 -sarjan kuvanlaatu oli ironista kyllä parempi.
Judd paljastaa, että jotkut OEM-valmistajat haluavat itse asiassa pehmeämmän kuvan, jossa on vähemmän kohinaa, mikä on pohjimmiltaan väärä valinta. Virityksen tekevät laitevalmistajat, joten kaksi puhelinta, jotka käyttävät samaa sensoria ja saavat virtansa samasta SoC: sta, voivat tuottaa hyvin, hyvin erilaisia kuvia. On toivottava, että nämä laitevalmistajat oppivat totuuden paremmin suoriutuneilta kilpailijoiltaan. Vaikka Samsung menetti tiensä kuvankäsittelyssä tänä vuonna, OnePlus on ollut jyrkkä kontrasti. OnePlus 8 Pro on yksi markkinoiden parhaista älypuhelinkameroista, mikä on huomattava saavutus, kun otetaan huomioon OnePlus 5T: n kameran erittäin huono teho vuonna 2017. Kuvankäsittelyn ajattelutavan on muututtava, jotta valokuvista tulee teräviä, olipa megapikselisota kuinka paljon tahansa.
AV1-dekoodaus ja koodaus
Mishaal Rahman: Tämä on siis hieman erillään muista keskusteluista, joita käymme kameran laadusta. Yksi asioista, joita jotkut avoimen lähdekoodin mediakoodekkien yhteisössä ovat miettineet, on se, milloin Qualcomm tukee AV1-dekoodaus ja mahdollisesti koodaus. Tiedän, että se on hieman hankala, mutta Google vaatii 4K HDR- ja 8K-televisioita Android 10:ssä tukemaan AV1-dekoodausta ja Netflixiä. YouTube, he aloittavat AV1-koodattujen videoiden julkaisun. Joten se näyttää AV1-koodattujen videoiden hitaalta lisääntymiseltä. Joten ihmettelemme milloin ainakin dekoodaustuki on saatavilla Spectrassa.
Qualcommin lausunto: Kysymyksesi mukaan AV1:stä - meillä ei ole tänään mitään kerrottavaa. Snapdragon pystyy kuitenkin tällä hetkellä AV1-toistoon ohjelmiston kautta. Qualcomm työskentelee aina kumppaneidensa kanssa seuraavan sukupolven koodekeissa ohjelmistojen ja laitteistojen valmistuksen kautta Snapdragon on johtava HDR-koodekkien, mukaan lukien sieppaus ja toisto HEIF-, HLG-, HDR10-, HDR10+- ja Dolby-muodoissa. Näkemys. Tietenkin ymmärrämme tuodaksemme asiakkaillemme parhaat CODEC-kokemukset, mukaan lukien korkean resoluution ja pienimmän tehon tuen, että niiden toteuttaminen HW: ssä on toivottavaa.
Videotallennus - liikkeen kompensointi
Mishaal Rahman: En tiedä, onko Idreesillä enää kysyttävää, mutta minulla oli yksi kysymys jostakin, jonka luin Snapdragon Tech Summitissa. Kyse on liikekompensoidusta videoytimestä. Kuulin, että liikkeen kompensointimoottorissa on parannuksia, jotka vähentävät videotallennuksen melua. Mietin, voitko laajentaa sitä, mitä sitä on paranneltu ja mitä on tehty.
Judd Heape: EVA (Engine for Video Analytics) -moottoria on parannettu tiheämmällä liikekartan ytimellä, jotta EVA moottori esimerkiksi katsoo aina tulevaa videota ja siinä on liikettä tekevä ydin arvio. Olemme tehneet siitä ytimestä paljon tarkemman, missä se tekee sen melkein pikselitasolla sen sijaan, että karkea lohkotaso, joten saamme paljon enemmän liikevektoreita Snapdragon 865:n EVA-moottorista kuin edellisessä sukupolville. Ja se tarkoittaa, että koodausta tekevä videoydin voi käyttää näitä liikevektoreita enemmän tarkkoja koodauksesta, mutta kamerapuolen Internet-palveluntarjoaja käyttää näitä tietoja myös kohinaan vähentäminen.
Joten kuten tiedät, meillä on sukupolvien ajan ollut liikekompensoitu ajallinen suodatus, joka on itse asiassa aktiivista kohinanvaimennusta videon aikana, joka laskee kuvien keskiarvon ajan myötä päästäkseen eroon kohinasta.
Ongelma tässä tekniikassa on kuitenkin, jos sinulla on liikettä kohtauksessa. Liikkuminen päätyy vain hylätyksi melunvaimennuksen takia, koska sitä ei voida käsitellä tai se tahriutuu, ja saat näitä rumia jälkiä ja esineitä liikkuviin asioihin. Joten, liikekompensoitu ajallinen suodatus, mitä olemme tehneet aiemmin, koska meillä ei ollut tätä tiheää liikekarttaa paikallisille motion, olemme yksinkertaisesti käsitelleet vain tapauksia, kun liikutat kameraa, se on melko helppoa, koska kaikki liikkuu maailmanlaajuisesti.
Mutta jos kuvaat jotain ja sinulla on esine liikkumassa kohtauksen SISÄLLÄ, mitä teimme ennen [oli se] jätimme vain huomioimatta nuo pikselit, koska emme voineet käsitellä niitä kohinan varalta, koska se oli paikallisesti liikkuvaa esine. Ja siksi, jos lasket keskiarvon kehykseltä, objekti oli joka kehys eri paikassa, joten et voinut käsitellä sitä.
Mutta Snapdragon 865:ssä, koska meillä on tiheämpi liikekartta ja meillä on kyky tarkastella liikevektoreita melkein pikselin sisällä pikselikohtaisesti pystymme itse asiassa käsittelemään paikallisesti siirretyt pikselit kehys kuvalta kohinan vähentämiseksi, kun taas aiemmin emme pystyneet. Luulen, että mainitsin keskustelussa mittarin. En muista numeroa (se oli 40%) mutta se oli keskimäärin suuri prosenttiosuus pikseleistä useimmissa videoissa, jotka voidaan nyt käsitellä kohinaa vastaan, kun taas edellisessä sukupolvessa niitä ei voitu käsitellä. Ja tämä johtuu todella osittain kyvystä ymmärtää paikallista liikettä eikä vain globaalia liikettä.
Videotallennus - HDR
Idrees Patel: Toinen kysymykseni koskee HDR-videota. Tänä vuonna huomaan, että monet laitevalmistajat tarjoavat HDR10-videotallennusta. Onko se siis jotain, jota mainostettiin Snapdragon 865:llä, vai onko se ollut siellä muutaman sukupolven ajan.
Judd Heape: Ai niin, kuten puhuimme siitä Tech Summitissa, meillä on ollut HDR10, joka on HDR: n videostandardi kameran koodauspuoli nyt muutaman sukupolven ajan, uskoakseni Snapdragon 845:n jälkeen, ja olemme jatkuvasti parantaneet että.
Joten viime vuonna puhuimme HDR10+:sta, joka on 10-bittinen HDR-tallennus, mutta staattisen metatietojen sijaan siinä on dynaamisia metatietoja, joten kameran tallentamat metatiedot. kohtauksen aikana tallennetaan todella reaaliajassa, joten kun toistat sitä, toistokone ymmärtää, oliko se pimeä vai valoisa huone, ja se voi kompensoida että.
Puhuimme myös viime vuonna Tech Summitissa Dolby Vision -kaappauksesta, joka on Dolbyn vaihtoehto HDR10+:lle. Se on hyvin samanlainen, jos he itse asiassa tuottavat myös dynaamisia metatietoja. Joten Snapdragon voi nykyään tukea kaikkia kolmea näistä formaateista: HDR10, HDR10+ ja Dolby Vision -kaappaus. Joten ei todellakaan ole rajoituksia, OEM-valmistajamme voivat valita haluamansa menetelmän. Meillä on ollut asiakkaita, jotka ovat käyttäneet HDR10:tä jo jonkin aikaa, ja viime vuonna ja tänä vuonna yhä useammat asiakkaat ovat ottaneet HDR10+:n. Ja luulen, että tulet näkemään myös Dolby Vision Capture -sovelluksen käyttöönoton.
Joten kyllä, olemme edistäneet sitä voimakkaasti. HDR on meille todella tärkeä sekä tilannekuva- että videopuolella. Ja kuten sanoin, olemme sitoutuneet HDR10- ja HDR10+- ja nyt Dolby Vision -muotoihin, tiedät sen Snapdragon 845:stä ja nyt jopa äskettäin Snapdragon 865:stä Dolby Visionille.
Mishaal Rahman: En myöskään ollut varma, ottivatko toimittajat käyttöön Dolby Vision -tallentamisen vielä, mutta luulen, että se vastaa kysymykseen. [Se on] jotain, jonka näemme tulevaisuudessa.
Judd Heape: Tietenkin - en voi kommentoida, mitkä myyjät ovat kiinnostuneita ja sellaista. Se olisi kysymys Dolbylle; se on heidän ominaisuus, joten jos haluat lisätietoja siitä, suosittelen ottamaan yhteyttä Dolbyyn. Mutta sikäli kuin tiedän tähän mennessä, ei ole vielä ollut puhelinta, jossa olisi Dolby Vision Capture.
Idrees Patel: Koska tarvitset myös näytön tukea. Olen huomannut, että älypuhelimen näytöt tukevat HDR10:tä ja HDR10+:aa, mutta eivät Dolby Visionia.
Judd Heape: Kyllä itse asiassa, mutta Dolby Vision -toistoa on tuettu Snapdragonissa aiemmin. Se voi toimia tietyn näytön kanssa, eikä näytön tarvitse välttämättä täyttää mitään erityisiä kriteerejä ollakseen Dolby Vision -yhteensopiva, paitsi että Dolby luokittelee näytön ja varmistaa, että sillä on tietty väriskaala, gamma, tietty bittisyvyys, tietty kirkkaus ja tietty kontrasti suhde.
Joten tiedätkö, voit ostaa HDR10-näytön, mutta voit myös ostaa luurin, joka tukee Dolby Visionia toistoa, mutta Doby on hyväksynyt näytön varmistaakseen, että se on heidän tiukkojensa vaatimusten mukainen vaatimukset.
Yhteistyö ohjelmistotoimittajien kanssa: Imint, Morpho ja Arcsoft
Mishaal Rahman: Luulen, että minun on vastattava vain yhteen kysymykseen, jonka kanssa voin tehdä lisää tutkimusta, on yksi yritys, jonka kanssa olemme äskettäin keskustelleet. Imint. He päivittivät äskettäin Vidhance Stabilization ohjelmisto to toimii Spectra 480:n kanssa. Tiedän, että työskentelette monien yritysten kanssa, jotka myös hyödyntävät Spectra 480 -prosessointia. Mietin, voitko paljastaa lisää esimerkkejä näistä teknologioista, joilla on – tai kumppaneistasi työskennellyt, jotta se olisi] jotain, jota voisimme seurata, oppia lisää Spectra 480:n käytöstä ala.
Judd Heape: Teemme yhteistyötä monien ohjelmistovalmistajien kanssa. Kuten aiemmin mainitsimme, Dolby on yksi niistä. On olemassa muita mainitsemasi kaltaisia, Imint/Vidhance for EIS (Electronic Image Stabilization). Mainitsimme myös Morphon ja Arcsoftin aiemmin, teemme myös heidän kanssaan hyvin tiivistä yhteistyötä.
Mitä tulee siihen, miten työskentelemme heidän kanssaan, käytäntömme on, että haluamme todella tehdä todella läheistä yhteistyötä näiden riippumattomien ohjelmistotoimittajien kanssa ja olla varma, että mitä tahansa he tekevät ohjelmistossa, he voivat hyödyntää Snapdragonin laitteistoa saadakseen pienimmän virrankulutuksen mahdollista.
Joten yksi asioista, joita teemme näiden toimittajien kanssa, on varmistaa, että heillä on todella hyvä pääsy HVX-moottoriin tai Hexagon DSP -ytimeen. He käyttävät myös EVA-moottoria liikevektoreiden hankkimiseen ja laitteiston ja EVA-moottorin käyttämiseen kuvankäsittelyyn, jotta he voivat suorittaa kuvan liikkumisen, kääntämisen ja vääristymisen ja vastaavan laitteistossa sen sijaan, että käyttäisivät grafiikkasuoritusta että.
Teemme siis todella tiivistä yhteistyötä näiden ISV: n kanssa, erityisesti mainitsemieni, varmistaaksemme, etteivät he vain laita kaikkea ja ohjelmistoja suorittimessa, mutta he käyttävät esimerkiksi DSP: tä ja EVA: n laitteistokiihdyttimiä parantaakseen suorituskykyä ja pienempää tehoa kulutus. Se on siis todella tärkeää myös meille, koska se tarjoaa asiakkaillemme parhaan mahdollisen yhdistelmän ominaisuuksia ja virrankulutusta.
[Juddin loppukommentit]: Halusin vain sanoa, että kiitos kaikille todella hyvistä kysymyksistä. Ne ovat todella, todella yksityiskohtaisia. Olen työskennellyt Qualcommissa noin kolme vuotta ja katson menneisyyttämme, jopa sen jälkeen, kun aloitimme Spectrassa Snapdragon 845, teimme todella kovasti töitä parantaaksemme dramaattisesti Internet-palveluntarjoajaa, kameraa ja vain yleistä kokemusta viimeisten useiden vuotta. Olen todella innoissani siitä, mitä tulevaisuus tuo tullessaan. Ja olen innoissani siitä, mitä ilmoitamme tulevissa Tech Summiteissa, joista voitte kysyä ja kirjoittaa. [Spectra Camera] on luultavasti mielestäni yksi Qualcommin jännittävimmistä teknologioista.
Lopulliset ajatukset
Oli hienoa keskustella Juddin kanssa Qualcommin panoksesta älypuhelinvalokuvaukseen. Meillä voi olla ristiriitaisia tunteita yhtiöstä ja sen patenttilisenssijärjestelmästä, mutta Qualcommin merkit älypuhelinteollisuuteen tuntevat kaikki, puhuitpa sitten patentit, 4G ja 5G, Wi-Fi, Adreno-grafiikkasuorittimet, Spectra ISP: t ja itse Snapdragon-sirut, joita pidetään suurelta osin Android-älypuhelimen kultastandardina. markkinoida.
Älypuhelinkuvauksessa on vielä monia kipukohtia, jotka on ratkaistava, mutta tulevaisuus on niin kirkas kuin Qualcomm lupaa tehdä enemmän edistystä ML: n laajoilla ja kasvavilla aloilla, AI. Katsotaanpa, mitä Qualcommilla on tällä alalla ilmoitettava seuraavassa Snapdragon Tech Summitissa.