A Qualcomm Judd Heape elmagyarázza, hogyan javítja a Qualcomm a kameraélményt az Android telefonokon a Spectra internetszolgáltatók új funkcióival.
A világ okostelefonjainak és hordható eszközeinek nagy részét működtető system-on-chip (SoC) gyártójaként az amerikai Qualcomm kétségtelenül a chipgyártó iparág egyik óriása. A Snapdragon SoC-sort például szinte minden nagyobb Android-eszközgyártó használja zászlóshajó, középkategóriás és olcsó okostelefonokhoz. A Qualcomm minden évben elismerést kap a vállalat éves Tech Summit rendezvényén a CPU, a GPU és az AI területén tett előrelépésekért, mivel magában foglalja az ARM új CPU mikroarchitektúráját. és kiegészíti őket egyéni GPU-inak éves fejlesztéseivel. A kamerák terén tett előrelépéseit azonban nem veszik annyira észre, mivel általában a radar.
Ez azonban nem jelenti azt, hogy a Qualcomm okostelefon-kamerák terén végzett munkája jelentéktelen lenne. Éppen ellenkezőleg, a Qualcomm Spectra internetszolgáltatói a Snapdragon SoC-ben segítenek a modern okostelefonok kameráinak nagy részét lehetővé tenni a megnövelt teljesítmény mellett. számítási feldolgozási teljesítmény, olyan szolgáltatások, mint a 8K videofelvétel, a HDR10 videó, a nagy megapixeles QCFA kamerák támogatása és sok minden több. A Qualcomm népszerűsítette a Spectra 380 ISP-t a Snapdragon 855-ben
volt a világ első CV-ISP-je, és népszerűsítette a világ első 4K HDR videórögzítési funkcióit, ami most már kiegészült a 2. generációs 4K HDR10+ videórögzítéssel. A Spectra 480 ISP a legújabb generációban Snapdragon 865 nagy teljesítményű - másodpercenként két gigapixelt tud feldolgozni, ami 40%-os növekedést jelent elődjéhez képest. Ez egy szellemi tulajdon (IP), amely megkülönbözteti a Qualcommot versenytársaitól a mobilchip-szállítói területen.Míg a Qualcomm sajtóközleményeiben és termékismertetőiben ismerteti a legtöbb főcímjellemzőt, felfelé mostanáig a fogyasztóknak nem volt lehetőségük megismerni azokat az alacsony szintű részleteket, amelyek ezeket a dolgokat eredményezik munka.
Éppen ezért mi, az XDA Developersnél örömmel fogadtuk el az ajánlatot, hogy beszéljünk Judd Heape-pel, a Qualcomm termékmenedzsmentért felelős vezető igazgatójával. Az XDA főszerkesztője, Mishaal Rahman és én interjút készítettünk Judddal 2020 júniusában, hogy megtudjuk, hogyan tolja el a Qualcomm a kapufákat az okostelefonos fényképezés és videófelvétel terén. Beszélgettünk olyan témákról, mint a mesterséges intelligencia képfeldolgozás, több képkocka zajcsökkentés (MFNR), AV1, Dolby Vision videofelvétel, pixel binning a nagy megapixeles kamerákban és még sok más. Vessünk egy pillantást Judd meglátásaira az egyes témákról egyenként:
AI képfeldolgozási munkaterhelések
Mishaal Rahman: Kezdem az egyikkel, ami Idreesnél volt, ami egy érdekes, és ami engem is érdekelt. Kíváncsiak vagyunk tehát, melyek azok az AI képfeldolgozási munkaterhelések, amelyeket a Qualcomm használ a Spectra ISP-ben, és milyen mértékben szabhatják testre az eszközgyártók?
Judd Heape: Igen, szóval sok mesterséges intelligencia munkaterhelést vizsgálunk, és van néhány AI, amely magában az internetszolgáltatóban futhat mint például a következő generációs 3A: az automatikus expozíció, az automatikus fehéregyensúly és az autofókusz az AI alapján.
De megvizsgálunk néhány más mesterséges intelligencia munkaterhelést is, amelyek az internetszolgáltatón kívül futnának az egyik másik számítási elemben. Tehát különösen a következőket nézzük: van egy mesterséges intelligencia alapú zajcsökkentő magunk, amely az ISP-től kívülről fut, a chip AI motorjának (AIE) részében.
Emellett vannak olyan dolgok is, mint az arcfelismerés, ami egy teljes mélységű tanulási motor, amely szintén az AIE komplexumban fut, de természetesen segíti a kamerát. És az arcfelismerésen és a zajtalanításon kívül más dolgokon is dolgozunk; olyan dolgokat is vizsgálunk, mint például a pillanatképek automatikus beállítása mesterséges intelligencia segítségével, amely automatikusan beállítja jelenetenként a HDR-tartalom alapján módosítjuk az árnyékot és a csúcsfényeket, a színeket és az ehhez hasonló dolog.
Egyik partnerünk, a Morpho éppen az idei Embedded Vision Summit rendezvényen nyert el egy hatalmas AI-munkaterhelési díjat. A független szoftverszállító partnerek emellett nagyon intenzív mesterségesintelligencia-alapú algoritmussal is rendelkeznek, és ezek a sima kameráktól kezdve bármire terjedhetnek. átmenet, mint amit az Arcsoft csinál (ezt említettem a legutóbbi Snapdragon Tech Summit alkalmával, amely AI-alapú), a Morpho szemantikai szegmentációjára motor. A Morpho megoldása egy mesterséges intelligencia-motor, amely megérti a jelenet különböző részeit, mint például, hogy mit tud, szövet versus bőr versus ég és fű, építkezés és hasonló dolgok, majd az internetszolgáltató megkaphatja ezt az információt, és másképp dolgozhatja fel azokat a képpontokat a textúra, a zaj és a szín érdekében. példa.
Qualcomm nyilatkozata: Az ML és AI esetében sem jelentünk be új frissítéseket az arcfelismerés és a „3A” (AE, AF és AWB) funkcióihoz. Mindazonáltal, ahogy Judd mondta, a jövőben elkötelezettek vagyunk amellett, hogy több ML/AI-képességet vigyünk a kamerába, beleértve ezt a két funkcióterületet is.
Elemzés és kontextus: Az okostelefonokban használt mesterséges intelligencia nagyrészt divatszónak számít azóta, hogy az első neurális feldolgozó egységek (NPU-k) és az "AI-alapú" funkciók megérkeztek az Android telefonokra. Ez azonban nem jelenti azt, hogy az AI maga értelmetlen. Éppen ellenkezőleg, a mesterséges intelligencia rengeteg lehetőséget rejt magában a mobileszközökben, egészen addig a pontig, ahol a chipgyártók és az eszközgyártók is csak a felszínt kapargatják a lehetségesnek.
Az AI-nak köszönhetően az okostelefonok kamerái jobbak lettek – néha gyorsan, néha kínosan lassan, de eljutnak oda. Az okostelefonok kamerái leküzdik az alapvető korlátokat, például a viszonylag kisebb érzékelőket, rögzítették gyújtótávolság és gyengébb optika az intelligens számítógépes fényképezéssel, amelyet gépi tanulás hajt (ML). Az automatikus expozíció, a zajcsökkentés, az arcfelismerés és a szegmentálás csak néhány olyan terület, ahol a mesterséges intelligencia az okostelefonos fotózásban hatással volt. A következő öt évben a mesterséges intelligencia ezen kialakulóban lévő területei, amelyek a fényképezés különböző aspektusait javítják, sokat érnek majd.
Több képkocka zajcsökkentés
Idrees Patel: A Qualcomm a többkockás zajcsökkentést említette szolgáltatásként. Szeretnék több részletet tudni róla, például a képhalmozás működéséről. Valamiben hasonló ahhoz, hogy tetszik, amit a Google csinál a HDR+ technológiájával, vagy teljesen más?
Judd Heape: Hasonló, de más. Képzelje el, hogy a fényképezőgép sorozatfelvételt készít, és gyorsan egymás után öt-hét képkockát rögzít. Ezután az ISP-motor megvizsgálja ezeket a kereteket, és kiválasztja a legjobbat (az úgynevezett „horgonykeretet”). fókusz és tisztaság, majd 3-4 képkockát tud kiválasztani a keret mindkét oldalán, majd mindegyiket átlagolni együtt. Megpróbálja kiválasztani azokat a kereteket, amelyek elég közel vannak egymáshoz, hogy nagyon kevés legyen a mozgás.
És amikor rátelepszik ezekre a képkockákra, akkor átlagolja őket, hogy meg tudja különböztetni, mi a különbség, például mi a tényleges képadat és mi a zajadat. Tehát amikor egyre több információval rendelkezik, egyre több képkockából, akkor valójában egyszerű dolgokat is megtehet, például megnézheti a képkockák közötti különbségeket. A különbségek valószínűleg zaj, míg ami egyenlő a képkockákban, az valószínűleg képadatok.
Így megtehetjük ezt a valós idejű keretkombinációt a zaj csökkentése érdekében. Most már gyenge fényviszonyok mellett és HDR-rel is megteheti ugyanezt, és ez nagyon hasonló ahhoz, amit a Google tesz. Nem ismerjük az algoritmusukat. De több képkockás technikákat alkalmaznak az érzékenység növelésére, hogy jobban „lásson”; Miután csökkentette a zajszintet, most több helyi tónusleképezést végezhet, vagy növelheti a képet anélkül, hogy több zajt adna.
Tehát így kezelik a gyenge fényviszonyokat, valamint a HDR-t. A több képkocka zajcsökkentési funkció továbbfejlesztése a Qualcommtól érkezik, amely gyenge fényviszonyokat és HDR-t is tartalmaz majd. De ezt hamarosan bevezetjük.
Mishaal Rahman: Tehát említette, hogy hamarosan bevezeti ezt a funkciót. Ez a BSP frissítése a partnereknek?
Judd Heape: Következő generációs termékeinkben egy szoftveres kiegészítés révén képesek leszünk kapcsolatba lépni – valójában ez most történik a következőn generációs termékek – jelenleg ügyfeleinkkel együttműködünk, hogy a zajcsökkentésen túl több többkockás technikát hozzunk létre, de a HDR és a gyenge fényviszonyok kezelését is helyzetekben. Ugyanazt az alap ISP HW motort használja, de további szoftvereket adunk hozzá, hogy ezeket a több képkockákat kezelni tudja, nem csak zajcsökkentés érdekében.
Tehát ez még nem jelent meg, de néhány kulcsfontosságú ügyféllel együttműködünk ezeken a funkciókon.
Elemzés és kontextus: Minden új Snapdragon SoC bejelentésnél a Qualcomm specifikációs táblázata tartalmazza a többkockás zajcsökkentéssel kapcsolatos specifikációkat. A Snapdragon 865 például a kettős 14 bites CV-ISP-vel akár egy feltételezett 200 MP-es egyetlen kamerát is támogat (annak ellenére, hogy a kameraérzékelő-gyártók, például a Sony, a Samsung és az OmniVision még nem adtak ki egyetlen okostelefon-kameraérzékelőt sem 108 MP felett). Ha azonban egy kamerás támogatásról van szó MFNR, nulla zárkésleltetés (ZSL) és 30 képkocka/mp támogatással, a a specifikáció 64 MP-re változik, az azonos specifikációjú kettős kameráknál pedig a specifikáció a következőre módosul 25 MP.
A Qualcomm többkockás zajcsökkentése nagyon hasonlít a HDR+-hoz, de nem teljesen ugyanaz, amint azt Judd fentebb kifejtette. Míg a HDR+ alulexponált expozíciósorozatot készít, és átlagolja azokat, hogy a legjobb képet kapja, az MFNR öt-hét normál képkockát készít. Nem úgy tűnik, hogy a Qualcomm MFNR olyan fejlett, mint a Google megoldása, mert a HDR és a gyenge fényviszonyok nem szerepelnek a jelenlegi prioritások között. munkafolyamat a Spectra számára, míg a Google HDR+ funkciója egyszerre célozza meg a HDR-t, a gyenge fényviszonyok melletti fotózást és a zajcsökkentést, az Éjszakai látás pedig egy lépést további. Bátorító azonban megtudni, hogy az MFNR fejlesztéseket kap, és a Qualcomm ezeket a fejlesztéseket „néhány kulcsfontosságú ügyfelei számára” is bevezeti. A jövőben talán nem lesz szükségünk nem hivatalos Google Camera portokra, hogy kihasználjuk a nem Google Android okostelefonok kameráiban rejlő lehetőségeket.
Szuper felbontás videóhoz
Mishaal Rahman: Szóval valami, amit a Tech Summit-on hallottam. Valójában azt hiszem, az volt egy interjúban Android Hatóság. A Qualcomm azt tervezi, hogy a szuperfelbontást kiterjeszti a videóra, mint szoftvermegoldásra a partnerek számára, és ez a jelek szerint egy frissítésben fog megjelenni. Érdeklődnék, hogy van-e megosztanivalója ezzel a funkcióval kapcsolatban.
Judd Heape: Igen, ez egy olyan funkció, amelyre egy ideje megvolt a lehetőségünk, és most kerül bevezetésre. Nem mondanám, hogy szoftverfrissítésben van, de azt mondanám, hogy ez egyfajta plusz előnye a meglévő többkockás, gyenge megvilágítású funkciónak. Egyes vezető ügyfelekkel foglalkozunk ezzel a funkcióval kapcsolatban. Szóval igen, a videó szuperfelbontása egy másik generációhoz tartozik, legalábbis olyan lesz, mint amilyen mi vagyunk Hívjon fel egy rögzítési terv funkciót, ahol az valójában be van építve a [a] szoftver kódbázisába kamera. De jelenleg ez inkább az új funkcióval kapcsolatos konkrét ügyfelek elköteleződésének szintjén van.
Elemzés és kontextus: A szuper felbontás a videókhoz olyan funkció, amely eddig nem jelent meg az okostelefonok kameráiban. Ez egy olyan új terület még mindig folynak a kutatási munkák róla. A több képkockás technikák használata a fényképezéshez egy dolog, de a videóhoz való használata a videó nagyobb felbontásra való felskálázásához teljesen más kérdés. A Qualcomm azt állítja, hogy a funkciót ismét "néhány kulcsfontosságú ügyfelei" számára teszik elérhetővé, de jelenleg nincs beépítve a kamera szoftverkódbázisába. A jövőben lehet, hogy mindenki számára elérhető lesz, de egyelőre ez egy olyan funkció, amelyet a végfelhasználók még nem is használhattak.
Nagy megapixeles Quad Bayer érzékelők
Idrees Patel: Beszéljünk a Quad Bayer érzékelőkről. 2019 óta sok telefon 48 MP-es, 64 MP-es és most még 108 MP-es érzékelőkkel is rendelkezik. Ezek Quad Bayer érzékelők; valójában nem rendelkezik 48 vagy 64 vagy 108 MP valódi színfelbontással. Egy dolgot szerettem volna kérdezni, hogy miben különbözik az internetszolgáltató a képfeldolgozás terén ezeknek a Quad Bayereknek vagy Nona-nak Bayer érzékelők (4 az 1-ben vagy 9 az 1-ben pixel binning), összehasonlítva a hagyományos érzékelőkkel, amelyekben nincs képpont binning.
Judd Heape: Igen, szóval természetesen ezeknek a négyes CFA (Quad Color Filter Array) érzékelőknek az az előnye, hogy erős fényben is képesek működni teljes felbontásban, majd az internetszolgáltató teljes 108 megapixeles vagy 64 megapixeles, vagy bármi mással tudja feldolgozni őket. elérhető.
Azonban jellemzően a legtöbb világítási helyzetben, például beltéri vagy sötétben, bin-re kell helyezni, mert az érzékelő pixelei olyan kicsik, hogy a jobb fényérzékenység érdekében kombinálni kell a képpontokat. Tehát azt mondanám, hogy az idő nagy részében, különösen ha videót készít, vagy ha gyenge fényviszonyok között van pillanatfelvétel, akkor binned módban fut.
Most az internetszolgáltató mindkét módon feldolgozhatja az érzékelőt. Meg lehet nézni a szenzort binned módban, ebben az esetben csak egy normál Bayer kép jön be, vagy nézheti teljes felbontású módban, amelyben a bejövő adatok négyes CFA. És ha ebben a módban van, az internetszolgáltató Bayerre alakítja át.
Tehát csináljuk – amit mi úgy hívunk – „remosaicining”. Ez némi interpolációt végez a négyes CFA képen, hogy ismét teljes felbontású Bayernek tűnjön. És ez általában a pillanatfelvételek készítésére szolgáló szoftverben történik, bár ezt a képességet végül hozzáadjuk a hardverhez, hogy támogassa a videót is.
Ami ma az ISP hardverében van, az binning. Tehát behelyezheti az érzékelőt, és valójában az érzékelő döntheti el, hogy teljes, negyed vagy 1/9-ed felbontást fog-e kiadni, vagy az internetszolgáltatóba helyezheti. És ez egy olyan funkció, amelyet a Snapdragon 865-ben adtunk hozzá. Tehát ha az ISP-ben tárolja, majd az érzékelőt teljes felbontáson futtatja, akkor az ISP képes lesz arra, hogy a teljes felbontású képet és a bindált képet is egyszerre jelenítse meg. Ezért használhatja a kisebb felbontású vagy "binned" képet videóhoz (kamera) és előnézethez (kereső), és egyidejűleg használhatja a teljes felbontású képet teljes méretű pillanatfelvételhez.
De ismét, ez erős fényviszonyok esetén lenne így. De legalább ha az ISP-ben bin, akkor képes kezelni a nagy és a kis képet is egyszerre, így egyidejű videót és pillanatfelvételt is készíthet, valamint teljes felbontást is kaphat ZSL; mindezt anélkül, hogy az érzékelőt előre-hátra kellene kapcsolni, ami jelentős időt vesz igénybe.
Ez egy nagyon jó tulajdonság. És ahogy a Quad CFA érzékelők, és még te is tudod, a 9x érzékelők és talán még több is megjelenik, és ahogy ezek az érzékelők egyre többen mindenütt jelen van – egyre inkább arra törekszünk, hogy ezeket az érzékelőket a hardverben kezeljük, nem csak binning, hanem remosaicining.
Ennek az az előnye, hogy ha ezt hardverben csinálja, szemben a szoftverrel, akkor csökkenti a késleltetés az ügyfelei számára, így a felvételek közötti idő és a sorozatfelvételi sebesség sokkal gyorsabb lesz. Tehát ahogy haladunk előre az új internetszolgáltatókkal és új chipekkel, sokkal többet fog látni abból, amit teszünk az ilyen típusú érzékelőkért, amelyeket a hardverbe helyezünk.
Elemzés és kontextus: A Huawei volt az első, amely 40 MP-es Quad Bayer érzékelőt használt a Huawei P20 Pro 2018-ban, és a Quad Bayer szenzorok népszerűsége olyan nagy volt, hogy mára a 150 dolláros Snapdragon/Exynos/MediaTek chipekkel működő telefonokhoz is eljutott. Különösen azt láttuk, hogy az okostelefon-ipar a 48 megapixeles és a 64 megapixeles kamerákat kínálja a legjobbnak, míg néhány telefon eléri a 108 MP-es felbontást is. A Quad Bayer és a Nona Bayer szenzorok nem nélkülözhetők negatívumok nélkül, mivel a teljes felbontásukhoz figyelmeztetések is járnak.
Marketing okokból azonban a 48 MP-es szenzor sokkal jobban hangzik, mint a 12 MP-es, még akkor is, ha a felhasználó egyébként a legtöbbször 12 MP-es pixeles képeket készít. Egy 48 MP-es szenzor elméletileg jobb 12 MP-es képpontos képeket eredményez gyenge fényviszonyok mellett, mint a hagyományos 12 MP-nek szenzorral, de a képfeldolgozásnak lépést kell tartania, és ahogy lentebb is említem, ehhez még hosszú az út történik. Ettől függetlenül érdekes volt látni, hogy a Spectra ISP hogyan kezeli a Quad Bayer szenzorokat remosaicinnel. Rengeteg potenciál rejlik ezekben az érzékelőkben, és az olyan telefonokban, mint a OnePlus 8 Pro (amely Sony IMX689 Quad Bayer érzékelőt használ nagy pixelekkel) jelenleg az okostelefonok kameráinak csúcsán állnak.
ML alapú arcfelismerés
Mishaal Rahman: Szóval azt hiszem korábban említetted, hogy a Spectra 480 támogatja az ML-alapú arcfelismerést. Valójában ezt hallottam a Tech Summit-on. [Az, hogy ez] az egyik fejlesztés a 380-ról a 480-ra; hogy a videóelemző motorban egy új objektív-észlelési blokk része, amelyet a jövőben térbeli felismerésre használnak.
Tudna többet beszélni arról, hogy ez mennyire javítja az arcfelismerést, és milyen potenciális alkalmazásokat lát a gyártók által?
Judd Heape: Valójában igen, szóval igazad van a beágyazott számítógépes látásblokkban, ami az "EVA" blokk, amiről a Tech Summit-en beszéltünk. Ebben van egy általános tárgyészlelési mag, amelyet akkor használunk, amikor a kamera működik, és ezt használjuk az arcok észlelésére. A blokk technikái inkább hagyományos technikák, így a tárgyfelismerés hagyományos módszerrel történik osztályozók, de ezen felül fut egy szoftvermotor, amely ténylegesen javítja ennek pontosságát Blokk.
Tehát ML-alapú szoftvert használunk a hamis pozitívumok kiszűrésére, mivel a hardver több dolgot észlelhet arcként a jelenetben, és az ML szoftver azt mondják: "oké, ez egy arc", vagy "ez tényleg nem arc", és így néhány százalékponttal növeli a pontosságot az ML szűrő futtatásával a hardver.
Sok mindent említettem a jövőről. A jövőben azt is tervezzük, hogy magát a teljes arcfelismerést ML-ben vagy mély tanulási módban szoftveresen futtatjuk. Ez különösen igaz az alsóbb szintekre, így például egy olyan szinten, ahol nincs EVA hardvermotorunk, elkezdjük a mély tanulást. észlelésként, ami a chip mesterséges intelligenciájú motorjában fut, majd később a 700-800-as szintek felsőbb rétegeiben megvan az EVA hardver, ami ezt megteszi...
Általánosságban elmondom azonban, hogy inkább az ML megközelítések felé fogunk haladni az arcfelismerés terén, amely középtávon a szoftvert és a későbbi távon a hardvert is magában foglalja. Nem árulom el, hogy mely termékekben lesz elérhető, de természetesen ahogy haladunk előre az internetszolgáltató fejlesztésében, az biztos, hogy egyre több hardveres képességet adunk hozzá az ML elvégzéséhez.
Mishaal Rahman: Fantasztikus. Nos, szerintem magától értetődő, hogy a 800-as sorozat gépi tanulási fejlesztéseit az alsó szintre viszi, ezért úgy gondolom, hogy ez általában adott. De természetesen erről nem tud konkrétumot adni. Köszönjük a frissítést.
Judd Heape: Az arcfelismerés nagyon szenvedélyes dolog. Szeretnénk javítani ezeket a pontosságokat, hiszen generációról generációra minden szinten, a 800-as szinttől a 400-as szintig. Az ML ennek nagy része.
Elemzés és kontextus: Ezek a szempontok sokkal több lehetőséget adnak az okostelefonos fotózáshoz még a legújabb tükör nélküli fényképezőgépekhez képest is. Igen, a tükör nélküli kamerák jobb képminőséggel rendelkeznek gyenge fényviszonyok mellett, és sokkal rugalmasabbak, de az okostelefonok kamerái zseniális módszerekkel lépik túl korlátaikat. Az ML-alapú arcfelismerés ennek csak egy része.
Fejlesztések a képfeldolgozó motorban
Mishaal Rahman: Fantasztikus. Tehát az egyik dolog, amit röviden hallottam a Snapdragon Tech Summit utáni kerekasztal-beszélgetések során, a képfeldolgozó motor fejlesztése volt. Azt hallottam, hogy továbbfejlesztették az alacsony középfrekvenciás zajcsökkentést vagy a LEANR-t. És hogy dinamikus fordított erősítési térképet alkalmaz; ez olyasmi, amit korábban említett a beszélgetésben.
Judd Heape: Rendben. Szóval szerintem két dolgot keversz össze. Igen, szóval ott van a LEANR mag, amely a durvább szemcsék zajcsökkentésén dolgozik, ami segít gyenge fényviszonyok között. Ez egy új blokk, amelyet a Snapdragon 865-ben adtak hozzá az internetszolgáltatóhoz, és ez egy dolog.
A fordított erősítés térképe valami más. Ez egy másik dolog, amit a kerekasztaloknál említettem, de ez a lencse árnyékolás hatásainak visszafordítása. Tehát mint tudod, ha van egy kézibeszélőd, és van rajta egy kis lencse; az objektív közepe világos lesz, és a szélei matricásabbak lesznek; vagyis sötétebbek lesznek.
Így az elmúlt években az internetszolgáltatónál az volt, hogy statikus fordított erősítési térképet alkalmaztunk, hogy megszabaduljunk a sötét szélektől. És ez már jó ideje megtalálható az internetszolgáltatónál. A Snapdragon 865-ben azonban hozzáadtuk azt a képességet, hogy az erősítési térkép dinamikusan változzon az adott képkerethez képest, mert ha sok erősítést alkalmaz az élekre ami történik, az az, hogy a szélek lenyírhatók, különösen, ha erős fényű jeleneteket néz kint, például a kék ég fehérré válhat, vagy a szélek levágódnak a sok esemény miatt. nyereség.
Tehát a Snapdragon 865-ben a fordított erősítési térkép nem statikus; ez dinamikus. Tehát megnézzük a képet, és azt mondjuk: "oké, a kép ezen részei le vannak vágva, de nem szabadna", hogy tekerhessük. természetesen távolítsa el az erősítési térképet, hogy ne kapjon fényes rojtokat vagy halo effekteket vagy ilyesmit az objektív korrekciója miatt árnyékolás. Tehát ez különbözik a zajcsökkentéstől, és két különböző magról van szó.
Fényképezés gyenge fényben és agresszív zajcsökkentés
Idrees Patel: Tehát egy dolog, amiről kérdezni akartam, az a gyenge fényviszonyokkal való fotózás. Az elmúlt néhány évhez hasonlóan sok [OEM által megvalósított] éjszakai mód volt, de egy dolog, amit észrevettem, az az, hogy sok eszközgyártó az agresszív zajcsökkentést választja, amely olyan mértékben csökkenti a részleteket, hogy a fényességi zaj egyenletes legyen. eltávolították.
Tehát a kérdésem az, hogy a Qualcomm azt tanácsolja-e az eszközgyártóknak, hogy ne tegyék ezt, és ez olyasmi, amit a feldolgozó csővezetékeik csinálnak, vagy az ISP befolyásolja az SoC-ben.
Judd Heape: Ennek sok köze van a tuninghoz, és ha nincs multi-frame, vagy azt mondanám, nagyon jó képérzékelő nem kapható, nagy érzékenységgel vagy alacsony f-számú optikával. Az egyik módja annak, hogy gyenge fényviszonyok mellett megszabaduljon a zajtól, ha nagyobb zajcsökkentést alkalmaz, de ha nagyobb zajcsökkentést alkalmaz, akkor elvesznek a részletek, így az éles szélek elmosódnak. Most megszabadulhat ettől, ha alkalmazza ezeket a többkockás technikákat. Vagy ha mesterséges intelligencia technikákat alkalmaz, amelyek képesek kitalálni, hol vannak a tárgyak és az arcok szélei, és hasonlók. Tehát manapság nem igazán lehet kezelni a brute force zajcsökkentést, mert a végén elveszítjük a részleteket.
Több képkockás technikákat vagy mesterséges intelligencia technikákat szeretne csinálni, hogy továbbra is alkalmazzon zajt kicsinyítés a tárgyak belső területére, miközben szép tiszta éleket vagy éles széleket tart fenn tárgyakat. Tehát én ezt mondanám: az AI vagy a több képkocka használata a zajcsökkentés és a képek javításának módja gyenge fényviszonyok mellett.
Idrees Patel: Igen, és pontosan ezt akartam hallani. [Ez], mert ez a fő dolog, ami elválasztja a nagyszerű okostelefon-kamerákat a közepes vagy olcsóbb kameráktól.
Judd Heape: Igen.
Idrees Patel: A nagyszerű okostelefon-kamerák tudják, mikor kell zajcsökkentést alkalmazni, és mikor nem.
Judd Heape: Pontosan. Igen, és ahogy mondtam, a kamera hangolását valóban ügyfeleink vagy OEM-ek végzik, és egyes OEM-ek inkább lágyabb képet szeretnek, kevesebb zajjal. Vannak, akik jobban szeretnek több részletet felfedni, talán egy kicsit nagyobb zajjal.
Tehát ez egy kompromisszum, és ezért vannak korlátai. És mintha azt mondtam volna, hogy a legjobb, ha jobb képérzékelőt szerzünk nagyobb érzékenységgel, nagyobb pixelek vagy kisebb f-számú optika, mert akkor több fényt kapsz a kezdetektől, ez mindig jobb. De ha ezt nem tudja megtenni, akkor a zajcsökkentés és a részletek elvesztése helyett több képkockás vagy mesterséges intelligencia technikákat szeretne használni.
Elemzés és kontextus: Véleményem szerint jelenleg ez a legnagyobb probléma az okostelefonok kameráival. Igen, használhat 48 MP-es vagy 64 MP-es vagy akár 108 MP-es érzékelőt is. Ha azonban nem választja a visszafogott zajcsökkentést az MFNR vagy az AI technikákkal, akkor az összes megapixel, a 4 az 1-ben binning és még a 9 az 1-ben binning sem sok hasznot hoz. A Galaxy S20 Ultra a kiváló példa erre, 108 MP-es elsődleges kamerájaként nagyrészt csalódásnak tartották. A Samsung visszafelé lépett a képfeldolgozásban: rendkívül agresszív zajcsökkentést alkalmazott éjszakai üzemmódjaiban a 2020-as zászlóshajóiban, míg a 2019-es Galaxy S10 sorozat ironikus módon jobb képminőséget mutatott.
Judd elárulja, hogy egyes OEM-ek valójában a lágyabb képet preferálják, kevesebb zajjal, ami alapvetően rossz választás. A hangolást az eszközgyártók végzik, így két, ugyanazt az érzékelőt használó és ugyanazt a SoC-t használó telefon nagyon-nagyon eltérő fényképeket készíthet. Remélni kell, hogy ezek az eszközgyártók megtanulják az igazságot jobban teljesítő versenytársaiktól. Míg a Samsung ebben az évben eltévedt a képfeldolgozásban, a OnePlus éles kontrasztot alkotott. A OnePlus 8 Pro az egyik legjobb okostelefon-kamera a piacon, ami figyelemre méltó eredmény, figyelembe véve a OnePlus 5T kamerájának 2017-es nagyon gyenge teljesítményét. A képfeldolgozó gondolkodásmódnak meg kell változnia, hogy a fényképek élesek legyenek, bármennyire is dúlnak a megapixel háborúk.
AV1 dekódolás és kódolás
Mishaal Rahman: Szóval ez egy kicsit elkülönül a többi megbeszéléstől, amelyet a kamera minőségéről folytatunk. Az egyik dolog, amelyre a nyílt forráskódú médiakodek közösség egyes emberei kíváncsiak, az, hogy a Qualcomm mikor fogja támogatni AV1 dekódolás és esetleg kódolás. Tudom, hogy ez egy kicsit nehézkes, de a Google 4K HDR és 8K TV-ket igényel Android 10 rendszeren, hogy támogassa az AV1 dekódolást és a Netflixet, Youtube, megkezdik az AV1 kódolású videók közzétételét. Tehát úgy néz ki, mint az AV1 kódolású videók lassú felfutása. Kíváncsiak vagyunk tehát, hogy mikor lesz elérhető legalább a dekódolási támogatás a Spectrában.
Qualcomm nyilatkozata: Kérdése szerint az AV1-en – ma nincs mit bejelentenünk. A Snapdragon azonban jelenleg szoftveres AV1 lejátszásra képes. A Qualcomm mindig együttműködik partnereivel a következő generációs kodekeken, szoftver- és hardvergyártáson keresztül A Snapdragon vezető szerepet tölt be a HDR kodekek terén, beleértve a rögzítést és lejátszást HEIF, HLG, HDR10, HDR10+ és Dolby esetén Látomás. Természetesen tisztában vagyunk azzal, hogy a legjobb CODEC-élményt biztosítjuk ügyfeleinknek, ideértve a nagy felbontás és a legalacsonyabb teljesítmény támogatását, hogy ezek megvalósítása a HW-ben kívánatos.
Videofelvétel - mozgáskompenzáció
Mishaal Rahman: Szóval nem tudom, hogy Idreesnek van-e további kérdése, de volt egy kérdésem valamivel kapcsolatban, amit a Snapdragon Tech Summit-on olvastam. A mozgáskompenzált videomagról van szó. Azt hallottam, hogy vannak olyan fejlesztések a mozgáskompenzációs motorban, hogy csökkentsék a zajt a videó rögzítésekor. Érdeklődnék, hogy ki tudnád-e bővíteni, hogy pontosan mit javítottak és mit tettek.
Judd Heape: Az EVA (Engine for Video Analytics) motort egy sűrűbb mozgástérkép maggal javították, így az EVA a motor például mindig a bejövő videót nézi, és van benne egy mag, amely mozgást végez becslés. Azt tettük, hogy sokkal pontosabbá tettük azt a magot, ahol szinte pixelenkénti szinten teszi ezt, nem pedig úgy, mint egy több durva blokkszint, így sokkal több mozgásvektort kapunk a Snapdragon 865 EVA motorjából, mint az előzőekben generációk. És ez azt jelenti, hogy a kódolást végző videómag többre tudja használni ezeket a mozgásvektorokat pontos a kódolást illetően, de a kameraoldal internetszolgáltatója ezt az információt is felhasználja a zajra csökkentés.
Tehát, mint tudod, generációk óta alkalmazzuk a mozgáskompenzált időbeli szűrést, ami valójában a videó közbeni aktív zajcsökkentés, amely idővel átlagolja a képkockákat, hogy megszabaduljon a zajtól.
Ezzel a technikával azonban az a probléma, ha mozgás van a jelenetben. A mozgást végül csak elutasítják a zajcsökkentés miatt, mert nem lehet kezelni, vagy elkenődik, és ezek a csúnya nyomok és műtárgyak a mozgó dolgokon jelennek meg. Tehát a mozgáskompenzált időbeli szűrésnél, amit a múltban csináltunk, amióta nem rendelkezünk ezzel a sűrű mozgástérképpel a helyi mozgás, egyszerűen csak azokat az eseteket kezeljük, amikor mozgatja a kamerát, ez elég egyszerű, mert minden mozog globálisan.
De ha fényképez valamit, és egy tárgy mozog a jeleneten belül, amit korábban tettünk [ez volt] csak figyelmen kívül hagytuk ezeket a pixeleket, mert nem tudtuk feldolgozni őket zajra, mert ez egy helyben mozgó tárgy. És ezért, ha kockánként átlagol, az objektum minden képkockán más helyen volt, így nem igazán tudta feldolgozni.
De a Snapdragon 865-ön, mert nálunk sűrűbb a mozgástérkép, és szinte egy pixelen meg tudjuk nézni a mozgásvektorokat pixel alapon, valójában képesek vagyunk a helyben mozgatott pixeleket képkockánként feldolgozni a zajcsökkentés érdekében, míg korábban nem. Azt hiszem, említettem egy mérőszámot a beszélgetésben. Nem emlékszem a számra (40% volt) de ez a legtöbb videónál átlagosan a pixelek nagy százalékát tette ki, amelyek mostanra feldolgozhatók a zaj ellen, míg az előző generációban már nem. És ez részben annak köszönhető, hogy képesek vagyunk megérteni a helyi mozgást, és nem csak a globális mozgást.
Videofelvétel - HDR
Idrees Patel: Egy másik kérdésem a HDR videóval kapcsolatos. Idén sokkal több eszközgyártó kínál HDR10 videórögzítést. Tehát ez valami, amit a Snapdragon 865-tel reklámoztak, vagy néhány generáció óta ott van.
Judd Heape: Ó, igen, szóval ahogy beszéltünk róla a Tech Summit-en, megvan a HDR10, ami a HDR videószabványa A kamera kódolási oldala már néhány generáció óta, a Snapdragon 845 óta, azt hiszem, és folyamatosan fejlődtünk hogy.
Szóval tavaly beszéltünk a HDR10+-ról, ami 10 bites HDR-rögzítés, de statikus metaadatok helyett dinamikus metaadatok vannak, tehát a kamera által rögzített metaadatok. a jelenet ténylegesen valós időben rögzítésre kerül, így a lejátszás során a lejátszási motor megérti, hogy sötét vagy világos szoba volt-e, és kompenzálni tudja a hogy.
Tavaly a Tech Summit-en is beszéltünk a Dolby Vision rögzítésről, ami a Dolby alternatívája a HDR10+ helyett. Nagyon hasonló ott, ahol valójában a dinamikus metaadatokat is előállítják. Tehát a Snapdragon ma mindhárom formátumot támogatja: HDR10, HDR10+ és Dolby Vision rögzítés. Így nincs semmi megkötés, az OEM-gyártóink bármelyik módszert választhatják. Már egy ideje HDR10-et használó ügyfeleink vannak, és tavaly és idén is egyre többen vették a HDR10+-t. És azt hiszem, a jövőben a Dolby Vision Capture is átveszik majd.
Szóval igen, ezt erősen hirdettük. A HDR nagyon fontos számunkra, mind a pillanatfelvételek, mind a videó oldalon. És ahogy mondtam, elkötelezettek vagyunk a HDR10 és a HDR10+ és most a Dolby Vision formátumok mellett, a Snapdragon 845 óta, és mostanában még a Snapdragon 865 for Dolby Vision is.
Mishaal Rahman: Valójában nem voltam biztos abban, hogy valamelyik gyártó megvalósította-e még a Dolby Vision felvételt, de azt hiszem, ez megválaszolja ezt a kérdést. [Ez] valami, amit látni fogunk a jövőben.
Judd Heape: Természetesen - nem tudok nyilatkozni arról, hogy mely gyártók érdeklődnek és ilyesmi. Ez lenne a kérdés a Dolby számára; ez az ő funkciójuk, ezért ha többet szeretne tudni erről, azt javaslom, hogy lépjen kapcsolatba a Dolbyval. De a mai napig, amennyire én tudom, nem volt olyan készülék, amelyen még megjelent volna a Dolby Vision Capture.
Idrees Patel: Mert kell a kijelző támogatása is. Észrevettem, hogy az okostelefonok kijelzői támogatják a HDR10-et és a HDR10+-t, de a Dolby Vision-t nem.
Judd Heape: Valójában igen, de a Dolby Vision lejátszást korábban a Snapdragon támogatta. Működhet egy adott kijelzővel, és a kijelzőnek nem kell feltétlenül megfelelnie semmilyen meghatározott kritériumnak ahhoz, hogy Dolby Vision kompatibilis legyen, kivéve, hogy A Dolby besorolja a kijelzőt, és megbizonyosodik arról, hogy van egy bizonyos színskála, gamma, bizonyos bitmélység, bizonyos fényerő és bizonyos kontraszt hányados.
Tehát tudod, vásárolhatsz HDR10-es kijelzőt, de vásárolhatsz olyan készüléket is, amely támogatja a Dolby Visiont. lejátszás, de Doby minősíteni fogja ezt a kijelzőt, hogy megbizonyosodjon arról, hogy az megfelel a szigorú követelményeknek követelményeknek.
Együttműködés szoftvergyártókkal: Imint, Morpho és Arcsoft
Mishaal Rahman: Azt hiszem, csak egy kérdés, amivel utána kell járnom, és további kutatásokat kell végeznem, az az egyik vállalat, amellyel nemrégiben beszéltünk. Imint. Nemrég frissítették Vidhance stabilizáló szoftver nak nek működjön együtt a Spectra 480-al. Tudom, hogy sok olyan céggel dolgoztok együtt, akik a Spectra 480, a feldolgozás előnyeit is kihasználják. Érdeklődnék, hogy tud-e több példát felfedni ezekre a technológiákra – vagy azokra a partnerekre, amelyek dolgoztunk együtt, csak hogy] legyen valami, amit nyomon követhetnénk, hogy többet megtudjunk arról, hogyan használják a Spectra 480-at a terület.
Judd Heape: Sok szoftverszállítóval dolgozunk együtt. Ahogy a múltban említettük, a Dolby is ezek közé tartozik. Vannak még olyanok, mint amilyeneket említettél, az Imint/Vidhance for EIS (elektronikus képstabilizátor). Korábban említettük a Morpho-t és az Arcsoftot is, velük is nagyon szorosan együttműködünk.
Ami azonban a velük való együttműködést illeti, az irányelvünk az, hogy valóban szorosan együtt akarunk működni ezekkel a független szoftverszállítókkal, és biztosak abban, hogy bármit is csinálnak a szoftverben, képesek lesznek kihasználni a Snapdragon hardverét a legalacsonyabb energiafogyasztás érdekében lehetséges.
Tehát az egyik dolog, amit ezekkel a gyártókkal teszünk, az az, hogy gondoskodunk arról, hogy valóban jó hozzáférést kapjanak a HVX motorhoz vagy a Hexagon DSP maghoz. Ezenkívül az EVA motort használják mozgásvektorok lekérésére, valamint a hardver és az EVA motor használatára képmanipulációra, így Képmozgatást, fordítást és vetemedésmentesítést és hasonló dolgokat tudnak végrehajtani hardverben ahelyett, hogy a GPU-t használnák. hogy.
Tehát valóban szorosan együttműködünk ezekkel az ISV-kkel, különösen azokkal, amelyeket különösen említettem, hogy megbizonyosodjunk arról, hogy nem csak mindent beleadnak. és szoftver a CPU-ban, de olyan dolgokat használnak, mint a DSP és a hardveres gyorsítók az EVA-ban a jobb teljesítmény és az alacsonyabb teljesítmény érdekében fogyasztás. Ez tehát számunkra is nagyon fontos, mert ügyfeleink számára a funkciók és az energiafogyasztás lehető legjobb keverékét kínálja.
[Záró megjegyzések Juddtól]: Csak azt akartam mondani, hogy köszönöm srácok az összes igazán jó kérdést. Nagyon-nagyon részletesek. Körülbelül három éve dolgozom a Qualcommnál, és a múltunkra tekintek, még az itt töltött időszakon túl is, ahol korábban a Spectra-n indultunk. Snapdragon 845, nagyon keményen dolgoztunk, hogy drámai módon javítsuk az internetszolgáltatót és a kamerát, és csak az általános élményt az elmúlt néhány évben. évek. Nagyon izgatott vagyok még attól is, hogy mit hoz a jövő. És izgatott vagyok, hogy mit fogunk bejelenteni a jövőbeli Tech Summitokon, amelyekről kérdezhettek és írhattok. A [Spectra Camera], véleményem szerint, valószínűleg az egyik legizgalmasabb technológia a Qualcommnál.
Végső gondolatok
Nagyszerű volt beszélgetni Judddal a Qualcomm okostelefonos fotózáshoz való hozzájárulásáról. Vegyes érzéseink lehetnek a céggel és szabadalmi engedélyezési rendszerével kapcsolatban, de a Qualcomm okostelefon-iparra gyakorolt nyomát mindenki érzi, akár szabadalmak, a 4G és 5G, a Wi-Fi, az Adreno GPU-k, a Spectra internetszolgáltatók és maguk a Snapdragon chipek, amelyeket nagyrészt aranystandardnak tartanak az Android okostelefonokban piac.
Az okostelefonos fotózásban még sok fájdalompont van, amit meg kell oldani, de a jövő az A Qualcomm ígérete szerint még több előrelépést kell elérnie az ML hatalmas, növekvő területein, AI. Lássuk, mit kell bejelentenie a Qualcommnak ezen a téren a következő Snapdragon Tech Summit alkalmával.