Judd Heape ze společnosti Qualcomm vysvětluje, jak společnost Qualcomm vylepšuje fotoaparáty na telefonech Android pomocí nových funkcí u svých poskytovatelů internetových služeb Spectra.
Jako výrobce systémových čipů (SoC), které pohánějí většinu světových smartphonů a nositelných zařízení, je Qualcomm se sídlem v USA bezpochyby jedním z gigantů v odvětví výrobců čipů. Například řadu SoC Snapdragon používá téměř každý hlavní výrobce zařízení Android pro vlajkové, střední a levné smartphony. Qualcomm získává každý rok uznání na výročním Tech Summit společnosti za pokrok v oblasti CPU, GPU a AI, protože zahrnuje nové mikroarchitektury CPU od ARM. a doplňuje je každoročními vylepšeními vlastních GPU. Jeho pokroky v oblasti fotoaparátů však nejsou tolik zaznamenány, protože mají tendenci jít pod úroveň radar.
To však neznamená, že by práce Qualcommu ve fotoaparátech chytrých telefonů byla nedůležitá. Naopak, poskytovatelé internetových služeb Spectra společnosti Qualcomm ve svých Snapdragon SoC pomáhají vytvářet většinu moderních fotoaparátů chytrých telefonů se zvýšeným výpočetní výkon, funkce, jako je nahrávání videa v rozlišení 8K, video HDR10, podpora vysoce megapixelových kamer QCFA a mnoho, mnoho více. Qualcomm propagoval, že Spectra 380 ISP v Snapdragonu 855
byl první CV-ISP na světěa propagovala první funkce nahrávání videa 4K HDR na světě, které samotné nyní doplnilo nahrávání videa 4K HDR10+ druhé generace. Spectra 480 ISP v nejnovější generaci Snapdragon 865 je vysoce schopný – dokáže zpracovat dva gigapixely za sekundu, což je o 40 % více než jeho předchůdce. Je to duševní vlastnictví (IP), které odlišuje Qualcomm od jeho konkurentů v oblasti prodejců mobilních čipů.Zatímco Qualcomm vysvětluje většinu hlavních funkcí ve svých tiskových zprávách a produktových klíčových poznámkách, nahoru až dosud neměli spotřebitelé šanci poznat většinu malých detailů, které tyto věci tvoří práce.
To je důvod, proč jsme v XDA Developers rádi přijali nabídku mluvit s Juddem Heapem, vrchním ředitelem produktového managementu společnosti Qualcomm. Šéfredaktor XDA, Mishaal Rahman, a já jsme měli v červnu 2020 rozhovor s Juddem, abychom se dozvěděli a viděli, jak Qualcomm posouvá hranice s fotografováním chytrými telefony a nahráváním videa. Mluvili jsme o tématech, jako je zpracování obrazu AI, redukce šumu více snímků (MFNR), AV1, nahrávání videa Dolby Vision, seskupování pixelů ve fotoaparátech s vysokým rozlišením a mnoho dalšího. Podívejme se na Juddův postřeh ke každému tématu jeden po druhém:
Úlohy zpracování obrazu AI
Mishaal Rahman: Začnu jednou z těch, které měl Idrees, která je zajímavá a která mě také zaujala. Zajímalo by nás tedy, jaké jsou pracovní zátěže pro zpracování obrazu AI, které Qualcomm používá v Spectra ISP, a do jaké míry je přizpůsobují výrobci zařízení?
Judd Heape: Jo, takže se podíváme na spoustu pracovních zátěží AI a existuje nějaká AI, která může běžet v samotném ISP jako například naše další generace 3A: automatická expozice, automatické vyvážení bílé a automatické ostření jsou AI na základě.
Podíváme se ale také na několik dalších úloh AI, které by běžely mimo ISP, v jednom z dalších výpočetních prvků. Konkrétně se tedy podíváme na věci jako: máme jádro pro redukci šumu založené na AI, které běží externě od ISP, v části čipu AI engine (AIE).
Máme také věci, jako je detekce obličeje, což je úplný engine pro hluboké učení, který také běží v komplexu AIE, ale samozřejmě pomáhá fotoaparátu. A jsou tu další věci, na kterých pracujeme, kromě detekce obličeje a potlačení šumu; uvažujeme také o provádění věcí, jako je automatická úprava snímků pomocí umělé inteligence, která by se automaticky nastavila parametry na scénu na základě obsahu HDR bychom zpracovali, abychom upravili stíny a světla a barvy a podobně věc.
Jeden z našich partnerů, Morpho, právě letos na Embedded Vision Summit vyhrál obrovskou cenu za AI. Partneři nezávislých dodavatelů softwaru mají také spoustu opravdu intenzivních algoritmů založených na umělé inteligenci a ty se mohou pohybovat od čehokoli, jako je hladká kamera. přechod, jako to, co dělá Arcsoft (zmínil jsem se o tom na posledním Snapdragon Tech Summit, který je založen na umělé inteligenci), k sémantické segmentaci Morpho motor. Řešením Morpho je AI engine, který rozumí různým částem scény, jako je to, co víte, látka versus kůže versus obloha a tráva a budova a podobné věci a pak může ISP vzít tyto informace a zpracovat tyto pixely odlišně pro texturu, šum a barvu pro příklad.
prohlášení Qualcommu: Pro ML a AI dnes také neoznamujeme žádné nové aktualizace funkcí detekce obličeje a „3A“ (AE, AF a AWB). Nicméně, jak řekl Judd, jsme odhodláni do budoucna přinést do fotoaparátu více možností ML/AI, včetně těchto dvou oblastí funkcí.
Analýza a kontext: Umělá inteligence v chytrých telefonech je z velké části považována za módní slovo od doby, kdy do telefonů Android začaly přicházet první neurální procesorové jednotky (NPU) a funkce „založené na AI“. To však neznamená, že samotná AI je bezvýznamná. Naopak, umělá inteligence má v mobilních zařízeních velký potenciál, a to až do bodu, kdy prodejci čipů i výrobci zařízení zatím jen škrábou na povrch toho, co je možné.
Díky AI se fotoaparáty chytrých telefonů zlepšily – někdy rychle, někdy bolestně pomalu, ale dostávají se k cíli. Fotoaparáty smartphonů překonávají základní omezení, jako jsou relativně menší snímače, pevné ohniskové vzdálenosti a horší optika s chytrou výpočetní fotografií, která je poháněna strojovým učením (ML). Automatická expozice, redukce šumu, detekce obličeje a segmentace jsou jen některé z oblastí, kde umělá inteligence při fotografování chytrými telefony dokázala ovlivnit. V příštích pěti letech tyto rodící se oblasti umělé inteligence zlepšující různé aspekty fotografie hodně dospějí.
Vícesnímková redukce šumu
Idrees Patel: Qualcomm zmiňuje redukci šumu více snímků jako funkci. Chtěl bych se o tom dozvědět více podrobností, například o tom, jak funguje skládání obrázků. Je to nějak podobné tomu, co Google dělá s jejich technologií HDR+, nebo je to úplně jiné?
Judd Heape: Je to podobné, ale jiné. Představte si, že fotoaparát udělá sérii a zachytí pět až sedm snímků v rychlém sledu. Poté se ISP engine podívá na tyto rámy a vybere pro něj ten nejlepší (nazývaný „kotevní rám“) zaostření a jasnost a pak může vybrat 3-4 snímky na každé straně tohoto snímku a pak je všechny zprůměrovat spolu. Snaží se vybrat rámečky, které jsou dostatečně blízko u sebe, takže je velmi malý pohyb.
A když se usadí na těchto snímcích, zprůměruje je dohromady, aby zjistil, co se liší, například co jsou skutečná obrazová data a co jsou šumová data. Takže když máte stále více informací z více a více snímků, můžete ve skutečnosti dělat jednoduché věci, jako je podívat se na rozdíly mezi snímky. Rozdíly jsou pravděpodobně šum, zatímco to, co je stejné ve snímcích, jsou pravděpodobně obrazová data.
Takže můžeme provést kombinaci snímků v reálném čase, abychom snížili šum. Nyní můžete totéž udělat se slabým osvětlením a HDR a to je hodně podobné tomu, co pravděpodobně dělá Google. Nejsme zasvěceni do jejich algoritmu. Ale používají vícesnímkové techniky ke zvýšení citlivosti, abyste mohli lépe „vidět“; jakmile snížíte hladinu šumu, můžete se nyní podívat na více lokálního mapování tónů nebo přidání zisku do obrazu bez přidání dalšího šumu.
Takže takhle zvládají slabé osvětlení a také HDR. Vylepšení funkce redukce šumu více snímků bude pocházet od společnosti Qualcomm, která bude zahrnovat také slabé osvětlení a HDR. Ale to je něco, co brzy představíme.
Mishaal Rahman: Takže jste se zmínil o brzkém zavedení této funkce. Přichází to jako aktualizace BSP pro partnery?
Judd Heape: V našich produktech nové generace budeme mít prostřednictvím softwarového rozšíření možnost zapojit se – ve skutečnosti se to děje právě teď na příštím generace produktů – právě teď spolupracujeme se zákazníky, abychom provedli více vícesnímkových technik nad rámec redukce šumu, ale také abychom zvládli HDR a slabé osvětlení situace. Používá stejný základní ISP HW engine, ale přidáváme další software pro práci s těmito multi-rámci pro více než jen redukci šumu.
Není to tedy něco, co by se zavedlo, ale jednáme s některými klíčovými hlavními zákazníky ohledně těchto funkcí.
Analýza a kontext: S každým novým oznámením Snapdragon SoC obsahuje tabulka specifikací společnosti Qualcomm specifikace týkající se redukce šumu více snímků. Například Snapdragon 865 se svými duálními 14bitovými CV-ISP podporuje až hypotetický 200MP jeden fotoaparát (i když dodavatelé snímačů fotoaparátů, jako jsou Sony, Samsung a OmniVision, dosud neuvedli žádný snímač fotoaparátu pro chytré telefony nad 108 MP). Pokud však jde o podporu jedné kamery s MFNR, nulovým zpožděním závěrky (ZSL) a podporou 30 snímků za sekundu, specifikace se změní na 64MP a pro duální fotoaparáty se stejnými specifikacemi se specifikace změní na 25 MP.
Vícesnímková redukce šumu od Qualcommu je velmi podobná HDR+, ale není úplně stejná, jak vysvětlil Judd výše. Zatímco HDR+ pořídí řadu podexponovaných expozic a zprůměruje je pro získání nejlepší fotografie, MFNR pořídí pět až sedm normálních snímků. Nezdá se, že MFNR společnosti Qualcomm je tak pokročilý jako řešení společnosti Google, protože HDR a slabé osvětlení nejsou v současné době uváděny jako konkrétní priority. pracovní postup pro Spectru, zatímco HDR+ společnosti Google se zaměřuje na HDR, fotografování při slabém osvětlení a zároveň redukci šumu, přičemž Night Sight to ještě posouvá dále. Je však povzbudivé zjistit, že MFNR dostává vylepšení a Qualcomm tato vylepšení zavede „některým klíčovým zákazníkům“. V budoucnu možná nebudeme potřebovat neoficiální porty pro fotoaparáty Google, abychom dosáhli plného potenciálu fotoaparátů chytrých telefonů se systémem Android, které nejsou od Googlu.
Super rozlišení pro video
Mishaal Rahman: Takže něco, co jsem slyšel na Tech Summit. Vlastně si myslím, že to tak bylo v rozhovoru s Android Authority. Je to tak, že Qualcomm plánuje rozšířit super rozlišení na video jako softwarové řešení pro partnery a že to bude zjevně zaváděno v aktualizaci. Zajímalo by mě, jestli máte nějaké aktualizace pro sdílení této funkce.
Judd Heape: Ano, takže to je funkce, kterou jsme měli možnost nějakou dobu dělat a která se právě zavádí. Neřekl bych, že je to v aktualizaci softwaru, ale řekl bych, že je to něco jako další výhoda stávající funkce více snímků při slabém osvětlení. V souvislosti s touto funkcí jednáme s některými konkrétními hlavními zákazníky. Takže ano, super rozlišení videa je něco v další generaci nebo tak to budeme mít jako my zavolat funkci plánu záznamu, kde je ve skutečnosti zabudována do základny softwarového kódu pro [the] Fotoaparát. Ale právě teď je to spíše na úrovni konkrétních zákaznických zapojení pro tuto novou funkci.
Analýza a kontext: Super rozlišení pro video je funkce, která se až dosud ve fotoaparátech smartphonů neobjevila. Je to takový nový obor, že stále se o tom píší výzkumné práce. Použití vícesnímkových technik pro fotografování je jedna věc, ale jejich použití pro video k upscale videa na vyšší rozlišení je zcela jiná věc. Qualcomm říká, že tuto funkci znovu zavádí pro „některé klíčové zákazníky“, ale právě teď není zabudována do základny softwarového kódu pro fotoaparát. V budoucnu může být dostupná pro každého, ale zatím jde o funkci, kterou koncoví spotřebitelé ještě ani nemuseli používat.
Vysoce megapixelové snímače Quad Bayer
Idrees Patel: Pojďme se bavit o senzorech Quad Bayer. Od roku 2019 má nyní mnoho telefonů snímače 48MP, 64MP a nyní dokonce 108MP. Jedná se o snímače Quad Bayer; ve skutečnosti nemáte skutečné barevné rozlišení 48 nebo 64 nebo 108 MP. Jedna věc, kterou jsem se chtěl zeptat, bylo, jak se liší ISP z hlediska zpracování obrazu pro tyto Quad Bayer nebo Nona Bayer Sensors (4-v-1 nebo 9-in-1 pixel binning), ve srovnání s tradičními snímači, které nemají žádný pixel binning.
Judd Heape: Jo, tak samozřejmě výhodou těchto čtyř CFA (Quad Color Filter Array) senzorů je schopnost běžet za jasného světla v plném rozlišení, a pak je ISP může zpracovat v plném rozlišení 108 megapixelů nebo 64 megapixelů nebo cokoli jiného dostupný.
Obvykle však ve většině světelných situací, jako je interiér nebo tma, musíte bin, protože pixely snímače jsou tak malé, že je musíte kombinovat, abyste získali lepší citlivost na světlo. Řekl bych tedy, že většinu času, zejména pokud natáčíte video nebo pokud máte pro snímek slabé osvětlení, běžíte v režimu binned.
Nyní může ISP zpracovat senzor oběma způsoby. Na snímač se můžete podívat v režimu binned, v takovém případě je to jen běžný snímek Bayer, nebo se na něj může podívat v režimu plného rozlišení, ve kterém jsou příchozí data čtyřnásobná CFA. A pokud je v tomto režimu, ISP jej převede na Bayer.
Takže děláme - to, čemu říkáme - "remosaicing". To dělá nějakou interpolaci quad CFA obrazu, aby to opět vypadalo jako Bayer v plném rozlišení. A to se obvykle provádí v softwaru pro snímek, i když tuto schopnost nakonec přidáme do hardwaru, aby podporoval video.
To, co je dnes v hardwaru ISP, je binning. Takže můžete bin v senzoru a můžete vlastně nechat senzor rozhodnout, jestli bude mít výstup plné nebo čtvrtinové nebo 1/9 rozlišení, nebo můžete bin v ISP. A to je funkce, kterou jsme vlastně přidali do Snapdragonu 865. Pokud tedy zadáte ISP a poté spustíte senzor v plném rozlišení, bude mít ISP možnost mít současně obraz v plném rozlišení i seskupený obraz. Může tedy použít menší rozlišení nebo „binned“ obrázek pro video (kamera) a náhled (hledáček) a současně použít obrázek v plném rozlišení pro snímek v plné velikosti.
Ale to by zase bylo v případě jasných světelných podmínek. Ale alespoň pokud zadáte ISP, máte možnost zpracovat jak velký, tak malý obrázek ve stejnou dobu, a proto můžete získat simultánní video a snímek, můžete také získat plné rozlišení ZSL; to vše bez nutnosti přepínat senzor tam a zpět, což zabere značné množství času.
To je opravdu dobrá funkce. A jak Quad CFA senzory a dokonce i vy víte, 9x senzory a možná ještě více vycházejí, a jak se tyto senzory stávají stále více všudypřítomné – stále více se snažíme zvládnout tyto senzory v hardwaru, a to nejen pro binning, ale také pro remosaicing.
Výhodou toho je, že pokud to uděláte v hardwaru oproti softwaru, snížíte to latence pro vaše zákazníky, a proto budou vaše časy mezi jednotlivými výstřely a frekvence série mnohem rychlejší. Takže jak budeme postupovat vpřed s novými ISP a novými čipy, začnete vidět mnohem více toho, co děláme pro tyto nové typy senzorů vložených do hardwaru.
Analýza a kontext: Huawei jako první použil 40MP Quad Bayer snímač Huawei P20 Pro v roce 2018 a popularita senzorů Quad Bayer byla tak vysoká, že se nyní dostaly až k telefonům za 150 $ poháněných čipy Snapdragon/Exynos/MediaTek. Konkrétně jsme viděli, že průmysl chytrých telefonů přichází s fotoaparáty s rozlišením 48 MP a 64 MP jako sladkou tečkou, zatímco několik telefonů dosahuje až 108 MP. Snímače Quad Bayer a Nona Bayer se neobejdou bez negativ, protože jejich plné rozlišení přichází s výhradami.
Z marketingových důvodů však 48MP senzor zní mnohem lépe než 12MP senzor, i když uživatel většinu času stejně pořizuje 12MP pixelové fotografie. 48MP senzor by měl teoreticky vést k lepším 12MP pixelům seskupeným fotografiím při slabém osvětlení než tradiční 12MP snímač, ale zpracování obrazu musí držet krok, a jak zmiňuji níže, k tomu je dlouhá cesta přihodit se. Bez ohledu na to bylo zajímavé vidět, jak Spectra ISP zvládá Quad Bayer senzory s remosaicingem. V těchto senzorech je velký potenciál a telefony jako OnePlus 8 Pro (který používá senzor Sony IMX689 Quad Bayer s velkými pixely) jsou v současné době na vrcholu fotoaparátů chytrých telefonů.
Rozpoznávání obličeje založené na ML
Mishaal Rahman: Takže myslím, že jste dříve zmínil, že rozpoznávání obličeje založené na ML je podporováno ve Spectra 480. To je něco, co jsem skutečně slyšel na Tech Summit. [Že toto je] jedno z vylepšení z 380 na 480; že je součástí – v enginu pro analýzu videa je nový blok detekce objektivů, který se v budoucnu používá pro prostorové rozpoznávání.
Můžete mluvit více o tom, jak moc to zlepšuje rozpoznávání obličeje a jaké potenciální aplikace vidíte, že je dodavatelé používají?
Judd Heape: Vlastně ano, takže máte pravdu v bloku vestavěného počítačového vidění, což je blok „EVA“, o kterém jsme mluvili na Tech Summit. To má v sobě obecné jádro detekce objektů, které používáme, když je kamera spuštěná, používáme ho k detekci tváří. Techniky v tomto bloku jsou tradičnější techniky, takže rozpoznávání objektů se provádí tradičními klasifikátory, ale navíc máme spuštěný softwarový engine, který skutečně zlepšuje přesnost blok.
K odfiltrování falešných poplachů tedy používáme software založený na ML, protože hardware může ve scéně detekovat více věcí jako tváře, a pak je software ML říkat „dobře, to je obličej“ nebo „to opravdu není obličej“, a tak se zvyšuje přesnost o několik procentních bodů spuštěním filtru ML nad Hardware.
Zmínil jsem spoustu věcí o budoucnosti. V budoucnu plánujeme také spustit samotnou detekci celého obličeje v ML nebo v režimu hlubokého učení v softwaru. Zejména to bude platit na nižších úrovních, takže například v úrovni, kde nemáme hardwarový engine EVA, začneme postupně zavádět hluboké učení jako detekce, která běží v AI enginu čipu a později, v horních vrstvách v úrovních 700-800 máme k tomu hardware EVA...
Obecně však řeknu, že se budeme více přibližovat k ML přístupům k detekci obličejů, což by zahrnovalo jak software ve střednědobém horizontu, tak hardware v pozdějším horizontu. Nebudu prozrazovat, které produkty to budou mít, ale samozřejmě jak budeme postupovat kupředu ve zdokonalování ISP, určitě budeme přidávat další a další hardwarové možnosti pro ML.
Mishaal Rahman: Skvělý. No, myslím, že je samozřejmé, že směr, kterým se ubíráte, přináší vylepšení strojového učení řady 800 na nižší úroveň, takže si myslím, že je to obecně dané. Ale k tomu nám samozřejmě nemůžete poskytnout žádné podrobnosti. Děkuji za aktualizaci.
Judd Heape: Detekce obličeje je něco, co nás velmi baví. Chceme zlepšit tyto přesnosti, znáte generaci za generací ve všech úrovních, od úrovně 800 až po úroveň 400. ML je toho velkou součástí.
Analýza a kontext: Tyto aspekty dávají fotografování chytrými telefony mnohem větší potenciál oproti nejnovějším bezzrcadlovkám. Ano, bezzrcadlovky mají lepší kvalitu obrazu při slabém osvětlení a jsou mnohem flexibilnější, ale fotoaparáty chytrých telefonů překonávají svá omezení důmyslnými způsoby. Detekce obličeje založená na ML je jen částí toho.
Vylepšení v enginu zpracování obrazu
Mishaal Rahman: Skvělý. Takže jednou z věcí, které jsem krátce slyšel během diskusí u kulatého stolu po Snapdragon Tech Summit, bylo vylepšení enginu pro zpracování obrazu. Slyšel jsem, že došlo k vylepšení nízkofrekvenčního redukce šumu nebo LEANR. A že aplikujete dynamickou mapu zpětného zisku; je to něco, co jste zmínil dříve v rozhovoru.
Judd Heape: Aha, ok. Takže si myslím, že mícháte dvě věci dohromady. Jo, tak tam je jádro LEANR, což je jádro, které pracuje na redukci šumu na hrubším zrnu, což pomáhá při slabém osvětlení. To je nový blok, který byl přidán do Snapdragonu 865 do ISP, a to je jedna věc.
Mapa zpětného zisku je něco jiného. To je něco jiného, co jsem zmínil u kulatých stolů, ale to je zvrátit efekty zastínění čočky. Takže jak víte, pokud máte sluchátko a má malou čočku; střed čočky bude světlý a okraje budou více vinětované; což znamená, že budou tmavší.
A tak jsme v minulých letech u ISP použili statickou mapu zpětného zisku, abychom se zbavili těchto tmavých okrajů. A tak to bylo v ISP už nějakou dobu. Co jsme však přidali do Snapdragonu 865, je schopnost této mapy zisku se dynamicky měnit s ohledem na konkrétní snímek, protože pokud použijete hodně zisků na okraje stane se to, že okraje se mohou oříznout, zvláště pokud se díváte na jasné světelné scény venku, například modrá obloha může zbělat nebo se okraje oříznou kvůli velkému množství získat.
Takže v Snapdragonu 865 není tato mapa zpětného zisku statická; je to dynamické. Takže se díváme na obrázek a říkáme: „Dobře, tyto části obrázku jsou ořezávány a neměly by být“, abychom mohli přejít přirozeně mimo mapu zisku, abyste nezískali jasné proužky nebo halo efekty nebo podobné věci z korekce objektivu stínování. To se tedy liší od redukce šumu a jsou to dvě různá jádra.
Fotografování při slabém osvětlení a agresivní redukce šumu
Idrees Patel: Takže jedna věc, na kterou jsem se chtěl zeptat, bylo fotografování při slabém osvětlení. Stejně jako v posledních několika letech zde bylo mnoho [implementovaných OEM] nočních režimů, ale jedné věci jsem si všiml, že mnoho výrobců zařízení volí agresivní redukci šumu, která redukuje detaily až do bodu, kdy je rovnoměrný jasový šum odstraněno.
Moje otázka tedy zní, že Qualcomm radí všem výrobcům zařízení, aby to nedělali, a je to něco, co dělají jejich zpracovatelské kanály, nebo je to něco ovlivněné ISP v SoC.
Judd Heape: Hodně to souvisí s laděním, a pokud nemáte multi-frame, nebo bych řekl, že není k dispozici velmi dobrý obrazový snímač, s vysokou citlivostí nebo optikou s nízkými f čísly. Jedním ze způsobů, jak se zbavit šumu zejména při slabém osvětlení, je použít větší redukci šumu, ale když použijete větší redukci šumu, ztratíte detaily, takže ostré hrany budou rozmazané. Nyní se toho můžete zbavit, pokud použijete tyto vícesnímkové techniky. Nebo když použijete techniky umělé inteligence, které dokážou zjistit, kde jsou okraje objektů a tváří a podobně. Takže v dnešní době použití pouhého snížení hluku hrubou silou není ve skutečnosti způsob, jak to zvládnout, protože nakonec ztratíte detaily.
Chcete udělat vícesnímkové techniky nebo techniky AI, abyste mohli stále aplikovat šum zmenšení na více podobné vnitřní oblasti objektů při zachování pěkných čistých hran nebo zachování ostrých hran objektů. Takže to je to, co bych řekl: použití AI nebo více snímků je způsob, jak provést redukci šumu a zlepšit snímky při slabém osvětlení.
Idrees Patel: Ano a přesně to jsem chtěl slyšet. [Je to] proto, že to je hlavní věc, která odděluje skvělé fotoaparáty smartphonů od fotoaparátů střední nebo rozpočtové úrovně.
Judd Heape: To jo.
Idrees Patel: Skvělé fotoaparáty smartphonů vědí, kdy použít redukci šumu a kdy ne.
Judd Heape: Přesně tak. Jo, a jak jsem řekl, ladění fotoaparátu opravdu dělají naši zákazníci nebo OEM a někteří OEM preferují měkčí obraz s menším šumem. Někteří dávají přednost odhalování více detailů s možná trochu větším šumem.
A tak je to kompromis, takže máte omezení. A je to, jak jsem řekl, nejlepší věc, kterou můžete udělat, je získat lepší obrazový snímač s vyšší citlivostí, větší pixely nebo optika s nižším clonovým číslem, protože pak dostanete více světla od začátku, to je vždy lepší. Ale pokud to nemůžete udělat, pak místo pouhého zvýšení redukce šumu a ztráty detailů chcete použít více snímků nebo techniky AI.
Analýza a kontext: To je podle mého názoru aktuálně největší problém fotoaparátů smartphonů. Ano, můžete použít 48MP nebo 64MP nebo dokonce 108MP snímač. Pokud se však nerozhodnete pro použití omezené redukce šumu pomocí technik MFNR nebo AI, všechny ty megapixely, seskupování 4 v 1 a dokonce i seskupování 9 v 1 nejsou moc užitečné. Galaxy S20 Ultra je zde ukázkovým příkladem jako primární fotoaparát s rozlišením 108 MP byl z velké části považován za zklamání. Samsung šel zpět ve zpracování obrazu pomocí extrémně agresivní redukce šumu ve svých nočních režimech ve svých vlajkových lodích pro rok 2020, zatímco řada 2019 Galaxy S10 měla ironicky lepší kvalitu obrazu.
Judd odhaluje, že někteří výrobci OEM ve skutečnosti preferují měkčí obraz s menším šumem, což je v zásadě špatná volba. Ladění provádějí výrobci zařízení, a proto dva telefony používající stejný senzor a napájené stejným SoC mohou vydávat velmi, velmi odlišné fotografie. Je třeba doufat, že se tito výrobci zařízení dozví pravdu od svých konkurentů s lepšími výsledky. Zatímco Samsung letos ztratil cestu ve zpracování obrazu, OnePlus byl v ostrém kontrastu. OnePlus 8 Pro je jedním z nejlepších fotoaparátů pro chytré telefony na trhu, což je pozoruhodný úspěch vzhledem k velmi špatnému výkonu fotoaparátu OnePlus 5T v roce 2017. Způsob zpracování obrazu se musí změnit, aby fotografie byly ostré, bez ohledu na to, jak moc zuří megapixelové války.
AV1 dekódování a kódování
Mishaal Rahman: Takže toto je trochu oddělené od ostatních diskusí, které vedeme o kvalitě fotoaparátu. Jedna z věcí, které někteří lidé z komunity open source mediálních kodeků zajímali, je, kdy bude Qualcomm podporovat AV1 dekódování a případně kódování. Vím, že je to trochu náročné, ale Google vyžaduje 4K HDR a 8K televizory na Androidu 10, aby podporovaly dekódování AV1 a Netflix, Youtube, zahajují zavádění videí kódovaných v AV1. Vypadá to tedy na pomalý nárůst videí kódovaných AV1. Jsme tedy zvědaví, kdy bude ve Spectru dostupná alespoň podpora dekódování.
prohlášení Qualcommu: Podle vašeho dotazu na AV1 - dnes nemáme co oznámit. Snapdragon je však v současné době schopen přehrávat AV1 prostřednictvím softwaru. Qualcomm vždy spolupracuje s partnery na kodecích nové generace prostřednictvím tvorby softwaru a hardwaru Snapdragon je lídr v oblasti kodeků HDR včetně snímání a přehrávání v HEIF, HLG, HDR10, HDR10+ a Dolby Vidění. Samozřejmě si uvědomujeme, že našim zákazníkům přinášíme ty nejlepší zkušenosti s kodeky, včetně podpory vysokého rozlišení a nejnižšího výkonu, že jejich implementace do HW je žádoucí.
Záznam videa - kompenzace pohybu
Mishaal Rahman: Takže nevím, jestli má Idrees nějaké další otázky, ale měl jsem jednu otázku ohledně něčeho, co jsem četl na Snapdragon Tech Summit. Jde o jádro videa kompenzovaného pohybem. Slyšel jsem, že došlo k vylepšení motoru kompenzace pohybu, aby se snížil šum při nahrávání videa. Zajímalo by mě, jestli můžete rozvést, co přesně bylo vylepšeno a co bylo uděláno.
Judd Heape: Engine EVA (Engine for Video Analytics) byl vylepšen o hustší jádro mapy pohybu, takže EVA motor, víte, například se neustále dívá na příchozí video a má v něm jádro, které dělá pohyb odhad. To, co jsme udělali, je, že jsme toto jádro udělali mnohem přesnější, kde to dělá téměř na úrovni pixelů, spíše než jakoby více úroveň hrubého bloku, takže z enginu EVA ve Snapdragonu 865 získáváme mnohem více pohybových vektorů než v předchozím případě. generace. A to znamená, že jádro videa, které provádí kódování, může tyto pohybové vektory využít k většímu počtu přesné o kódování, ale ISP na straně kamery také používá tyto informace pro šum redukce.
Jak tedy víte, po generace máme k dispozici pohybově kompenzované časové filtrování, což je ve skutečnosti aktivní redukce šumu během videa, která průměruje snímky v průběhu času, aby se zbavila šumu.
Problém s touto technikou však je, pokud máte ve scéně pohyb. Pohyb skončí tak, že ho redukce šumu odmítne, protože se s ním nedá zacházet nebo se rozmaže, a na pohybujících se věcech se objeví tyto ošklivé stopy a artefakty. Časové filtrování kompenzované pohybem, to, co jsme dělali v minulosti, protože jsme neměli tuto hustou mapu pohybu pro místní pohyb, máme - prostě řešíme pouze případy, kdy pohybujete kamerou, je to docela snadné, protože se všechno hýbe globálně.
Ale pokud něco natáčíte a máte objekt, který se pohybuje uvnitř scény, to, co jsme dělali předtím [bylo to] prostě jsme ty pixely ignorovali, protože jsme je nemohli zpracovat na šum, protože to byl lokálně se pohybující objekt. A proto, pokud jste zprůměrovali snímek po snímku, objekt byl každý snímek na jiném místě, takže jste jej nemohli skutečně zpracovat.
Ale na Snapdragonu 865, protože máme hustší pohybovou mapu a máme možnost dívat se na pohybové vektory téměř na pixel po pixelech jsme skutečně schopni zpracovat tyto lokálně přesunuté pixely snímek po snímku pro redukci šumu, zatímco dříve jsme to nedokázali. Myslím, že jsem v rozhovoru zmínil metriku. Nepamatuji si číslo (bylo to 40%) ale u většiny videí to bylo v průměru velké procento pixelů, které lze nyní zpracovat na šum, zatímco u předchozí generace tomu tak nebylo. A to je opravdu zčásti na schopnosti porozumět místnímu pohybu a ne pouze globálnímu.
Záznam videa - HDR
Idrees Patel: Další otázka, kterou mám, se týká HDR videa. V letošním roce vidím, že mnohem více výrobců zařízení nabízí nahrávání videa HDR10. Je to tedy něco, co bylo propagováno se Snapdragonem 865, nebo to existuje již několik generací.
Judd Heape: Ach jo, takže když jsme o tom mluvili na Tech Summit, měli jsme HDR10, což je video standard pro HDR na strana kódování fotoaparátu již několik generací, věřím, že od Snapdragonu 845 a neustále jsme vylepšovali že.
Minulý rok jsme tedy mluvili o HDR10+, což je 10bitový záznam HDR, ale místo statických metadat má dynamická metadata, takže metadata zachycená kamerou scéna se ve skutečnosti zaznamenává v reálném čase, takže když ji přehráváte, přehrávací engine porozumí, zda to byla tmavá místnost nebo světlá místnost, a může kompenzovat že.
Také jsme loni na Tech Summit hovořili o snímání Dolby Vision, což je alternativa Dolby k HDR10+. Je to velmi podobné, kde ve skutečnosti vytvářejí také dynamická metadata. Snapdragon tedy dnes může podporovat všechny tři tyto formáty: HDR10, HDR10+ a Dolby Vision capture. A tak opravdu neexistuje žádné omezení, naši výrobci OEM si mohou vybrat, kterou metodu preferují. Již nějakou dobu máme zákazníky, kteří používají HDR10, a loni a letos si stále více zákazníků vybírá HDR10+. A myslím, že v budoucnu se také dočkáte nějakého přijetí Dolby Vision Capture.
Takže ano, hodně jsme to propagovali. HDR je pro nás opravdu důležité, a to jak na straně snímku, tak na straně videa. A jak jsem řekl, zavázali jsme se k formátům HDR10 a HDR10+ a nyní Dolby Vision, které znáte od Snapdragonu 845 a nyní dokonce nedávno Snapdragonu 865 pro Dolby Vision.
Mishaal Rahman: Ve skutečnosti jsem si také nebyl jistý, zda nějací dodavatelé již implementovali nahrávání Dolby Vision, ale myslím, že to odpovídá na tuto otázku. [To je] něco, co uvidíme v budoucnu.
Judd Heape: Samozřejmě - nemohu komentovat, kteří prodejci mají zájem a podobně. To by byla otázka pro Dolbyho; je to jejich funkce, a pokud byste o tom chtěli více informací, doporučoval bych kontaktovat Dolby. Ale k dnešnímu dni, pokud vím, neexistuje žádný telefon, který by ještě vyšel s Dolby Vision Capture.
Idrees Patel: Protože potřebujete také podporu displeje. Všiml jsem si, že displeje smartphonů podporují HDR10 a HDR10+, ale ne Dolby Vision.
Judd Heape: Vlastně ano, ale přehrávání Dolby Vision bylo na Snapdragonu v minulosti podporováno. Může pracovat s daným displejem a displej nemusí nutně splňovat žádná specifická kritéria, aby byl kompatibilní s Dolby Vision, kromě Dolby vyrovná displej a zajistí, aby měl určitý barevný gamut, gama, určitou bitovou hloubku, určitý jas a určitý kontrast. poměr.
Takže, víte, můžete si koupit displej HDR10, ale můžete si také koupit sluchátko, které podporuje Dolby Vision přehrávání, ale Doby bude mít tento displej kvalifikovaný, aby se ujistil, že je v souladu s jejich přísnými požadavky požadavky.
Spolupráce s dodavateli softwaru: Imint, Morpho a Arcsoft
Mishaal Rahman: Myslím, že jen jedna otázka, na kterou bych měl navázat, abych provedl další průzkum, je jedna společnost, se kterou jsme nedávno mluvili, je Imitovat. Nedávno upgradovali své Stabilizační software Vidhance na pracovat se Spectra 480. Vím, že pracujete se spoustou společností, které také využívají výhody Spectra 480, zpracování. Zajímalo by mě, jestli jste schopni odhalit více příkladů těchto technologií, které máte – nebo partnerů, které máte pracovali, jen aby to bylo] něco, na co bychom mohli navázat, dozvědět se více o tom, jak se Spectra 480 používá v pole.
Judd Heape: Spolupracujeme s mnoha dodavateli softwaru. Stejně jako to, co jsme zmínili v minulosti, je Dolby jedním z nich. Existují další, jako jste zmínil, Imint/Vidhance pro EIS (Electronic Image Stabilization). Již jsme zmínili Morpho a Arcsoft, s nimiž také velmi úzce spolupracujeme.
Pokud jde o to, jak s nimi pracujeme, naše zásada je taková, že chceme opravdu úzce spolupracovat s těmito nezávislými dodavateli softwaru a vytvářet ujistili se, že cokoli dělají v softwaru, že jsou schopni využít hardware ve Snapdragonu k dosažení nejnižší spotřeby energie možný.
Takže jedna z věcí, kterou s těmito dodavateli děláme, je, že zajišťujeme, aby měli opravdu dobrý přístup k enginu HVX nebo jádru Hexagon DSP. Používají také motor EVA k získání vektorů pohybu a k použití hardwaru a v enginu EVA pro manipulaci s obrazem, takže mohou provádět pohyb obrazu, překlad a de-warning a podobné věci v hardwaru, místo aby k tomu používali GPU že.
A tak opravdu úzce spolupracujeme s těmito nezávislými dodavateli softwaru, zvláště s těmi, které jsem zmínil, abychom se ujistili, že nedávají všechno a software v CPU, ale používají věci jako DSP a hardwarové akcelerátory v EVA k dosažení lepšího výkonu a nižší spotřeby spotřeba. To je pro nás také opravdu důležité, protože to našim zákazníkům poskytuje nejlepší možnou kombinaci funkcí a spotřeby energie.
[Závěrečné komentáře od Judda]: Chtěl jsem jen říct, že vám děkuji za všechny opravdu dobré otázky. Jsou opravdu, opravdu detailní. V Qualcommu jsem už asi tři roky a dívám se na naši minulost, dokonce i po mém funkčním období zde, kde jsme předtím na Spectru začínali. Snapdragon 845, opravdu tvrdě jsme pracovali na dramatickém vylepšení ISP, fotoaparátu a prostě celkového zážitku za posledních několik let. Jsem opravdu nadšený i z toho, co přinese budoucnost. A jsem nadšený z toho, co oznámíme na budoucích Tech Summitech, na které se můžete ptát a psát. [Spectra Camera] je podle mého názoru pravděpodobně jednou z nejzajímavějších technologií společnosti Qualcomm.
Závěrečné myšlenky
Bylo skvělé diskutovat s Juddem o přínosu společnosti Qualcomm k fotografování chytrými telefony. Můžeme mít smíšené pocity ohledně společnosti a jejich patentového licenčního systému, ale značku Qualcommu na odvětví chytrých telefonů pociťuje každý, ať už mluvíte o patenty, 4G a 5G, Wi-Fi, GPU Adreno, poskytovatelé internetových služeb Spectra a samotné čipy Snapdragon, které jsou do značné míry považovány za zlatý standard ve smartphonu Android trh.
Stále existuje mnoho bolestivých bodů, které je třeba vyřešit při fotografování chytrými telefony, ale budoucnost je jasné, protože Qualcomm slibuje, že k dalšímu pokroku v rozsáhlých, rostoucích oblastech ML, které pohání AI. Pojďme se podívat, co má Qualcomm v této oblasti oznámit na příštím Snapdragon Tech Summit.