Judd Heape zo spoločnosti Qualcomm vysvetľuje, ako spoločnosť Qualcomm vylepšuje zážitok z fotoaparátu na telefónoch s Androidom pomocou nových funkcií u svojich poskytovateľov internetových služieb Spectra.
Ako výrobca systémov na čipoch (SoC), ktoré poháňajú väčšinu svetových smartfónov a nositeľných zariadení, je Qualcomm so sídlom v USA nepochybne jedným z gigantov v odvetví výroby čipov. Napríklad rad SoC Snapdragon používa takmer každý hlavný výrobca zariadení Android pre vlajkové lode, smartfóny strednej triedy a lacné. Qualcomm získava každý rok uznanie na výročnom Tech Summite spoločnosti za pokroky v oblasti CPU, GPU a AI, pretože zahŕňa nové mikroarchitektúry CPU od ARM. a dopĺňa ich každoročnými vylepšeniami vlastných GPU. Jeho pokroky v oblasti kamier však nie sú tak pozorované, pretože majú tendenciu ísť pod úroveň radar.
To však neznamená, že práca Qualcommu vo fotoaparátoch smartfónov nie je dôležitá. Naopak, poskytovatelia internetových služieb Spectra od Qualcommu vo svojich Snapdragon SoC pomáhajú vytvárať mnohé z moderných fotoaparátov smartfónov so zvýšeným výpočtový výkon, funkcie, ako je nahrávanie videa v rozlíšení 8K, video HDR10, podpora vysokomegapixelových kamier QCFA a mnoho, veľa viac. Qualcomm propagoval, že Spectra 380 ISP v Snapdragon 855
bol prvým CV-ISP na svetea propagovala prvé funkcie nahrávania videa v rozlíšení 4K HDR na svete, ktoré je teraz doplnené o nahrávanie videa 4K HDR10+ druhej generácie. Spectra 480 ISP v najnovšej generácii Snapdragon 865 je vysoko výkonný – dokáže spracovať dva gigapixely za sekundu, čo je o 40 % viac ako jeho predchodca. Ide o duševné vlastníctvo (IP), ktoré odlišuje Qualcomm od jeho konkurentov v oblasti predajcov mobilných čipov.Zatiaľ čo Qualcomm vysvetľuje väčšinu hlavných funkcií vo svojich tlačových správach a produktových kľúčových poznámkach, hore až doteraz nemali spotrebitelia možnosť poznať väčšinu malých detailov, ktoré tieto veci tvoria práca.
Preto sme v XDA Developers radi prijali ponuku na rozhovor s Juddom Heapeom, vrchným riaditeľom produktového manažmentu v Qualcomm. Šéfredaktor XDA, Mishaal Rahman, a ja sme mali rozhovor s Juddom v júni 2020, aby sme sa dozvedeli a videli, ako spoločnosť Qualcomm posúva hranice s fotografovaním a nahrávaním videa pomocou smartfónu. Hovorili sme o témach vrátane spracovania obrazu AI, redukcie šumu viacerých snímok (MFNR), AV1, nahrávania videa Dolby Vision, zlučovania pixelov vo fotoaparátoch s vysokým rozlíšením a oveľa viac. Pozrime sa postupne na Juddov pohľad na každú tému:
Úlohy spracovania obrazu AI
Mishaal Rahman: Začnem jednou z tých, ktoré mala Idrees, ktorá je zaujímavá a zaujala aj mňa. Zaujímalo by nás teda, aké sú pracovné záťaže spracovania obrazu AI, ktoré Qualcomm používa v Spectra ISP, a do akej miery sú prispôsobiteľné výrobcami zariadení?
Judd Heape: Áno, pozeráme sa na množstvo pracovných zaťažení AI a existuje niekoľko AI, ktoré môže bežať v samotnom ISP ako napríklad naša ďalšia generácia 3A: automatická expozícia, automatické vyváženie bielej a automatické zaostrovanie sú AI založené.
Pozeráme sa však aj na niekoľko ďalších úloh AI, ktoré by bežali mimo ISP, v jednom z ďalších výpočtových prvkov. Konkrétne sa teda pozrieme na veci ako: máme jadro na redukciu šumu založené na AI, ktoré beží externe od ISP, v časti čipu AI engine (AIE).
Máme tiež veci ako detekcia tváre, čo je úplný nástroj na hlboké učenie, ktorý tiež beží v komplexe AIE, ale samozrejme pomáha fotoaparátu. A sú tu aj iné veci, na ktorých pracujeme, okrem detekcie tváre a potlačenia šumu; uvažujeme aj o robení vecí, ako je automatická úprava snímok pomocou AI, ktorá by sa nastavila automaticky parametre na scénu na základe obsahu HDR by sme spracovali tak, aby sme upravili tiene a svetlá a farby a podobne vec.
Jeden z našich partnerov, Morpho, práve tento rok získal na Embedded Vision Summite obrovskú cenu za pracovné zaťaženie AI. Nezávislí partneri dodávateľov softvéru majú tiež veľa skutočne intenzívnych algoritmov založených na AI, ktoré môžu siahať od čohokoľvek, ako je hladká kamera. prechod, ako to, čo robí Arcsoft (spomenul som to na poslednom Snapdragon Tech Summite, ktorý je založený na AI), na sémantickú segmentáciu Morpho motora. Riešením spoločnosti Morpho je AI engine, ktorý rozumie rôznym častiam scény, ako napríklad to, čo viete, látka verzus koža verzus obloha a tráva a budova a podobné veci a potom môže ISP vziať tieto informácie a spracovať tieto pixely odlišne pre textúru, šum a farbu pre príklad.
Vyjadrenie Qualcommu: Pre ML a AI dnes tiež neoznamujeme žiadne nové aktualizácie funkcií detekcie tváre a „3A“ (AE, AF a AWB). Ako však povedal Judd, sme odhodlaní v budúcnosti priniesť do fotoaparátu viac možností ML/AI, vrátane týchto dvoch oblastí funkcií.
Analýza a kontext: Umelá inteligencia v smartfónoch sa do značnej miery považuje za módne slovo, odkedy sa do telefónov s Androidom začali objavovať prvé jednotky neurálneho spracovania (NPU) a funkcie založené na AI. To však neznamená, že samotná AI nemá zmysel. Naopak, umelá inteligencia má v mobiloch veľký potenciál, a to až do takej miery, že predajcovia čipov a rovnako aj výrobcovia zariadení len poškriabajú povrch toho, čo je možné.
Vďaka AI sa fotoaparáty smartfónov zlepšili – niekedy rýchlo, inokedy mučivo pomaly, ale dostávajú sa k tomu. Fotoaparáty smartfónov prekonávajú základné obmedzenia, akými sú relatívne menšie snímače, pevné ohniskové vzdialenosti a horšia optika s inteligentnou výpočtovou fotografiou, ktorá je poháňaná strojovým učením (ML). Automatická expozícia, redukcia šumu, detekcia tváre a segmentácia sú len niektoré z oblastí, v ktorých dokázala AI pri fotografovaní smartfónom zapôsobiť. V nasledujúcich piatich rokoch tieto rodiace sa oblasti AI zlepšujúce rôzne aspekty fotografie výrazne dospejú.
Viacsnímková redukcia šumu
Idrees Patel: Qualcomm spomínal redukciu šumu viacerých snímok ako funkciu. Chcel by som sa o tom dozvedieť viac podrobností, napríklad o tom, ako funguje skladanie obrázkov. Je to v niečom podobné tomu, čo Google robí s technológiou HDR+, alebo je to úplne iné?
Judd Heape: Je to podobné, ale iné. Predstavte si, že fotoaparát robí sériu a zachytí päť až sedem snímok v rýchlom slede. Potom sa ISP engine pozrie na tieto rámy a vyberie ten najlepší (nazývaný "kotvový rám"). zaostrenie a jasnosť a potom môže vybrať 3-4 snímky na oboch stranách tohto rámu a potom ich všetky spriemerovať spolu. Snaží sa vybrať rámy, ktoré sú dostatočne blízko pri sebe, takže je veľmi malý pohyb.
A keď sa usadí na týchto snímkach, potom ich spriemeruje, aby sa zistilo, čo sa líši, napríklad čo sú skutočné obrazové údaje a čo sú údaje o šume. Takže keď máte viac a viac informácií z viac a viac snímok, môžete v skutočnosti robiť jednoduché veci, ako je pozrieť sa na rozdiely medzi snímkami. Rozdiely sú pravdepodobne šum, zatiaľ čo to, čo je rovnaké v snímkach, sú pravdepodobne obrazové údaje.
Takže môžeme urobiť kombináciu snímok v reálnom čase, aby sme znížili šum. Teraz môžete to isté urobiť aj so slabým osvetlením a HDR a to je veľmi podobné tomu, čo pravdepodobne robí Google. Nie sme zasvätení do ich algoritmu. Používajú však viacsnímkové techniky na zvýšenie citlivosti, aby ste mohli lepšie „vidieť“; akonáhle ste znížili úroveň šumu, môžete sa teraz pozrieť na vykonanie viac lokálneho mapovania tónov alebo na pridanie zisku do obrazu bez pridania ďalšieho šumu.
Takže takto zvládajú slabé svetlo a tiež HDR. Qualcomm prinesie vylepšenia funkcie redukcie šumu viacerých snímok, ktorá bude zahŕňať aj slabé osvetlenie a HDR. Ale to je niečo, čo čoskoro predstavíme.
Mishaal Rahman: Takže ste sa zmienili o krátkom zavedení tejto funkcie. Prichádza to ako aktualizácia BSP pre partnerov?
Judd Heape: V našich produktoch novej generácie budeme mať prostredníctvom softvérového doplnku možnosť zapojiť sa – v skutočnosti sa to deje práve teraz na ďalšom generácie produktov – práve teraz komunikujeme so zákazníkmi, aby sme urobili viac viacsnímkových techník nad rámec redukcie šumu, ale tiež aby sme zvládli HDR a slabé osvetlenie situácie. Používa rovnaký základný ISP HW engine, ale pridávame viac softvéru na obsluhu týchto multi-framov pre viac než len redukciu šumu.
Nie je to teda niečo, čo sa zaviedlo, ale v súvislosti s týmito funkciami spolupracujeme s niektorými hlavnými hlavnými zákazníkmi.
Analýza a kontext: Pri každom novom oznámení Snapdragon SoC tabuľka špecifikácií Qualcommu obsahuje špecifikácie týkajúce sa redukcie šumu viacerých snímok. Napríklad Snapdragon 865 s duálnymi 14-bitovými CV-ISP podporuje až hypotetický 200MP jeden fotoaparát (aj keď dodávatelia snímačov fotoaparátov, ako sú Sony, Samsung a OmniVision, ešte neuviedli žiadny snímač fotoaparátu pre smartfóny s rozlíšením nad 108 MP). Pokiaľ však ide o podporu jednej kamery s MFNR, nulovým oneskorením uzávierky (ZSL) a podporou 30 snímok za sekundu, špecifikácia sa mení na 64MP a pre duálne fotoaparáty s rovnakými špecifikáciami sa špecifikácia mení na 25 MP.
Viacsnímková redukcia šumu od Qualcommu je veľmi podobná HDR+, ale nie úplne rovnaká, ako vysvetlil Judd vyššie. Zatiaľ čo HDR+ nasníma sériu podexponovaných expozícií a spriemeruje ich na získanie najlepšej fotografie, MFNR nasníma päť až sedem normálnych snímok. Nezdá sa, že by MFNR od Qualcommu bolo také pokročilé ako riešenie od Googlu, pretože HDR a slabé osvetlenie nie sú v súčasnosti uvedené ako špecifické priority. pracovný tok pre Spectra, zatiaľ čo HDR+ od Google sa zameriava na HDR, fotografovanie pri slabom osvetlení a zároveň redukciu šumu, pričom nočné videnie to ešte zvýrazňuje ďalej. Je však povzbudzujúce dozvedieť sa, že MFNR dostáva vylepšenia a Qualcomm tieto vylepšenia zavedie pre „niektorých kľúčových zákazníkov“. V budúcnosti možno nebudeme potrebovať neoficiálne porty Google Camera, aby sme dosiahli plný potenciál fotoaparátov smartfónov s Androidom, ktoré nepochádzajú od Google.
Super rozlíšenie pre video
Mishaal Rahman: Takže niečo, čo som počul na Tech Summite. Vlastne si myslím, že to tak bolo v rozhovore s Android Authority. Je to tak, že Qualcomm plánuje rozšírenie super rozlíšenia na video ako softvérové riešenie pre partnerov a že by sa to zrejme objavilo v aktualizácii. Zaujímalo by ma, či máte nejaké aktualizácie na zdieľanie tejto funkcie.
Judd Heape: Áno, to je funkcia, ktorú sme mali možnosť vykonávať už nejaký čas a práve sa sprístupňuje. Nepovedal by som, že je to v softvérovej aktualizácii, ale povedal by som, že je to niečo ako ďalšia výhoda existujúcej funkcie viacerých snímok pri slabom osvetlení. V súvislosti s touto funkciou komunikujeme s niektorými konkrétnymi hlavnými zákazníkmi. Takže áno, super rozlíšenie videa je niečo v inej generácii alebo tak to budeme mať také, aké máme zavolať funkciu plánu záznamu, kde je v skutočnosti zabudovaná do základne softvérového kódu pre [ fotoaparát. Momentálne je to však skôr na úrovni konkrétnych zákazníckych interakcií pre túto novú funkciu.
Analýza a kontext: Super rozlíšenie pre video je funkcia, ktorá sa doteraz vo fotoaparátoch smartfónov nezobrazovala. Je to taká nová oblasť stále sa o tom píšu výskumné práce. Používanie techník viacerých snímok pri fotografovaní je jedna vec, ale ich použitie pri videu na zvýšenie veľkosti videa na vyššie rozlíšenie je úplne iná záležitosť. Qualcomm hovorí, že túto funkciu opäť sprístupňuje „niektorým kľúčovým zákazníkom“, no práve teraz nie je zabudovaná do základne softvérového kódu fotoaparátu. V budúcnosti môže byť dostupná pre každého, no zatiaľ ide o funkciu, ktorú koncoví spotrebitelia ešte ani nemusia využívať.
Snímače Quad Bayer s vysokým rozlíšením
Idrees Patel: Poďme hovoriť o snímačoch Quad Bayer. Od roku 2019 má mnoho telefónov snímače 48 MP, 64 MP a teraz dokonca 108 MP. Ide o snímače Quad Bayer; v skutočnosti nemáte skutočné farebné rozlíšenie 48 alebo 64 alebo 108 MP. Jedna vec, ktorú som sa chcel opýtať, bolo, ako sa líši ISP z hľadiska spracovania obrazu pre tieto Quad Bayer alebo Nona Bayer Sensors (4-v-1 alebo 9-in-1 pixel binning), v porovnaní s tradičnými snímačmi, ktoré nemajú žiadny pixel binning.
Judd Heape: Áno, takže výhodou týchto snímačov quad CFA (Quad Color Filter Array) je schopnosť bežať pri jasnom svetle. v plnom rozlíšení a poskytovateľ internetových služieb ich potom môže spracovať s plným rozlíšením 108 megapixelov alebo 64 megapixelov alebo čímkoľvek iným k dispozícii.
Vo väčšine svetelných situácií, ako je interiér alebo tma, však musíte bin, pretože pixely snímača sú také malé, že musíte kombinovať pixely, aby ste dosiahli lepšiu citlivosť na svetlo. Takže by som povedal, že väčšinu času, najmä ak natáčate video alebo ak máte slabé svetlo na snímanie, používate režim binned.
Teraz môže ISP spracovať senzor oboma spôsobmi. Môžete sa pozrieť na snímač v režime binned, v takom prípade je to len bežný obraz Bayer, alebo sa naň môže pozerať v režime s plným rozlíšením, v ktorom sú prichádzajúce údaje štvorcové CFA. A ak je v tomto režime, ISP ho skonvertuje na Bayer.
Takže robíme - to, čo nazývame - "remosaicing". Toto robí nejakú interpoláciu quad CFA obrazu, aby to opäť vyzeralo ako Bayer v plnom rozlíšení. A to sa zvyčajne robí v softvéri pre snímku, aj keď túto schopnosť nakoniec pridáme do hardvéru na podporu videa.
To, čo je dnes v hardvéri ISP, je binning. Takže môžete bin v senzore a môžete vlastne nechať senzor rozhodnúť, či bude na výstupe plné alebo štvrtinové alebo 1/9 rozlíšenie, alebo môžete bin v ISP. A to je funkcia, ktorú sme v skutočnosti pridali do Snapdragon 865. Ak teda zadáte ISP a potom spustíte senzor v plnom rozlíšení, bude mať ISP možnosť mať súčasne obraz v plnom rozlíšení aj združený obraz. Preto môže použiť menšie rozlíšenie alebo „binned“ obrázok pre video (kamera) a náhľad (hľadáčik) a súčasne použiť obrázok v plnom rozlíšení na snímku v plnej veľkosti.
Ale opäť by to bolo v prípade jasných svetelných podmienok. Ale prinajmenšom, ak zadáte ISP, máte možnosť zvládnuť veľký aj malý obrázok v rovnakom čase, a preto môžete získať súčasne video a snímku, môžete tiež získať plné rozlíšenie ZSL; všetko bez toho, aby ste museli prepínať senzor tam a späť, čo zaberie značné množstvo času.
Toto je naozaj dobrá funkcia. A ako Quad CFA senzory a dokonca aj vy viete, 9x senzory a možno ešte viac vychádzajú, a ako sa tieto senzory stávajú čoraz všadeprítomné – stále viac a viac hľadáme, ako zvládnuť tieto senzory v hardvéri, a to nielen na binovanie, ale aj remosaicing.
A tak výhodou toho je, že ak to urobíte v hardvéri v porovnaní so softvérom, znížite to latencia pre vašich zákazníkov, a preto budú časy od záberu k záberu a frekvencia v sérii oveľa rýchlejšie. Takže ako budeme napredovať s novými ISP a novými čipmi, začnete vidieť oveľa viac toho, čo robíme pre tieto nové typy senzorov vložených do hardvéru.
Analýza a kontext: Huawei ako prvý použil 40MP Quad Bayer snímač Huawei P20 Pro v roku 2018 a popularita snímačov Quad Bayer bola taká vysoká, že sa teraz dostala aj do telefónov s hodnotou 150 dolárov poháňaných čipmi Snapdragon/Exynos/MediaTek. Predovšetkým sme videli, že priemysel smartfónov prichádza k 48MP a 64MP fotoaparátom ako sladký spot, zatiaľ čo niekoľko telefónov dosahuje až 108MP. Snímače Quad Bayer a Nona Bayer nie sú bez negatív, pretože ich plné rozlíšenie prichádza s výhradami.
Z marketingových dôvodov však 48MP snímač znie oveľa lepšie ako 12MP snímač, aj keď používateľ väčšinu času aj tak fotografuje 12MP pixelové fotografie. 48MP snímač by mal teoreticky viesť k lepším 12MP pixelovým združeným fotografiám pri slabom osvetlení ako tradičný 12MP snímač, no spracovanie obrazu musí držať krok a ako spomínam nižšie, k tomu je ešte dlhá cesta stať. Bez ohľadu na to bolo zaujímavé vidieť, ako si Spectra ISP poradí so snímačmi Quad Bayer s remosaicingom. V týchto senzoroch je veľký potenciál a telefóny ako OnePlus 8 Pro (ktorý využíva snímač Sony IMX689 Quad Bayer s veľkými pixelmi) sú momentálne na vrchole fotoaparátov smartfónov.
Rozpoznávanie tváre na báze ML
Mishaal Rahman: Takže si myslím, že ste už skôr spomenuli, že rozpoznávanie tváre založené na ML je podporované v Spectra 480. To je niečo, čo som skutočne počul na Tech Summite. [Toto je] jedno z vylepšení z 380 na 480; že je súčasťou – v motore na analýzu videa je nový blok detekcie objektívov, ktorý sa v budúcnosti používa na priestorové rozpoznávanie.
Môžete povedať viac o tom, do akej miery to zlepšuje rozpoznávanie tváre a aké potenciálne aplikácie ho podľa vás predajcovia používajú?
Judd Heape: Vlastne áno, takže máte pravdu v bloku zabudovaného počítačového videnia, čo je blok „EVA“, o ktorom sme hovorili na Tech Summite. To má v sebe všeobecné jadro na detekciu objektov, ktoré používame, keď je kamera spustená, používame ho na detekciu tvárí. Techniky v tomto bloku sú tradičnejšie techniky, takže rozpoznávanie objektov sa vykonáva tradičnými klasifikátory, ale okrem toho máme spustený softvérový nástroj, ktorý skutočne zlepšuje presnosť blokovať.
Na odfiltrovanie falošných poplachov teda používame softvér založený na ML, pretože hardvér môže na scéne rozpoznať viac vecí, ako sú tváre, a potom je softvér ML hovorí: „Dobre, to je tvár“ alebo „toto naozaj nie je tvár“, a tak zvyšuje presnosť o niekoľko percentuálnych bodov spustením filtra ML na vrchu hardvér.
Spomenul som veľa vecí o budúcnosti. V budúcnosti plánujeme spustiť aj samotnú detekciu celej tváre v ML alebo v režime hlbokého učenia v softvéri. Najmä to bude platiť na nižších úrovniach, takže napríklad na úrovni, kde nemáme hardvérový engine EVA, začneme postupne zavádzať hlboké učenie ako detekcia, ktorá beží v AI motore čipu a potom neskôr, v horných vrstvách v 700-800 vrstvách máme na to hardvér EVA...
Vo všeobecnosti však poviem, že sa budeme viac pohybovať smerom k ML prístupom k detekcii tváre, čo by zahŕňalo softvér v strednodobom horizonte a hardvér v neskoršom období. Nebudem prezrádzať, ktoré produkty to budú mať, ale samozrejme, keď budeme napredovať v zlepšovaní ISP, určite budeme pridávať viac a viac hardvérových možností na vykonávanie ML.
Mishaal Rahman: Úžasné. Myslím si, že je samozrejmé, že smer, ktorým sa uberáte, je znižovanie vylepšení strojového učenia série 800 na nižšiu úroveň, takže si myslím, že je to vo všeobecnosti dané. Ale k tomu nám, samozrejme, nemôžete poskytnúť žiadne podrobnosti. Ďakujem Vám za aktualizáciu.
Judd Heape: Detekcia tvárí je niečo, čo nás veľmi baví. Chceme zlepšiť tieto presnosti, poznáte generáciu za generáciou na všetkých úrovniach, od úrovne 800 až po úroveň 400. ML je toho veľkou súčasťou.
Analýza a kontext: Tieto aspekty dávajú fotografovaniu smartfónom oveľa väčší potenciál v porovnaní s najnovšími bezzrkadlovými fotoaparátmi. Áno, bezzrkadlové fotoaparáty majú lepšiu kvalitu obrazu pri slabom osvetlení a sú oveľa flexibilnejšie, ale fotoaparáty smartfónov prekonávajú svoje obmedzenia dômyselnými spôsobmi. Detekcia tváre založená na ML je len časťou toho.
Vylepšenia v motore na spracovanie obrazu
Mishaal Rahman: Úžasné. Takže jedna z vecí, ktoré som krátko počul počas diskusií za okrúhlym stolom po Snapdragon Tech Summit, bolo vylepšenie motora na spracovanie obrazu. Počul som, že došlo k zlepšeniu redukcie šumu pri nízkych stredných frekvenciách alebo LEANR. A že používate dynamickú mapu spätného zisku; je to niečo, čo ste spomenuli predtým v rozhovore.
Judd Heape: Oh, dobre. Takže si myslím, že miešaš dve veci dokopy. Áno, je tu jadro LEANR, čo je jadro, ktoré pracuje na redukcii šumu na hrubšom zrnu, čo pomáha pri slabom osvetlení. To je nový blok, ktorý bol pridaný v Snapdragon 865 do ISP, a to je jedna vec.
Mapa spätného zisku je niečo iné. To je niečo iné, čo som spomenul na okrúhlych stoloch, ale je to zvrátiť účinky tieňovania šošoviek. Takže ako viete, ak máte slúchadlo a má malú šošovku; stred šošovky bude svetlý a okraje budú viac vinetované; čo znamená, že budú tmavšie.
A tak v minulých rokoch v ISP sme použili statickú mapu spätného zisku, aby sme sa zbavili týchto tmavých okrajov. A tak to bolo v ISP už nejaký čas. Čo sme však pridali do Snapdragon 865, je schopnosť tejto mapy zisku sa dynamicky meniť vzhľadom na konkrétny rám obrazu, pretože ak použijete veľa ziskov na okraje stane sa to, že okraje sa môžu orezať, najmä ak sa pozeráte na jasné svetelné scény vonku, napríklad modrá obloha sa môže zmeniť na bielu alebo sa okraje ostrihajú kvôli veľkému zisk.
Takže v Snapdragon 865 táto mapa spätného zisku nie je statická; je to dynamické. Pozeráme sa teda na obrázok a hovoríme: „Dobre, tieto časti obrázka sa orezávajú a nemali by byť“, aby sme mohli prejsť mimo mapu zisku prirodzene, aby ste nezískali svetlé okraje alebo halo efekty alebo podobné veci z korekcie šošovky tienenie. To sa teda líši od redukcie šumu a sú to dve rôzne jadrá.
Fotografovanie pri slabom osvetlení a agresívna redukcia šumu
Idrees Patel: Takže jedna vec, na ktorú som sa chcel spýtať, bolo fotenie pri slabom osvetlení. Podobne ako v posledných rokoch bolo veľa [implementovaných OEM] nočných režimov, ale jednu vec, ktorú som si všimol, je mnohí výrobcovia zariadení siahajú po agresívnej redukcii šumu, ktorá redukuje detaily až do bodu, kedy je dokonca šum jasu odstránený.
Moja otázka teda znie, že spoločnosť Qualcomm radí všetkým výrobcom zariadení, aby to nerobili, a je to niečo, čo robia ich procesy spracovania, alebo je to niečo ovplyvnené ISP v SoC.
Judd Heape: Veľa z toho súvisí s ladením, a ak nemáte viacnásobné snímky, alebo by som povedal, že nie je k dispozícii veľmi dobrý obrazový snímač, s vysokou citlivosťou alebo optikou s nízkymi f číslami. Jedným zo spôsobov, ako sa zbaviť šumu najmä pri slabom osvetlení, je použiť viac redukcie šumu, ale čo sa stane, keď použijete väčšiu redukciu šumu, stratíte detaily, takže ostré hrany budú rozmazané. Teraz sa toho môžete zbaviť, ak použijete tieto viacsnímkové techniky. Alebo ak použijete techniky AI, ktoré dokážu zistiť, kde sú okraje objektov a tvárí a podobne. Takže použitie redukcie šumu hrubou silou v dnešnej dobe naozaj nie je spôsob, ako to zvládnuť, pretože nakoniec stratíte detaily.
Čo chcete urobiť, je robiť viacsnímkové techniky alebo techniky AI, aby ste mohli stále aplikovať šum zmenšenie na vnútorné plochy predmetov pri zachovaní pekných čistých hrán alebo zachovania ostrých hrán predmety. Takže to je to, čo by som povedal: použitie AI alebo viacerých snímok je spôsob, ako v budúcnosti znížiť šum a zlepšiť snímky pri slabom osvetlení.
Idrees Patel: Áno a presne to som chcel počuť. [Je to] pretože to je hlavná vec, ktorá oddeľuje skvelé fotoaparáty smartfónov od fotoaparátov strednej alebo rozpočtovej úrovne.
Judd Heape: Áno.
Idrees Patel: Skvelé fotoaparáty smartfónov vedia, kedy použiť redukciu šumu a kedy nie.
Judd Heape: Presne tak. Áno, a ako som povedal, ladenie fotoaparátu skutočne vykonávajú naši zákazníci alebo OEM a niektorí OEM preferujú jemnejší obraz s menším šumom. Niektorí radšej odhalia viac detailov s možno trochu väčším šumom.
A tak je to kompromis, takže máte obmedzenia. A ako som povedal, najlepšia vec, ktorú môžete urobiť, je získať lepší obrazový snímač s vyššou citlivosťou, väčšie pixely alebo optika s nižším clonovým číslom, pretože potom dostanete viac svetla od začiatku, to je vždy lepšie. Ale ak to nemôžete urobiť, potom namiesto toho, aby ste len zvýšili redukciu šumu a stratili detaily, chcete použiť techniky viacerých snímok alebo AI.
Analýza a kontext: To je podľa mňa momentálne najväčší problém fotoaparátov smartfónov. Áno, môžete použiť 48MP alebo 64MP alebo dokonca 108MP snímač. Ak sa však nerozhodnete pre použitie obmedzenej redukcie šumu pomocou techník MFNR alebo AI, všetky tie megapixely, 4-v-1 binning a dokonca 9-v-1 binning nie sú príliš užitočné. Galaxy S20 Ultra je tu hlavným príkladom ako jeho primárny fotoaparát s rozlíšením 108 MP bol do značnej miery považovaný za sklamanie. Spoločnosť Samsung sa vrátila v spracovaní obrazu pomocou extrémne agresívnej redukcie šumu vo svojich nočných režimoch vo svojich vlajkových lodiach na rok 2020, zatiaľ čo séria Galaxy S10 2019 mala ironicky lepšiu kvalitu obrazu.
Judd odhaľuje, že niektorí výrobcovia OEM v skutočnosti uprednostňujú jemnejší obraz s menším šumom, čo je v zásade nesprávna voľba. Ladenie vykonávajú výrobcovia zariadení, a preto dva telefóny používajúce rovnaký senzor a napájané rovnakým SoC môžu vytvárať veľmi, veľmi odlišné fotografie. Musíme dúfať, že títo výrobcovia zariadení sa dozvedia pravdu od svojich konkurentov s lepšími výsledkami. Zatiaľ čo Samsung tento rok stratil svoju cestu v spracovaní obrazu, OnePlus bol v ostrom kontraste. OnePlus 8 Pro je jedným z najlepších fotoaparátov pre smartfóny na trhu, čo je pozoruhodný úspech vzhľadom na veľmi slabý výkon fotoaparátu OnePlus 5T v roku 2017. Spôsob spracovania obrazu sa musí zmeniť, aby fotografie vyšli ostré, bez ohľadu na to, ako veľmi zúria megapixelové vojny.
AV1 dekódovanie a kódovanie
Mishaal Rahman: Takže toto je trochu oddelené od ostatných diskusií, ktoré vedieme o kvalite fotoaparátu. Jedna z vecí, ktoré niektorí ľudia v komunite open source mediálnych kodekov zaujímali, je, kedy bude Qualcomm podporovať AV1 dekódovanie a prípadne kódovanie. Viem, že je to trochu náročné, ale Google vyžaduje 4K HDR a 8K televízory v systéme Android 10, aby podporovali dekódovanie AV1 a Netflix, YouTube, spúšťajú zavádzanie videí kódovaných v AV1. Vyzerá to teda na pomalé zvyšovanie počtu videí kódovaných AV1. Sme teda zvedaví, kedy bude v Spectre dostupná aspoň podpora dekódovania.
Vyjadrenie Qualcommu: Podľa vašej otázky na AV1 – dnes nemáme čo oznámiť. Snapdragon však v súčasnosti dokáže prehrávať AV1 prostredníctvom softvéru. Qualcomm vždy spolupracuje s partnermi na kodekoch novej generácie prostredníctvom tvorby softvéru a hardvéru Snapdragon je lídrom v HDR kodekoch vrátane snímania a prehrávania v HEIF, HLG, HDR10, HDR10+ a Dolby Vízia. Samozrejme, uvedomujeme si, že našim zákazníkom prinášame tie najlepšie CODEC skúsenosti, vrátane podpory vysokého rozlíšenia a najnižšieho výkonu, že ich implementácia do HW je žiaduca.
Nahrávanie videa - kompenzácia pohybu
Mishaal Rahman: Takže neviem, či má Idrees nejaké ďalšie otázky, ale mal som jednu otázku o niečom, čo som si prečítal na Snapdragon Tech Summit. Ide o pohybovo kompenzované video jadro. Počul som, že došlo k zlepšeniu v motore kompenzácie pohybu na zníženie hluku pri nahrávaní videa. Zaujímalo by ma, či môžete vysvetliť, čo presne sa zlepšilo a čo sa urobilo.
Judd Heape: Motor EVA (Engine for Video Analytics) bol vylepšený o hustejšie jadro mapy pohybu, takže EVA motor, viete, napríklad sa vždy pozerá na prichádzajúce video a má tam jadro, ktoré robí pohyb odhad. To, čo sme urobili, je, že sme toto jadro urobili oveľa presnejším, kde to robí takmer na úrovni pixelov, a nie ako úroveň hrubého bloku, a tak z motora EVA v Snapdragon 865 získavame oveľa viac pohybových vektorov ako v predchádzajúcom generácie. A to znamená, že video jadro, ktoré robí kódovanie, môže použiť tieto pohybové vektory na viac presné o kódovaní, ale ISP na strane fotoaparátu používa tieto informácie aj na šum zníženie.
Ako teda viete, už po celé generácie máme pohybovo kompenzované dočasné filtrovanie, čo je v skutočnosti aktívna redukcia šumu počas videa, ktorá spriemeruje snímky v priebehu času, aby sa zbavila šumu.
Problém s touto technikou však je, ak máte na scéne pohyb. Pohyb skončí len tak, že ho odmietne redukcia hluku, pretože sa nedá zvládnuť alebo sa rozmazáva a na pohybujúcich sa veciach vznikajú tieto škaredé stopy a artefakty. Časové filtrovanie kompenzované pohybom, čo sme robili v minulosti, keďže sme nemali túto hustú mapu pohybu pre miestne pohyb, my máme - jednoducho riešime len prípady, keď hýbete kamerou, je to celkom jednoduché, pretože všetko sa hýbe globálne.
Ale ak niečo natáčate a v rámci scény sa vám pohybuje objekt, to, čo sme robili predtým [bolo to] len sme ignorovali tieto pixely, pretože sme ich nedokázali spracovať kvôli šumu, pretože sa pohybovali lokálne objekt. A preto, ak ste spriemerovali snímku po snímke, objekt bol každú snímku na inom mieste, takže ste ho nemohli skutočne spracovať.
Ale na Snapdragon 865, pretože máme hustejšiu pohybovú mapu a máme možnosť pozerať sa na pohybové vektory takmer na pixel po pixeloch sme v skutočnosti schopní spracovať tieto lokálne presunuté pixely snímku po snímke na redukciu šumu, zatiaľ čo predtým sme to nedokázali. Myslím, že som v diskusii spomenul metriku. Nepamätám si číslo (bolo to 40%) ale bolo to v priemere veľké percento pixelov pre väčšinu videí, ktoré sa teraz dajú spracovať na šum, zatiaľ čo v predchádzajúcej generácii to tak nebolo. A to je skutočne čiastočne k schopnosti porozumieť miestnemu pohybu a nielen globálnemu pohybu.
Záznam videa - HDR
Idrees Patel: Ďalšia otázka, ktorú mám, sa týka HDR videa. Tento rok vidím, že oveľa viac výrobcov zariadení ponúka nahrávanie videa HDR10. Je to teda niečo, čo bolo propagované so Snapdragonom 865, alebo je tam už niekoľko generácií.
Judd Heape: Ach áno, takže keď sme o tom hovorili na Tech Summite, mali sme HDR10, čo je video štandard pre HDR na Myslím si, že od Snapdragonu 845 už niekoľko generácií, od Snapdragonu 845, a neustále sme zlepšovali že.
Minulý rok sme teda hovorili o HDR10+, čo je 10-bitový záznam HDR, ale namiesto statických metadát má dynamické metadáta, takže metadáta, ktoré zachytil fotoaparát scéna sa v skutočnosti zaznamenáva v reálnom čase, takže keď ju prehráte, prehrávací mechanizmus rozpoznal, či išlo o tmavú alebo svetlú miestnosť, a dokáže kompenzovať že.
Minulý rok sme na Tech Summit hovorili o snímaní Dolby Vision, čo je alternatíva Dolby k HDR10+. Je to veľmi podobné, kde v skutočnosti vytvárajú aj dynamické metadáta. Takže Snapdragon dnes môže podporovať všetky tri tieto formáty: HDR10, HDR10+ a Dolby Vision capture. A tak v skutočnosti neexistujú žiadne obmedzenia, naši OEM si môžu vybrať ktorúkoľvek metódu, ktorú uprednostňujú. Už nejaký čas máme zákazníkov, ktorí používajú HDR10 a minulý rok a tento rok si stále viac zákazníkov používa HDR10+. A myslím si, že v budúcnosti sa dočkáte aj prijatia Dolby Vision Capture.
Takže áno, veľmi sme to propagovali. HDR je pre nás skutočne dôležité, a to ako na strane snímky, tak aj na strane videa. A ako som povedal, zaviazali sme sa k formátom HDR10 a HDR10+ a teraz Dolby Vision, ktoré poznáte od Snapdragon 845 a teraz dokonca nedávno Snapdragon 865 pre Dolby Vision.
Mishaal Rahman: V skutočnosti som si tiež nebol istý, či niektorí predajcovia už implementovali nahrávanie Dolby Vision, ale myslím, že to odpovedá na túto otázku. [To je] niečo, čo uvidíme v budúcnosti.
Judd Heape: Samozrejme - nemôžem komentovať, ktorí predajcovia majú záujem a podobne. To by bola otázka pre Dolby; je to ich funkcia, a tak ak o tom chcete viac informácií, odporúčam vám kontaktovať Dolby. Ale pokiaľ viem, k dnešnému dňu neexistuje žiadny telefón s Dolby Vision Capture.
Idrees Patel: Pretože potrebujete aj podporu displeja. Všimol som si, že displeje smartfónov podporujú HDR10 a HDR10+, ale nie Dolby Vision.
Judd Heape: Vlastne áno, ale prehrávanie Dolby Vision bolo podporované na Snapdragon v minulosti. Môže pracovať s daným displejom a displej nemusí nevyhnutne spĺňať žiadne špecifické kritériá, aby bol kompatibilný s Dolby Vision, okrem Dolby vyrovná displej a uistí sa, že má určitý farebný rozsah, gama, určitú bitovú hĺbku, určitý jas a určitý kontrast pomer.
Takže viete, môžete si kúpiť displej HDR10, ale môžete si kúpiť aj slúchadlo, ktoré podporuje Dolby Vision prehrávanie, ale Doby bude mať tento displej kvalifikovaný, aby sa uistil, že je v súlade s ich prísnymi požiadavkami požiadavky.
Spolupráca s dodávateľmi softvéru: Imint, Morpho a Arcsoft
Mishaal Rahman: Myslím, že len jedna otázka, na ktorú by som mal nadviazať, aby som si urobil ďalší prieskum, je jedna spoločnosť, s ktorou sme nedávno hovorili, Imitovať. Nedávno inovovali svoje Stabilizačný softvér Vidhance do pracovať so Spectra 480. Viem, že pracujete s mnohými spoločnosťami, ktoré tiež využívajú výhody Spectra 480, spracovania. Zaujímalo by ma, či dokážete zverejniť viac príkladov týchto technológií – alebo partnerov, ktorých máte s čím sme pracovali, len aby to bolo] niečo, na čo by sme mohli nadviazať, dozvedieť sa viac o tom, ako sa Spectra 480 používa v lúka.
Judd Heape: Spolupracujeme s mnohými dodávateľmi softvéru. Ako sme už spomínali v minulosti, Dolby je jedným z nich. Existujú aj iné, ako ste spomenuli, Imint/Vidhance pre EIS (Electronic Image Stabilization). Predtým sme spomenuli aj Morpho a Arcsoft, s ktorými tiež veľmi úzko spolupracujeme.
Pokiaľ ide o to, ako s nimi pracujeme, našou zásadou je, že naozaj chceme skutočne úzko spolupracovať s týmito nezávislými dodávateľmi softvéru a vytvoriť istotu, že čokoľvek robia v softvéri, dokážu využiť hardvér v Snapdragon na dosiahnutie najnižšej spotreby energie možné.
Takže jedna z vecí, ktoré robíme s týmito dodávateľmi, je, že zabezpečujeme, aby mali naozaj dobrý prístup k motoru HVX alebo k jadru Hexagon DSP. Používajú tiež motor EVA na získanie vektorov pohybu a na použitie hardvéru a v motore EVA na manipuláciu s obrázkami, aby môžu vykonávať pohyb obrazu, preklad a de-warning a podobné veci v hardvéri, namiesto toho, aby na to používali GPU že.
A tak skutočne úzko spolupracujeme s týmito nezávislými dodávateľmi softvéru, najmä s tými, ktorých som spomenul, aby sme sa uistili, že nedávajú všetko a softvér v CPU, ale používajú veci ako DSP a hardvérové akcelerátory v EVA na dosiahnutie lepšieho výkonu a nižšej spotreby spotreba. Takže to je naozaj dôležité aj pre nás, pretože to našim zákazníkom poskytuje najlepšiu možnú kombináciu funkcií a spotreby energie.
[Záverečné komentáre od Judda]: Chcel som len povedať, ďakujem vám za všetky naozaj dobré otázky. Sú naozaj, naozaj detailné. V Qualcomme som už asi tri roky a pozerám sa na našu minulosť, dokonca aj mimo môjho pôsobenia tu, kde sme predtým začínali na Spectre Snapdragon 845, naozaj tvrdo sme pracovali na dramatickom zlepšení ISP a fotoaparátu a len celkového zážitku za posledných niekoľko rokov. Som naozaj nadšený aj z toho, čo prinesie budúcnosť. A som nadšený z toho, čo oznámime na budúcich Tech Summitoch, o ktorých sa môžete pýtať a písať. [Spectra Camera] je podľa mňa pravdepodobne jednou z najzaujímavejších technológií v Qualcomme.
Záverečné myšlienky
Bolo skvelé diskutovať s Juddom o príspevkoch Qualcommu k fotografovaniu smartfónom. Môžeme mať zmiešané pocity zo spoločnosti a ich patentového licenčného systému, ale značku Qualcomm v odvetví smartfónov pociťuje každý, či už hovoríte o patenty, 4G a 5G, Wi-Fi, GPU Adreno, poskytovatelia internetových služieb Spectra a samotné čipy Snapdragon, ktoré sú do značnej miery považované za zlatý štandard v smartfónoch so systémom Android. trhu.
Stále existuje veľa bolestivých bodov, ktoré je potrebné vyriešiť pri fotografovaní smartfónom, ale budúcnosť je taká jasné, pretože Qualcomm sľubuje, že na dosiahnutie väčšieho pokroku v rozsiahlych, rastúcich oblastiach ML, ktoré poháňa AI. Pozrime sa, čo má Qualcomm v tejto oblasti oznámiť na ďalšom Snapdragon Tech Summit.