Qualcomm's Judd Heape legt uit hoe Qualcomm de camera-ervaringen op Android-telefoons verbetert met nieuwe functies in zijn Spectra ISP's.
Als maker van system-on-chips (SoC's) die veel van 's werelds smartphones en wearables aandrijven, is het in de VS gevestigde Qualcomm ongetwijfeld een van de giganten van de chipmakerindustrie. De Snapdragon-lijn van SoC's wordt bijvoorbeeld door bijna elke grote fabrikant van Android-apparaten gebruikt voor vlaggenschip-, middenklasse- en budget-smartphones. Qualcomm krijgt elk jaar lof op de jaarlijkse Tech Summit van het bedrijf voor de vooruitgang op het gebied van CPU, GPU en AI, omdat het de nieuwe CPU-microarchitecturen van ARM bevat en vult deze aan met jaarlijkse verbeteringen in de aangepaste GPU's. De vooruitgang op het gebied van camera’s wordt echter niet zo opgemerkt, omdat deze vaak onder de maat blijft radar.
Dit betekent echter niet dat het werk van Qualcomm op het gebied van smartphonecamera’s onbelangrijk is. Integendeel, de Spectra ISP’s van Qualcomm in zijn Snapdragon SoC’s helpen een groot deel van de moderne smartphonecamera’s mogelijk te maken met meer rekenkracht, functies zoals 8K-video-opname, HDR10-video, ondersteuning voor QCFA-camera's met hoge megapixels en nog veel, veel meer. Qualcomm heeft gepromoot dat de Spectra 380 ISP in de Snapdragon 855 zit
Terwijl Qualcomm de meeste belangrijke kenmerken in zijn persberichten en producttoespraken uitlegt, gaat het omhoog tot nu toe hebben consumenten niet de kans gehad om de meeste details op laag niveau te kennen die deze dingen maken werk.
Daarom accepteerden wij bij XDA Developers graag een aanbod om te spreken met Judd Heape, Senior Director Product Management bij Qualcomm. XDA's hoofdredacteur, Mishaal Rahman, en ik hadden in juni 2020 een interview met Judd om te leren en te zien hoe Qualcomm de doelpalen verlegt met smartphonefotografie en video-opnames. We spraken over onderwerpen als AI-beeldverwerking, multi-frame ruisonderdrukking (MFNR), AV1, Dolby Vision-video-opname, pixelbinning in camera's met hoge megapixels en nog veel meer. Laten we Judds inzichten over elk onderwerp één voor één bekijken:
AI-beeldverwerkingswerklasten
Mishaal Rahman: Ik zal beginnen met een van de exemplaren die Idrees had, een interessante, en waar ik ook in geïnteresseerd was. We vragen ons dus af wat de AI-beeldverwerkingsworkloads zijn die Qualcomm gebruikt in de Spectra ISP en in welke mate kunnen deze worden aangepast door apparaatfabrikanten?
Judd Hoop: Ja, dus we kijken naar veel AI-workloads en er zijn enkele AI die in de ISP zelf kunnen draaien zoals bijvoorbeeld onze volgende generatie 3A: automatische belichting, automatische witbalans en autofocus zijn AI gebaseerd.
Maar we kijken ook naar een paar andere AI-workloads, die buiten de ISP zouden draaien, in een van de andere computerelementen. We kijken dus in het bijzonder naar zaken als: we hebben een op AI gebaseerde ruisonderdrukkingskern die extern vanaf de ISP draait, in het AI-motorgedeelte (AIE) van de chip.
Ook hebben we zaken als gezichtsdetectie, een volledige deep learning-engine die ook in het AIE-complex draait, maar uiteraard de camera assisteert. En er zijn nog andere dingen waar we aan werken, behalve gezichtsdetectie en ruisonderdrukking; we kijken ook naar dingen als het automatisch aanpassen van snapshots met behulp van AI die automatisch wordt ingesteld parameters per scène op basis van HDR-inhoud, zouden we verwerken om schaduw, hooglichten en kleur en dat soort dingen aan te passen ding.
Een van onze partners, Morpho, heeft dit jaar zojuist een enorme AI-workload-prijs gewonnen op de Embedded Vision Summit. Onafhankelijke softwareleveranciers hebben ook veel echt intense, op AI gebaseerde algoritmen, en die kunnen variëren van alles zoals een soepele camera overgang, zoals wat Arcsoft doet (ik noemde dat op de laatste Snapdragon Tech Summit, die op AI is gebaseerd), naar de semantische segmentatie van Morpho motor. De oplossing van Morpho is een AI-engine die verschillende delen van de scène begrijpt, zoals wat weet je, stof versus huid versus lucht en gras en bouwen en dat soort dingen, en dan kan de ISP die informatie gebruiken en die pixels anders verwerken voor textuur, ruis en kleur voorbeeld.
Qualcomms verklaring: Voor ML & AI kondigen we vandaag ook geen nieuwe updates aan voor de functies gezichtsdetectie en “3A” (AE, AF en AWB). Zoals Judd echter zei, zijn we vastbesloten om in de toekomst meer ML/AI-mogelijkheden naar de camera te brengen, inclusief deze twee functiegebieden.
Analyse en context: AI in smartphones wordt grotendeels gezien als een modewoord sinds de eerste neurale verwerkingseenheden (NPU's) en "AI-gebaseerde" functies in Android-telefoons verschenen. Dat betekent echter niet dat AI zelf zinloos is. Integendeel, AI heeft veel potentieel op het gebied van mobiel, tot het punt waarop zowel chipleveranciers als apparaatfabrikanten nog maar het oppervlak betreden van wat mogelijk is.
Dankzij AI zijn smartphonecamera’s beter geworden – soms snel, soms tergend langzaam, maar ze komen er wel. Smartphonecamera's overwinnen fundamentele beperkingen, zoals relatief kleinere sensoren, vast brandpuntsafstanden en slechtere optica met slimme computationele fotografie die wordt aangedreven door machinaal leren (ML). Automatische belichting, ruisonderdrukking, gezichtsdetectie en segmentatie zijn slechts enkele van de gebieden waarop AI in smartphonefotografie impact heeft kunnen maken. In de komende vijf jaar zullen deze opkomende gebieden van AI die verschillende aspecten van fotografie verbeteren, veel volwassener worden.
Ruisonderdrukking bij meerdere frames
Idrees Patel: Qualcomm noemt multi-frame ruisonderdrukking als functie. Ik zou er graag meer details over willen weten, zoals hoe het stapelen van afbeeldingen werkt. Is het op een of andere manier vergelijkbaar met wat Google doet met hun HDR+-technologie of is het compleet anders?
Judd Hoop: Het is vergelijkbaar, maar anders. Stel je voor dat de camera een burst maakt en vijf tot zeven frames snel achter elkaar vastlegt. Vervolgens bekijkt de ISP-engine die frames en kiest de beste (het "ankerframe" genoemd). focus en helderheid en dan kan het 3-4 frames aan weerszijden van dat frame kiezen en ze vervolgens allemaal middelen samen. Het probeert frames te kiezen die dicht genoeg bij elkaar liggen, zodat er heel weinig beweging is.
En wanneer het zich op die frames vestigt, telt het ze vervolgens samen om te onderscheiden wat er anders is, bijvoorbeeld wat werkelijke beeldgegevens zijn versus wat ruisgegevens zijn. Dus als je steeds meer informatie hebt, uit steeds meer frames, kun je eigenlijk simpele dingen doen, zoals kijken naar de verschillen tussen de frames. De verschillen zijn waarschijnlijk ruis, terwijl wat in de frames gelijk is waarschijnlijk beeldgegevens zijn.
We kunnen dus die realtime frames combineren om ruis te verminderen. Nu kun je hetzelfde doen met weinig licht en HDR en dat lijkt veel op wat Google waarschijnlijk doet. We zijn niet op de hoogte van hun algoritme. Maar ze gebruiken multi-frametechnieken om de gevoeligheid te vergroten, zodat je beter kunt "zien"; zodra je de ruisvloer hebt verlaagd, kun je nu kijken naar meer lokale tonemapping of het toevoegen van versterking aan het beeld zonder meer ruis toe te voegen.
Dus zo gaan ze om met weinig licht, evenals met HDR. Verbeteringen aan de multi-frame ruisonderdrukkingsfunctie zullen afkomstig zijn van Qualcomm, die ook weinig licht en HDR zal omvatten. Maar dat is iets dat we binnenkort zullen uitrollen.
Mishaal Rahman: U zei dus dat deze functie binnenkort wordt geïntroduceerd. Komt dit binnen als een update van de BSP voor partners?
Judd Hoop: In onze producten van de volgende generatie zullen we, door middel van een softwaretoevoeging, de mogelijkheid hebben om mee te doen - feitelijk gebeurt dit nu op de volgende generatie producten - we werken momenteel samen met klanten om meer multi-frame technieken te gebruiken die verder gaan dan ruisonderdrukking, maar ook om HDR en weinig licht aan te kunnen situaties. Het gebruikt dezelfde basis ISP HW-engine, maar we voegen meer software toe om deze multi-frames te verwerken, voor meer dan alleen ruisonderdrukking.
Het is dus niet iets dat is uitgerold, maar we zijn met een aantal belangrijke hoofdklanten in gesprek over deze functies.
Analyse en context: Bij elke nieuwe Snapdragon SoC-aankondiging bevat de specificatietabel van Qualcomm specificaties met betrekking tot multi-frame ruisonderdrukking. De Snapdragon 865 bijvoorbeeld, met zijn dubbele 14-bit CV-ISP's ondersteunt tot een hypothetische enkele camera van 200 MP (ook al hebben leveranciers van camerasensoren zoals Sony, Samsung en OmniVision nog geen camerasensor voor smartphones boven de 108 MP uitgebracht). Als het echter gaat om ondersteuning voor één camera met MFNR, zero shutter lag (ZSL) en ondersteuning voor 30 fps, is de specificatie verandert naar 64MP, en voor dubbele camera's met dezelfde specificaties verandert de specificatie naar 25 MP.
De multi-frame ruisonderdrukking van Qualcomm lijkt sterk op HDR+, maar is niet helemaal hetzelfde, zoals uitgelegd door Judd hierboven. Terwijl HDR+ een reeks onderbelichte belichtingen maakt en deze gemiddeld maakt om de beste foto te krijgen, maakt MFNR vijf tot zeven normale frames. Het lijkt er niet op dat de MFNR van Qualcomm zo geavanceerd is als de oplossing van Google, omdat HDR en weinig licht in de huidige situatie niet als specifieke prioriteiten worden genoemd. workflow voor Spectra, terwijl Google's HDR+ zich tegelijkertijd richt op HDR, fotografie bij weinig licht en ruisonderdrukking, waarbij Night Sight nog een stapje verder gaat verder. Het is echter bemoedigend om te horen dat MFNR verbeteringen ontvangt en dat Qualcomm deze verbeteringen zal uitrollen naar "enkele belangrijke klanten". In de toekomst hebben we misschien geen onofficiële Google Camera-poorten meer nodig om het volledige potentieel van niet-Google Android-smartphonecamera's te benutten.
Superresolutie voor video
Mishaal Rahman: Dus iets dat ik hoorde op de Tech Summit. Eigenlijk denk ik dat dat zo was in een interview met Android-autoriteit. Is dat Qualcomm van plan is superresolutie uit te breiden naar video als softwareoplossing voor partners en dat dit blijkbaar in een update zou worden uitgerold? Ik vraag me af of je updates over deze functie hebt om te delen.
Judd Hoop: Ja, dus dat is een functie die we al een tijdje kunnen gebruiken, en die nu pas wordt uitgerold. Ik zou niet zeggen dat het in een software-update zit, maar ik zou zeggen dat het een soort extra voordeel is van de bestaande functionaliteit voor meerdere frames en weinig licht. We zijn met een aantal specifieke hoofdklanten in gesprek over deze functie. Dus ja, video-superresolutie is iets in een andere generatie of zo zullen we het hebben zoals we noem een plan of record-functie waarbij deze daadwerkelijk is ingebouwd in de softwarecodebasis voor [de] camera. Maar op dit moment gaat het meer om het niveau van specifieke klantbetrokkenheid voor die nieuwe functie.
Analyse en context: Superresolutie voor video is een functie die tot nu toe niet werd weergegeven in smartphonecamera's. Het is zo'n nieuw vakgebied Er worden nog steeds onderzoekspapers over geschreven. Het gebruik van multi-frame technieken voor fotografie is één ding, maar het gebruik ervan voor video om de video op te schalen naar een hogere resolutie is een heel andere zaak. Qualcomm zegt dat het de functie opnieuw uitrolt naar "enkele belangrijke klanten", maar op dit moment is het niet ingebouwd in de softwarecodebasis voor de camera. In de toekomst zal het misschien voor iedereen beschikbaar zijn, maar voorlopig is het een functie die eindgebruikers nog niet eens hoeven te gebruiken.
Quad Bayer-sensoren met hoge megapixels
Idrees Patel: Laten we het hebben over Quad Bayer-sensoren. Sinds 2019 hebben veel telefoons nu 48 MP, 64 MP en nu zelfs 108 MP sensoren. Dit zijn Quad Bayer-sensoren; je hebt eigenlijk geen echte kleurresolutie van 48, 64 of 108 MP. Eén ding dat ik wilde vragen was hoe de ISP verschilt op het gebied van beeldverwerking voor deze Quad Bayer of Nona Bayer-sensoren (4-in-1 of 9-in-1 pixelbinning), vergeleken met traditionele sensoren, die geen pixels hebben binning.
Judd Hoop: Ja, dus het voordeel van deze quad CFA-sensoren (Quad Color Filter Array) is natuurlijk dat ze bij fel licht kunnen werken ze met volledige resolutie, en dan kan de ISP ze verwerken met een volledige 108 megapixels of 64 megapixels of wat dan ook. beschikbaar.
Meestal moet je echter in de meeste lichtsituaties, zoals binnen of in het donker, weggooien omdat de sensorpixels zo klein zijn dat je pixels moet combineren om een betere lichtgevoeligheid te krijgen. Dus ik zou zeggen dat je het grootste deel van de tijd, vooral als je video-opnamen maakt of als je bij weinig licht bent voor snapshots, in de binned-modus werkt.
Nu kan de ISP de sensor op beide manieren verwerken. Je kunt naar de sensor kijken in de binned-modus, in welk geval het gewoon een normaal Bayer-beeld is dat binnenkomt, of je kunt ernaar kijken in de modus met volledige resolutie, waarbij de binnenkomende gegevens quad CFA zijn. En als het in die modus staat, converteert de ISP het naar Bayer.
Dus we doen – wat wij noemen – ‘remosaicing’. Dit doet enige interpolatie van het quad CFA-beeld om het weer op Bayer met volledige resolutie te laten lijken. En dat gebeurt doorgaans in software voor snapshot, hoewel we deze mogelijkheid uiteindelijk ook in de hardware gaan toevoegen om video te ondersteunen.
Wat zich tegenwoordig in de ISP-hardware bevindt, is binning. U kunt dus de sensor insluiten en u kunt de sensor daadwerkelijk laten beslissen of deze de volledige, kwart- of 1/9e resolutie gaat uitvoeren, of u kunt de ISP in de bin plaatsen. En dat is eigenlijk een functie die we in Snapdragon 865 hebben toegevoegd. Dus als u de ISP in een bin plaatst en vervolgens de sensor op volledige resolutie laat draaien, heeft de ISP de mogelijkheid om zowel het beeld met volledige resolutie als het weggegooide beeld tegelijkertijd te hebben. Daarom kan het de kleinere resolutie of het "weggegooide" beeld gebruiken voor video (camcorder) en voorbeeldweergave (zoeker) en tegelijkertijd het beeld met volledige resolutie gebruiken voor momentopnamen op volledige grootte.
Maar nogmaals, dat zou het geval zijn bij fel licht. Maar als je bij de ISP zit, heb je tenminste de mogelijkheid om zowel het grote als het kleine imago te verwerken Tegelijkertijd, en daarom kunt u gelijktijdig video en snapshot krijgen, kunt u ook volledige resolutie krijgen ZSL; En dat allemaal zonder dat u de sensor heen en weer hoeft te schakelen, wat een aanzienlijke hoeveelheid tijd kost.
Dit is echt een goede eigenschap. En zoals Quad CFA-sensoren, en zelfs u weet, komen de 9x-sensoren en misschien zelfs meer naar voren, en naarmate deze sensoren steeds beter worden alomtegenwoordig - we zoeken steeds meer naar manieren om met die sensoren in de hardware om te gaan, niet alleen voor binning, maar ook voor opnieuw mozaïken.
En het voordeel hiervan is dat als je het in de hardware doet in plaats van in de software, je de kosten verlaagt latentie voor uw klanten en daardoor zullen uw opname-tot-opname-tijden en uw burst-snelheden veel sneller zijn. Dus terwijl we vooruit marcheren met nieuwe ISP's en nieuwe chips, zul je veel meer zien van wat we doen voor deze nieuwe soorten sensoren die in hardware zijn gestopt.
Analyse en context: Huawei was de eerste die een 40MP Quad Bayer-sensor gebruikte met de Huawei P20 Pro in 2018, en de populariteit van Quad Bayer-sensoren was zo hoog dat het nu zijn weg heeft gevonden naar telefoons van $ 150, aangedreven door Snapdragon/Exynos/MediaTek-chips. We hebben met name gezien dat de smartphone-industrie 48 MP- en 64 MP-camera's als de goede plek heeft gezien, terwijl een paar telefoons wel 108 MP bereiken. Quad Bayer- en Nona Bayer-sensoren zijn niet zonder minpunten, aangezien hun volledige resolutie met kanttekeningen gepaard gaat.
Om marketingredenen klinkt een 48 MP-sensor echter een stuk beter dan een 12 MP-sensor, zelfs als de gebruiker toch meestal 12 MP pixel-binned-foto's maakt. Een 48 MP-sensor zou theoretisch moeten resulteren in betere 12 MP-pixelfoto's bij weinig licht dan een traditionele 12 MP sensor, maar de beeldverwerking moet gelijke tred houden, en zoals ik hieronder vermeld, is er nog een lange weg te gaan om dat te bereiken gebeuren. Hoe dan ook, het was interessant om te zien hoe de Spectra ISP omgaat met Quad Bayer-sensoren met remosaicing. Er zit veel potentieel in deze sensoren, en telefoons zoals de OnePlus 8 Pro (die een Sony IMX689 Quad Bayer-sensor met grote pixels gebruikt) bevinden zich momenteel op het toppunt van smartphonecamera's.
ML-gebaseerde gezichtsherkenning
Mishaal Rahman: Dus ik denk dat je eerder had gezegd dat op ML gebaseerde gezichtsherkenning wordt ondersteund in de Spectra 480. Dat is iets dat ik eigenlijk hoorde op de Tech Summit. [Dat dit] een van de verbeteringen is van de 380 naar de 480; dat het deel uitmaakt van de - er is een nieuw objectief detectieblok in de videoanalyse-engine dat in de toekomst wordt gebruikt voor ruimtelijke herkenning.
Kunt u meer vertellen over de mate waarin dit de gezichtsherkenning verbetert en welke potentiële toepassingen u ziet dat het door leveranciers wordt gebruikt?
Judd Hoop: Ja eigenlijk, dus je hebt gelijk wat betreft het ingebedde computer vision-blok, het "EVA"-blok, waar we het over hadden op de Tech Summit. Dat bevat een algemene objectdetectiekern die we gebruiken als de camera draait, we gebruiken die om gezichten te detecteren. De technieken in dat blok zijn meer traditionele technieken, dus de objectherkenning gebeurt met traditioneel classifiers, maar bovendien hebben we een software-engine draaien om de nauwkeurigheid daarvan daadwerkelijk te verbeteren blok.
We gebruiken dus op ML gebaseerde software om de valse positieven eruit te filteren, omdat de hardware mogelijk meer dingen als gezichten in de scène detecteert. Vervolgens wordt de ML-software zeggen: "Oké, dat is een gezicht", of "dat is echt geen gezicht" en dus verhoogt het de nauwkeurigheid met een paar procentpunten door dat ML-filter bovenop de hardware.
Ik heb veel over de toekomst gezegd. Wat we in de toekomst ook van plan zijn te doen, is de feitelijke volledige gezichtsdetectie zelf in ML of in deep learning-modus in software uit te voeren. Dat zal vooral het geval zijn op de lagere niveaus, dus in een niveau waar we bijvoorbeeld niet over de EVA-hardware-engine beschikken, zullen we deep learning geleidelijk gaan invoeren als detectie, die draait in de AI-engine van de chip en later, in de bovenste lagen van de 700-800-lagen, hebben we de EVA-hardware om dit te doen...
Ik wil echter in het algemeen zeggen dat we meer richting ML-benaderingen zullen evolueren om gezichtsdetectie uit te voeren en dat zou zowel software op de middellange termijn als hardware op de latere termijn omvatten. Ik ga niet bekendmaken welke producten dit zullen hebben, maar naarmate we vooruitgang boeken in het verbeteren van de ISP, zullen we zeker steeds meer hardwaremogelijkheden toevoegen om ML te doen.
Mishaal Rahman: Geweldig. Welnu, ik denk dat het een gegeven is dat de richting die je opgaat de machine learning-verbeteringen van de 800-serie naar een lager niveau brengt, dus ik denk dat dat over het algemeen een gegeven is. Maar daar kun je ons uiteraard geen details over geven. Bedankt voor de update.
Judd Hoop: Gezichtsdetectie is iets waar we erg gepassioneerd over zijn. We willen deze nauwkeurigheid verbeteren, generatie op generatie, in alle niveaus, van niveau 800 tot en met niveau 400. ML maakt daar een groot deel van uit.
Analyse en context: Deze aspecten geven smartphonefotografie zoveel meer potentieel dan zelfs de nieuwste spiegelloze camera's. Ja, de spiegelloze camera's hebben een betere beeldkwaliteit bij weinig licht en zijn veel flexibeler, maar smartphonecamera's overwinnen hun beperkingen op ingenieuze manieren. Op ML gebaseerde gezichtsdetectie is daar slechts een deel van.
Verbeteringen in de beeldverwerkingsengine
Mishaal Rahman: Geweldig. Een van de dingen die ik kort hoorde tijdens de rondetafelgesprekken na de Snapdragon Tech Summit was een verbetering van de beeldverwerkingsengine. Ik heb gehoord dat er een verbeterde ruisonderdrukking voor de lage middenfrequentie is, oftewel LEANR. En dat u een dynamische reverse gain-kaart toepast; Is het iets dat je eerder in het gesprek noemde?
Judd Hoop: Oh oké. Ik denk dus dat je twee dingen door elkaar haalt. Ja, dus er is de LEANR-kern, de kern die werkt aan ruisonderdrukking op grovere korrels, wat helpt bij weinig licht. Dat is een nieuw blok dat in Snapdragon 865 aan de ISP is toegevoegd, en dat is één ding.
De omgekeerde winstkaart is iets anders. Dat is iets anders dat ik tijdens de ronde tafels heb genoemd, maar dat is om de effecten van lensschaduw om te keren. Dus zoals je weet, als je een handset hebt en deze heeft een kleine lens; het midden van de lens wordt helder en de randen worden meer vignetteerd; wat betekent dat ze donkerder zullen zijn.
En wat we de afgelopen jaren bij de ISP hebben gehad, is dat we een statische omgekeerde versterkingskaart hebben toegepast om van die donkere randen af te komen. En dat staat dus al geruime tijd in de ISP. Wat we echter in Snapdragon 865 hebben toegevoegd, is de mogelijkheid om die versterkingskaart dynamisch te veranderen, gegeven het specifieke beeldframe, omdat als je veel winst op de randen toepast Wat er gebeurt, is dat de randen kunnen worden afgekapt, vooral als je buiten naar scènes met helder licht kijkt, zoals de blauwe lucht wit kan worden of de randen kunnen afsnijden als gevolg van veel licht. verdienen.
Dus in de Snapdragon 865 is die omgekeerde versterkingskaart niet statisch; het is dynamisch. Dus we kijken naar de afbeelding en zeggen: "Oké, deze delen van de afbeelding worden afgesneden en dat zou niet zo moeten zijn", zodat we kunnen rollen op natuurlijke wijze van de versterkingskaart af, zodat u geen heldere randen of halo-effecten of dit soort dingen krijgt als u de lens corrigeert schaduw. Dat is dus iets anders dan ruisonderdrukking, en het zijn twee verschillende kernen.
Fotografie bij weinig licht en agressieve ruisonderdrukking
Idrees Patel: Eén ding dat ik wilde vragen was fotografie bij weinig licht. Net als de afgelopen jaren zijn er veel [OEM-geïmplementeerde] nachtmodi geweest, maar een ding dat mij is opgevallen is dat veel apparaatfabrikanten kiezen voor agressieve ruisonderdrukking, waardoor details worden verminderd, tot het punt waarop zelfs luminantieruis optreedt VERWIJDERD.
Dus mijn vraag is of Qualcomm apparaatfabrikanten adviseert om dat niet te doen en is het iets dat hun verwerkingspijplijnen doen, of wordt het iets beïnvloed door de ISP in de SoC.
Judd Hoop: Veel daarvan heeft te maken met afstemming, en als je geen multiframe hebt, zou ik zeggen, is er geen hele goede beeldsensor beschikbaar, met een hoge gevoeligheid of optica met lage f-getallen. Een manier om vooral bij weinig licht van ruis af te komen is door meer ruisonderdrukking toe te passen, maar wat er gebeurt als je meer ruisonderdrukking toepast, is dat je details verliest, waardoor scherpe randen wazig worden. Nu kun je daar vanaf komen als je deze multiframetechnieken toepast. Of als je AI-technieken toepast, die kunnen achterhalen waar randen van objecten en gezichten zijn, en dat soort dingen. Dus het toepassen van alleen maar brute force-ruisonderdrukking is tegenwoordig niet echt de manier om ermee om te gaan, omdat je uiteindelijk details verliest.
Wat je wilt doen is multi-frame technieken of AI-technieken toepassen, zodat je nog steeds ruis kunt toepassen reductie tot meer soortgelijke binnengebieden van objecten, terwijl mooie, schone randen behouden blijven of scherpe randen behouden blijven voorwerpen. Dus dat is wat ik zou zeggen: het gebruik van AI of multi-frame is de manier om de ruisonderdrukking uit te voeren en de beelden bij weinig licht in de toekomst te verbeteren.
Idrees Patel: Ja, en dat is precies wat ik wilde horen. [Het is] omdat dat het belangrijkste is dat geweldige smartphonecamera’s onderscheidt van midden- of budgetcamera’s.
Judd Hoop: Ja.
Idrees Patel: Geweldige smartphonecamera's weten wanneer ze ruisonderdrukking moeten toepassen en wanneer niet.
Judd Hoop: Precies. Ja, en zoals ik al zei, het afstemmen van de camera wordt echt gedaan door onze klanten of OEM's, en sommige OEM's geven de voorkeur aan een zachter beeld met minder ruis. Sommigen geven er de voorkeur aan om meer details te onthullen met misschien een beetje meer ruis.
En dus is het een afweging en dus heb je beperkingen. En het is zoals ik al zei: het beste wat je kunt doen is een betere beeldsensor met een hogere gevoeligheid krijgen, grotere pixels of optica met een lager f-getal, want dan krijg je vanaf het begin meer licht, dit is altijd het geval beter. Maar als je dat niet kunt, dan wil je, in plaats van alleen maar de ruisonderdrukking op te voeren en details te verliezen, multi-frame- of AI-technieken gebruiken.
Analyse en context: Dit is naar mijn mening momenteel het grootste probleem met smartphonecamera's. Ja, je kunt een 48 MP-, 64 MP- of zelfs een 108 MP-sensor gebruiken. Als je er echter niet voor kiest om ingetogen ruisonderdrukking met MFNR- of AI-technieken te gebruiken, hebben al die megapixels, 4-in-1 binning en zelfs 9-in-1 binning niet veel nut. De Galaxy S20 Ultra is hier het beste voorbeeld van, met zijn 108 MP primaire camera werd grotendeels als een teleurstelling beschouwd. Samsung ging achteruit op het gebied van beeldverwerking door extreem agressieve ruisonderdrukking te gebruiken in de nachtmodi in zijn vlaggenschepen uit 2020, terwijl de Galaxy S10-serie uit 2019 ironisch genoeg een betere beeldkwaliteit had.
Judd onthult dat sommige OEM's eigenlijk de voorkeur geven aan een zachter beeld met minder ruis, wat fundamenteel de verkeerde keuze is. Het afstemmen wordt gedaan door apparaatfabrikanten en daarom kunnen twee telefoons die dezelfde sensor gebruiken en worden aangedreven door dezelfde SoC, heel, heel verschillende foto's produceren. Het valt te hopen dat deze apparaatfabrikanten de waarheid leren van hun beter presterende concurrenten. Terwijl Samsung dit jaar de weg kwijtraakte op het gebied van beeldverwerking, vormde OnePlus een schril contrast. De OnePlus 8 Pro is een van de beste smartphonecamera's op de markt, wat een opmerkelijke prestatie is gezien de zeer slechte output van de camera van de OnePlus 5T in 2017. De beeldverwerkingsmentaliteit moet veranderen om ervoor te zorgen dat foto's er scherp uitzien, hoezeer de megapixeloorlogen ook voortduren.
AV1-decodering en -codering
Mishaal Rahman: Dit staat dus een beetje los van de andere discussies die we hebben over camerakwaliteit. Een van de dingen die sommige mensen in de open source mediacodecgemeenschap zich afvragen is wanneer Qualcomm ondersteuning zal bieden AV1-decodering en eventueel codering. Ik weet dat dit een beetje ingewikkeld is, maar Google heeft 4K HDR- en 8K-tv's op Android 10 nodig om AV1-decodering en Netflix te ondersteunen, YouTube, beginnen ze met de uitrol van video's die zijn gecodeerd in AV1. Het lijkt dus op een langzame toename van AV1-gecodeerde video's. We vragen ons dus af wanneer de decoderingsondersteuning in ieder geval beschikbaar zal zijn in Spectra.
Qualcomms verklaring: Volgens uw vraag over AV1 hebben we vandaag niets aan te kondigen. Snapdragon kan momenteel echter AV1 afspelen via software. Qualcomm werkt altijd samen met partners aan codecs van de volgende generatie via het maken van software en hardware Leeuwebek de leider in HDR-codecs, inclusief vastleggen en afspelen in HEIF, HLG, HDR10, HDR10+ en Dolby Visie. Natuurlijk realiseren we ons dat om onze klanten de beste CODEC-ervaringen te bieden, inclusief ondersteuning van hoge resolutie en het laagste vermogen, de implementatie hiervan in HW gewenst is.
Video-opname - bewegingscompensatie
Mishaal Rahman: Dus ik weet niet of Idrees nog vragen heeft, maar ik had wel één vraag over iets dat ik teruglas op de Snapdragon Tech Summit. Het gaat om de bewegingsgecompenseerde videokern. Ik heb gehoord dat er verbeteringen zijn in de bewegingscompensatie-engine, om de ruis tijdens video-opnamen te verminderen. Ik vroeg me af of je kunt uitleggen wat er precies is verbeterd en wat er is gedaan.
Judd Hoop: De EVA-engine (Engine for Video Analytics) is verbeterd met een dichtere motion map-kern, zodat de EVA De engine, weet je, kijkt bijvoorbeeld altijd naar de binnenkomende video en er zit een kern in die beweging doet schatting. Wat we hebben gedaan, is dat we die kern een stuk nauwkeuriger hebben gemaakt, waar hij dit bijna op pixelniveau doet, in plaats van op een soort meer grof blokniveau en dus halen we veel meer bewegingsvectoren uit de EVA-engine in Snapdragon 865 dan in de vorige generaties. En wat dat betekent is dat de videokern die de codering uitvoert, deze bewegingsvectoren kan gebruiken om meer te zijn accuraat over de codering, maar de ISP aan de camerakant gebruikt die informatie ook voor ruis afname.
Zoals je weet, hebben we al generaties lang bewegingsgecompenseerde tijdelijke filtering, wat eigenlijk de actieve ruisonderdrukking tijdens video is, waarbij frames in de loop van de tijd worden gemiddeld om ruis te verwijderen.
Het probleem met deze techniek is echter dat er beweging in de scène is. Beweging wordt uiteindelijk afgewezen voor ruisonderdrukking omdat het niet kan worden afgehandeld of omdat het besmeurd raakt, en je krijgt van die lelijke sporen en artefacten op bewegende dingen. Dus, bij bewegingsgecompenseerde temporele filtering, wat we in het verleden hebben gedaan omdat we deze dichte bewegingskaart niet hadden voor lokale beweging hebben we gedaan - we hebben eenvoudigweg alleen zaken behandeld als je de camera beweegt, het is vrij eenvoudig omdat alles beweegt wereldwijd.
Maar als je iets fotografeert en je hebt een object dat BINNEN de scène beweegt, wat we eerder deden [was dat] we negeerden die pixels gewoon omdat we ze niet konden verwerken op ruis, omdat het lokaal beweegt voorwerp. En daarom, als je frame voor frame het gemiddelde nam, bevond het object zich elk frame op een andere plaats, zodat je het niet echt kon verwerken.
Maar op Snapdragon 865, omdat we de dichtere bewegingskaart hebben en de mogelijkheid hebben om naar de bewegingsvectoren op bijna een pixel te kijken op pixelbasis zijn we feitelijk in staat om die lokaal verplaatste pixels frame voor frame te verwerken voor ruisonderdrukking, terwijl we dat voorheen niet konden. Ik denk dat ik een maatstaf heb genoemd in de toespraak. Ik kan me het nummer niet herinneren (het was 40%) maar voor de meeste video's was het gemiddeld een groot percentage pixels dat nu op ruis kan worden verwerkt, terwijl dat bij de vorige generatie niet mogelijk was. En dat heeft eigenlijk gedeeltelijk te maken met het vermogen om lokale bewegingen te begrijpen, en niet alleen mondiale bewegingen.
Video-opname - HDR
Idrees Patel: Een andere vraag die ik heb gaat over HDR-video. Dit jaar zie ik dat veel meer apparaatfabrikanten HDR10-video-opnames aanbieden. Is het dus iets dat werd gepromoot met de Snapdragon 865, of is het er al een paar generaties.
Judd Hoop: Oh ja, dus zoals we erover spraken op de Tech Summit, hadden we HDR10, de videostandaard voor HDR op de camera codeert nu al een paar generaties, sinds Snapdragon 845, geloof ik, en we zijn voortdurend verbeterd Dat.
Vorig jaar hadden we het over HDR10+, wat 10-bits HDR-opname is, maar in plaats van met statische metadata heeft het dynamische metadata, dus de metadata die door de camera wordt vastgelegd tijdens de scène wordt feitelijk in realtime opgenomen, zodat de afspeelengine bij het afspelen begrijpt of het een donkere of een lichte kamer was, en dit kan compenseren Dat.
Vorig jaar spraken we op Tech Summit ook over Dolby Vision-opname, Dolby’s alternatief voor HDR10+. Het lijkt erg op waar ze ook daadwerkelijk de dynamische metadata produceren. Dus Snapdragon kan tegenwoordig alle drie deze formaten ondersteunen: HDR10, HDR10+ en Dolby Vision-opname. En dus zijn er eigenlijk geen beperkingen: onze OEM's kunnen kiezen welke methode zij verkiezen. We hebben al een tijdje klanten die HDR10 gebruiken, en vorig jaar en dit jaar hebben steeds meer klanten HDR10+ opgepakt. En ik denk dat je in de toekomst ook enige adoptie van Dolby Vision Capture zult zien.
Dus ja, we hebben daar veel reclame voor gemaakt. HDR is erg belangrijk voor ons, zowel aan de snapshotkant als aan de videokant. En zoals ik al zei, we zijn toegewijd aan de HDR10- en HDR10+- en nu Dolby Vision-formaten, weet je sinds Snapdragon 845 en nu zelfs recentelijk Snapdragon 865 voor Dolby Vision.
Mishaal Rahman: Bovendien wist ik eigenlijk niet zeker of leveranciers al Dolby Vision-opnamen hadden geïmplementeerd, maar ik denk dat dit die vraag beantwoordt. [Dat is] iets dat we in de toekomst zullen zien.
Judd Hoop: Natuurlijk - ik kan geen commentaar geven op welke leveranciers geïnteresseerd zijn en dergelijke. Dat zou een vraag zijn voor Dolby; het is hun functie en dus als je daar meer informatie over wilt, raad ik je aan contact op te nemen met Dolby. Maar tot op heden is er, voor zover ik weet, nog geen handset uitgebracht met Dolby Vision Capture.
Idrees Patel: Omdat u ook weergaveondersteuning nodig heeft. Ik heb gemerkt dat smartphoneschermen HDR10 en HDR10+ ondersteunen, maar Dolby Vision niet.
Judd Hoop: Ja eigenlijk, maar Dolby Vision-weergave werd in het verleden ondersteund op Snapdragon. Het kan werken met een bepaald beeldscherm en het beeldscherm hoeft niet noodzakelijkerwijs aan specifieke criteria te voldoen om Dolby Vision-compatibel te zijn, behalve dat Dolby beoordeelt het beeldscherm en zorgt ervoor dat het een bepaald kleurengamma, gamma, een bepaalde bitdiepte, een bepaalde helderheid en een bepaald contrast heeft verhouding.
Je kunt dus een HDR10-scherm kopen, maar je kunt ook een handset kopen die Dolby Vision ondersteunt afspelen, maar Doby zal die weergave hebben gekwalificeerd om er zeker van te zijn dat deze voldoet aan hun strenge regels vereisten.
Samenwerking met softwareleveranciers: Imint, Morpho en Arcsoft
Mishaal Rahman: Ik denk dat er maar één vraag is die ik moet beantwoorden, waar ik meer onderzoek mee kan doen, is een bedrijf waarmee we onlangs hebben gesproken: Imint. Ze hebben onlangs hun upgrade uitgevoerd Vidhance-stabilisatiesoftware naar werken met de Spectra 480. Ik weet dat jullie met veel bedrijven samenwerken die ook profiteren van de Spectra 480, de verwerking. Ik vraag me af of u meer voorbeelden kunt geven van deze technologieën die dat hebben gedaan, of van de partners die u heeft waarmee we hebben gewerkt, zodat het] iets is waar we vervolg aan kunnen geven, leer meer over hoe Spectra 480 wordt gebruikt in de veld.
Judd Hoop: We werken met veel softwareleveranciers. Zoals we in het verleden noemden, is Dolby er een van. Er zijn er nog meer zoals je noemde, Imint/Vidhance voor EIS (elektronische beeldstabilisatie). We hebben Morpho en Arcsoft ook al eerder genoemd, we werken ook nauw met hen samen.
Wat betreft de manier waarop we met hen samenwerken, is ons beleid echter dat we heel nauw met deze onafhankelijke softwareleveranciers willen samenwerken en ervoor willen zorgen dat zeker dat wat ze ook doen in de software, ze de hardware in Snapdragon kunnen gebruiken om het laagste energieverbruik te bereiken mogelijk.
Een van de dingen die we met deze leveranciers doen, is ervoor zorgen dat ze echt goede toegang hebben tot de HVX-engine, of de Hexagon DSP-kern. Ze gebruiken ook de EVA-engine om bewegingsvectoren te verkrijgen en om de hardware en de EVA-engine te gebruiken voor beeldmanipulatie, zodat ze kunnen beeldbewegingen, vertalingen en ontwarpingen en dat soort dingen in hardware uitvoeren in plaats van de GPU te gebruiken Dat.
En dus werken we heel nauw samen met deze ISV's, vooral degene die ik in het bijzonder noemde, om ervoor te zorgen dat ze niet zomaar alles op de helling zetten. en software in de CPU, maar ze gebruiken zaken als de DSP en hardwareversnellers in de EVA om betere prestaties en minder stroom te krijgen consumptie. Dat is dus ook heel belangrijk voor ons, omdat het onze klanten de best mogelijke mix van functies en energieverbruik biedt.
[Slotopmerkingen van Judd]: Ik wilde alleen maar zeggen: bedankt voor alle goede vragen. Ze zijn echt heel gedetailleerd. Ik werk nu ongeveer drie jaar bij Qualcomm en kijk naar ons verleden, zelfs na mijn ambtstermijn hier waar we eerder met Spectra begonnen Snapdragon 845, we hebben de afgelopen paar jaar heel hard gewerkt om de ISP, de camera en alleen de algehele ervaring dramatisch te verbeteren jaar. Ik ben erg enthousiast over wat de toekomst brengt. En ik ben enthousiast over wat we zullen aankondigen op toekomstige Tech Summits waar jullie vragen over kunnen stellen en over kunnen schrijven. [Spectra Camera] is naar mijn mening waarschijnlijk een van de meest opwindende technologieën bij Qualcomm.
Laatste gedachten
Het was geweldig om met Judd een gesprek te hebben over de bijdragen van Qualcomm aan smartphonefotografie. We kunnen gemengde gevoelens hebben over het bedrijf en hun patentlicentiesysteem, maar de stempel van Qualcomm op de smartphone-industrie wordt door iedereen gevoeld, of je het nu hebt over patenten, 4G en 5G, Wi-Fi, de Adreno GPU’s, de Spectra ISP’s en de Snapdragon-chips zelf, die grotendeels worden beschouwd als de gouden standaard in de Android-smartphone markt.
Er zijn nog veel pijnpunten die opgelost moeten worden in smartphonefotografie, maar de toekomst is dat wel Hoe helder Qualcomm ook belooft om meer vooruitgang te boeken op de uitgestrekte, groeiende gebieden van ML, die macht biedt AI. Laten we eens kijken wat Qualcomm op dit gebied te melden heeft tijdens de volgende Snapdragon Tech Summit.