Qualcomm Spectra 380 tager et stort spring fremad inden for computerfotografering og kamera-AI. Læs alt om de massive forbedringer, der kommer i år!
I går på Hawaii på Snapdragon Technology Summit, den længe ventede Qualcomm Snapdragon 855 blev lanceret. Mens den nye chip bringer forskellige væsentlige ændringer (fra markant mere nøjagtig GPS til den første nye 2,4 GHz WiFi-version i en årti, til 5G-mobilforbindelse), bliver diskussionen ved med at vende tilbage til billedbehandling og de massive forbedringer, som Qualcomm Spectra 380 bringer.
Traditionelt ville kameraets internetudbyder håndtere at transformere de rå farveoutput fra kameraet til noget, som resten af telefonen kan bruge til maskinsyn, men efterhånden som AI-behandling er blevet mere kompleks, er integration med specialiseret hardware blevet kritisk. Qualcomm tog de første skridt mod dette med deres Qualcomm Spectra 280, bageunderstøttelse for multi-frame støjreduktion og dybdeføling lige ind i internetudbyderen, men der var stadig lang vej igen. I år tager Qualcomm det spring og bygger hardware-computervisionsacceleration lige ind i Qualcomm Spectra 380 ISP og skaber, hvad de kalder verdens første CV-ISP.
Qualcomm Spectra 380 vil fjerne flaskehalse i billedbehandlingspipelinen og resultere i op til 4x strømbesparelser i forhold til tidligere generationer ved at udføre maskinsyn behandler direkte på selve internetudbyderen, fjerner behovet for at vække CPU'en, GPU'en og HSP'en til komplekse fotografering AI-opgaver og forbedrer processorens AR betydeligt kapaciteter.
Dette betyder, at hardware-dybdeføling, objektklassificering og objektsegmentering alle kan ske i realtid for op til 4k HDR 60Hz på Qualcomm Snapdragon 855. Dette vil give os udskiftning af levende objekt eller baggrund i realtidsvideo, hvilket åbner op for nye muligheder for Extended reality (XR)-applikationer med Qualcomm Snapdragon 855-chipsættet både i telefoner og i AR headset.
Forbedringerne til Qualcomm Spectra 380 stopper dog ikke ved AI og AR. Qualcomm lagde en masse arbejde i farverum og lysstyrkeforbedringer og tilføjede understøttelse af fuld HDR10+ videooptagelse, hvilket gør det muligt at optage videoer med større dynamisk rækkevidde og bredere farverum for at drage fuld fordel af moderne telefoners muligheder og tv'er.
Den nye internetudbyder bringer også forbedret hardwareacceleration til VP9-video og til det HEVC-baserede HEIF-billedformat, som kan være 50 % mindre end ældre billedformater og bringer udvidet funktionalitet (selvom vi i høj grad forventer tilføjelsen af hardwareacceleration til det AV1 baseret AVIF, som forhåbentlig vil være tilgængelig i de kommende år)
Qualcomm Spectra 380 vil også være i stand til at håndtere billedbehandling med højere opløsning end tidligere år med sin dobbelte 14-bit CV-ISP-pipeline, der understøtter 22MP 30Hz samtidig optagelse på dobbeltkameraer og 48MP 30Hz-optagelse med et enkelt billede sensor. Den hurtigere sensorlæsepipeline oversættes ikke til video i dette tilfælde, men hvor Qualcomm Spectra 380 understøtter den samme native 720p 480Hz (uden at bruge on-sensor cache), som Spectra 280 gjorde.
Det bedste af det hele er, at Qualcomm Spectra 380 kan fortsætte med at forbedre sig i fremtiden, da dens nye modulære ISP-design bringer en nyfundet fleksibilitet til billedbehandlingspipelinen, hvilket åbner muligheden for forskellige behandlingsmetoder for både RAW- og YUV-pixel domæner.
Er du begejstret for udvidet AI-funktionalitet i kameraer? Hvad håber du at kunne bruge maskinsyn til? Fortæl os i kommentarerne nedenfor!