Qualcomm Spectra 380 tar et enormt sprang fremover innen datafotografering og kamera-AI. Les alt om de enorme forbedringene som kommer i år!
I går på Hawaii på Snapdragon Technology Summit, den etterlengtede Qualcomm Snapdragon 855 var lansert. Mens den nye brikken bringer forskjellige betydelige endringer (fra betydelig mer nøyaktig GPS til den første nye 2,4 GHz WiFi-versjonen i en tiår, til 5G-mobiltilkobling), fortsetter diskusjonen å komme tilbake til bildebehandling og de massive forbedringene som Qualcomm Spectra 380 bringer.
Tradisjonelt ville kameraets ISP håndtere å transformere de rå fargeutgangene til kameraet til noe som resten av telefonen kan bruke for maskinsyn, men ettersom AI-behandling har blitt mer kompleks, har integrasjon med spesialisert maskinvare blitt kritisk. Qualcomm tok de første skritt mot dette med sine Qualcomm Spectra 280, bakestøtte for multi-frame støyreduksjon og dybdeføling rett inn i ISP, men det var fortsatt en lang vei å gå. I år tar Qualcomm det spranget, og bygger maskinvare-datasynsakselerasjon rett inn i Qualcomm Spectra 380 ISP, og skaper det de kaller verdens første CV-ISP.
Qualcomm Spectra 380 vil fjerne flaskehalser i bildebehandlingsrørledningen og resultere i opptil fire ganger strømbesparelser sammenlignet med tidligere generasjoner ved å utføre maskinsyn behandler rett på selve ISP-en, fjerner behovet for å vekke CPU, GPU og HSP for komplekse fotograferings-AI-oppgaver, og forbedrer prosessorens AR betraktelig evner.
Dette betyr at maskinvaredybdeføling, objektklassifisering og objektsegmentering kan skje i sanntid for opptil 4k HDR 60Hz på Qualcomm Snapdragon 855. Dette vil gi oss levende objekt- eller bakgrunnserstatning i sanntidsvideo, og åpner for nye muligheter for applikasjoner for utvidet virkelighet (XR) med Qualcomm Snapdragon 855-brikkesettet både i telefoner og i AR headset.
Forbedringene for Qualcomm Spectra 380 stopper imidlertid ikke ved AI og AR. Qualcomm la mye arbeid i fargerom og lysstyrkeforbedringer, og la til støtte for full HDR10+ videoopptak, noe som gjør det mulig å ta opp videoer med større dynamisk rekkevidde og bredere fargerom, for å dra full nytte av mulighetene til moderne telefoner og TV-er.
Den nye Internett-leverandøren gir også forbedret maskinvareakselerasjon for VP9-video og for det HEVC-baserte HEIF-bildeformatet som kan være 50 % mindre enn eldre bildeformater og gir utvidet funksjonalitet (selv om vi i høy grad forventer tillegg av maskinvareakselerasjon for de AV1 basert AVIF, som forhåpentligvis vil være tilgjengelig i årene som kommer)
Qualcomm Spectra 380 vil også kunne håndtere høyere oppløsning enn tidligere år, med sin doble 14-bit CV-ISP pipeline som støtter 22MP 30Hz samtidig fangst på to kameraer, og 48MP 30Hz opptak med ett enkelt bilde sensor. Den raskere sensoravlesningsrørledningen oversettes ikke til video i dette tilfellet, men hvor Qualcomm Spectra 380 støtter den samme opprinnelige 720p 480Hz (uten å bruke på sensor-cache) som Spectra 280 gjorde det.
Best av alt, Qualcomm Spectra 380 kan fortsette å forbedre seg i fremtiden, ettersom den nye modulære ISP-designen gir en nyfunn fleksibilitet til bildebehandlingsrørledningen, og åpner potensialet for forskjellige behandlingsmetoder for både RAW- og YUV-piksler domener.
Er du spent på utvidet AI-funksjonalitet i kameraer? Hva håper du å kunne bruke maskinsyn til? Fortell oss i kommentarene nedenfor!