Qualcomm Spectra 380 tar ett enormt steg framåt inom datorfotografering och kamera-AI. Läs allt om de massiva förbättringarna som kommer i år!
Igår på Hawaii på Snapdragon Technology Summit, den efterlängtade Qualcomm Snapdragon 855 lanserades. Medan det nya chippet medför olika betydande förändringar (från betydligt mer exakt GPS till den första nya 2,4 GHz WiFi-versionen i en decennium, till 5G-mobilanslutning), fortsätter diskussionen att återkomma till bildbehandling och de massiva förbättringarna som Qualcomm Spectra 380 ger.
Traditionellt skulle kamerans internetleverantör hantera att omvandla kamerans råa färgutgångar till något som resten av telefonen kan använda för maskinseende, men eftersom AI-bearbetning har blivit mer komplex har integration med specialiserad hårdvara blivit kritisk. Qualcomm tog de första stegen mot detta med sina Qualcomm Spectra 280, bakningsstöd för brusreducering med flera ramar och djupavkänning direkt in i ISP: n, men det var fortfarande en lång väg att gå. I år tar Qualcomm det steget, bygger hårdvaruacceleration av datorseende direkt in i Qualcomm Spectra 380 ISP och skapar vad de kallar världens första CV-ISP.
Qualcomm Spectra 380 kommer att ta bort flaskhalsar i bildbehandlingspipelinen och resultera i upp till 4x energibesparingar jämfört med tidigare generationer genom att utföra maskinseende bearbetning direkt på ISP själv, tar bort behovet av att väcka CPU, GPU och HSP för komplexa fotografering AI-uppgifter, och avsevärt förbättra processorns AR Förmågor.
Detta innebär att hårdvarudjupavkänning, objektklassificering och objektsegmentering alla kan ske i realtid för upp till 4k HDR 60Hz på Qualcomm Snapdragon 855. Detta kommer att ge oss liveobjekt eller bakgrundsersättning i realtidsvideo, vilket öppnar upp nya möjligheter för utökade verklighetsapplikationer (XR) med Qualcomm Snapdragon 855-chipset både i telefoner och i AR headset.
Förbättringarna för Qualcomm Spectra 380 stannar dock inte vid AI och AR. Qualcomm har lagt ner mycket arbete på förbättringar av färgrymd och ljusstyrka, och lagt till stöd för full HDR10+ videoinspelning, vilket gör det möjligt att spela in videor med större dynamiskt omfång och bredare färgrymder, för att dra full nytta av funktionerna hos moderna telefoner och TV-apparater.
Den nya internetleverantören ger också förbättrad hårdvaruacceleration för VP9-video och för det HEVC-baserade HEIF-bildformatet som kan vara 50 % mindre än äldre bildformat och ger utökad funktionalitet (även om vi i hög grad förväntar oss tillägget av hårdvaruacceleration för de AV1 baserad AVIF, som förhoppningsvis kommer att finnas tillgänglig under kommande år)
Qualcomm Spectra 380 kommer också att kunna hantera högre upplösning än tidigare år, med sin dubbla 14-bitars CV-ISP pipeline som stöder 22MP 30Hz samtidig inspelning på dubbla kameror och 48MP 30Hz inspelning med en enda bild sensor. Den snabbare sensoravläsningspipelinen översätts inte till video i det här fallet, dock där Qualcomm Spectra 380 stöder samma inbyggda 720p 480Hz (utan att använda on-sensor cache) som Spectra 280 gjorde det.
Det bästa av allt är att Qualcomm Spectra 380 kan fortsätta att förbättras i framtiden, eftersom dess nya modulära ISP-design ger en nyfunnet flexibilitet till bildbehandlingspipelinen, vilket öppnar potentialen för olika bearbetningsmetoder för både RAW- och YUV-pixlar domäner.
Är du sugen på utökad AI-funktionalitet i kameror? Vad hoppas du kunna använda maskinseende till? Berätta för oss i kommentarerna nedan!