De Qualcomm Spectra 380 maakt een enorme sprong voorwaarts op het gebied van computationele fotografie en camera-AI. Lees alles over de enorme verbeteringen die dit jaar komen!
Gisteren in Hawaï op de Snapdragon Technology Summit, de langverwachte Qualcomm Leeuwebek 855 was gelanceerd. Hoewel de nieuwe chip verschillende substantiële veranderingen met zich meebrengt (van aanzienlijk nauwkeurigere GPS tot de eerste nieuwe 2,4 GHz WiFi-versie in een decennium naar 5G mobiele connectiviteit), blijft de discussie terugkomen op beeldvorming en de enorme verbeteringen die de Qualcomm Spectra 380 brengt.
Traditioneel zou de ISP van de camera de ruwe kleuruitvoer van de camera omzetten in iets dat de rest van de camera zou kunnen verwerken telefoon kan gebruiken voor machine vision, maar naarmate AI-verwerking complexer is geworden, is de integratie met gespecialiseerde hardware geworden kritisch. Qualcomm heeft met hun de eerste stappen daartoe gezet Qualcomm Spectra 280, ondersteuning voor multi-frame ruisonderdrukking en dieptedetectie rechtstreeks in de ISP, maar er was nog een lange weg te gaan. Dit jaar waagt Qualcomm die sprong door hardware-computer vision-versnelling rechtstreeks in de Qualcomm Spectra 380 ISP in te bouwen en zo te creëren wat zij 's werelds eerste CV-ISP noemen.
De Qualcomm Spectra 380 zal knelpunten in de beeldverwerkingspijplijn wegnemen en resulteren in een energiebesparing tot wel vier keer ten opzichte van eerdere generaties door machine vision uit te voeren verwerking rechtstreeks bij de ISP zelf, waardoor het niet meer nodig is om de CPU, GPU en HSP wakker te maken voor complexe fotografie-AI-taken, en de AR van de processor aanzienlijk wordt verbeterd mogelijkheden.
Dit betekent dat hardwaredieptedetectie, objectclassificatie en objectsegmentatie allemaal in realtime kunnen plaatsvinden voor maximaal 4k HDR 60 Hz op de Qualcomm Snapdragon 855. Dit geeft ons live object- of achtergrondvervanging in realtime video, wat nieuwe mogelijkheden opent voor Extended Reality (XR)-applicaties met de Qualcomm Snapdragon 855-chipset, zowel in telefoons als in AR hoofdtelefoons.
De verbeteringen voor de Qualcomm Spectra 380 houden echter niet op bij AI en AR. Qualcomm heeft veel werk gestoken in het verbeteren van de kleurruimte en de helderheid, door ondersteuning toe te voegen voor volledige HDR10+ video-opnamen, waardoor het Het is mogelijk om video's op te nemen met een groter dynamisch bereik en bredere kleurruimten, om optimaal te profiteren van de mogelijkheden van moderne telefoons en tv's.
De nieuwe ISP brengt ook verbeterde hardwareversnelling voor VP9-video en voor het op HEVC gebaseerde HEIF-beeldformaat, dat 50% kleiner kan zijn dan oudere beeldformaten en biedt uitgebreide functionaliteit (hoewel we sterk anticiperen op de toevoeging van hardwareversnelling voor de AV1 gebaseerde AVIF, die hopelijk in de komende jaren beschikbaar zal zijn)
De Qualcomm Spectra 380 zal ook beelden met een hogere resolutie kunnen verwerken dan voorgaande jaren, met zijn dubbele 14-bits CV-ISP-pijplijn die gelijktijdige opname van 22 MP 30 Hz op twee camera's ondersteunt, en opname van 48 MP 30 Hz met één enkel beeld sensor. De snellere sensorleespijplijn vertaalt zich in dit geval echter niet naar video, waar de Qualcomm Spectra 380 ondersteunt dezelfde native 720p 480Hz (zonder gebruik te maken van cache op de sensor) als de Spectra 280 deden dat.
Het beste van alles is dat de Qualcomm Spectra 380 in de toekomst mogelijk blijft verbeteren, omdat het nieuwe modulaire ISP-ontwerp een nieuw ontdekte flexibiliteit in de beeldvormingspijplijn, waardoor er mogelijkheden ontstaan voor verschillende verwerkingsmethoden voor zowel RAW- als YUV-pixels domeinen.
Ben je enthousiast over de uitgebreide AI-functionaliteit in camera's? Waar hoop je machine vision voor te kunnen gebruiken? Vertel het ons in de reacties hieronder!