Der Qualcomm Spectra 380 macht einen gewaltigen Schritt nach vorne in der Computerfotografie und der Kamera-KI. Lesen Sie alles über die massiven Verbesserungen, die dieses Jahr kommen!
Gestern in Hawaii auf dem Snapdragon Technology Summit, dem lang erwarteten Qualcomm Snapdragon 855 wurde gestartet. Während der neue Chip verschiedene wesentliche Änderungen mit sich bringt (von deutlich genauerem GPS bis zur ersten neuen 2,4-GHz-WLAN-Version in einem (Jahrzehnt bis zur 5G-Mobilfunkkonnektivität) kommt die Diskussion immer wieder auf die Bildgebung und die massiven Verbesserungen zurück, die das Qualcomm Spectra 380 bietet bringt.
Traditionell kümmerte sich der ISP der Kamera darum, die rohen Farbausgaben der Kamera in etwas umzuwandeln, das der Rest der Kamera verarbeitet Das Telefon kann für maschinelles Sehen verwendet werden, aber da die KI-Verarbeitung komplexer geworden ist, ist die Integration mit spezieller Hardware immer wichtiger geworden kritisch. Die ersten Schritte dazu hat Qualcomm mit ihren gemacht
Qualcomm Spectra 280, Unterstützung für Multi-Frame-Rauschunterdrückung und Tiefenerkennung direkt in den ISP integriert, aber es war noch ein langer Weg. Dieses Jahr wagt Qualcomm diesen Schritt, indem es die Hardware-Computer-Vision-Beschleunigung direkt in den Qualcomm Spectra 380 ISP integriert und das schafft, was sie den weltweit ersten CV-ISP nennen.Der Qualcomm Spectra 380 beseitigt Engpässe in der Bildverarbeitungs-Pipeline und führt durch maschinelle Bildverarbeitung zu bis zu vierfachen Energieeinsparungen im Vergleich zu früheren Generationen Die Verarbeitung erfolgt direkt auf dem ISP selbst, sodass CPU, GPU und HSP für komplexe Fotografie-KI-Aufgaben nicht mehr aktiviert werden müssen und die AR des Prozessors erheblich verbessert wird Fähigkeiten.
Dies bedeutet, dass Hardware-Tiefenerkennung, Objektklassifizierung und Objektsegmentierung auf dem Qualcomm Snapdragon 855 in Echtzeit für bis zu 4K HDR 60 Hz erfolgen können. Dadurch erhalten wir einen Live-Objekt- oder Hintergrundersatz in Echtzeitvideos und eröffnen neue Möglichkeiten für Extended Reality (XR)-Anwendungen mit dem Qualcomm Snapdragon 855-Chipsatz sowohl in Telefonen als auch in AR Headsets.
Die Verbesserungen für das Qualcomm Spectra 380 beschränken sich jedoch nicht auf KI und AR. Qualcomm hat viel Arbeit in die Verbesserung des Farbraums und der Helligkeit gesteckt und die Unterstützung für die vollständige HDR10+-Videoaufzeichnung hinzugefügt Es ist möglich, Videos mit größerem Dynamikumfang und größeren Farbräumen aufzunehmen, um die Möglichkeiten moderner Telefone voll auszunutzen und Fernseher.
Der neue ISP bietet außerdem eine verbesserte Hardwarebeschleunigung für VP9-Video und für das HEVC-basierte HEIF-Bildformat, das 50 % kleiner sein kann als ältere Bildformate und bietet erweiterte Funktionalität (obwohl wir die Hinzufügung einer Hardwarebeschleunigung für sehr erwarten). Die AV1 basierendes AVIF, das hoffentlich in den kommenden Jahren verfügbar sein wird)
Der Qualcomm Spectra 380 wird mit seinem dualen 14-Bit auch Bilder mit höherer Auflösung als in den Vorjahren verarbeiten können Die CV-ISP-Pipeline unterstützt die gleichzeitige Aufnahme von 22 MP bei 30 Hz auf zwei Kameras und die Aufnahme von 48 MP bei 30 Hz mit einem einzelnen Bild Sensor. Die schnellere Sensorlesepipeline wird in diesem Fall jedoch nicht auf Video übertragen, wo die Qualcomm Spectra 380 unterstützt dasselbe native 720p 480 Hz (ohne Verwendung des On-Sensor-Cache) wie das Spectra 280 haben es getan.
Das Beste ist, dass sich der Qualcomm Spectra 380 in Zukunft möglicherweise weiter verbessern wird, da sein neues modulares ISP-Design eine Neuerung mit sich bringt Flexibilität für die Bildverarbeitungspipeline, wodurch das Potenzial für verschiedene Verarbeitungsmethoden sowohl für RAW- als auch für YUV-Pixel eröffnet wird Domänen.
Sind Sie gespannt auf die erweiterte KI-Funktionalität in Kameras? Wofür hoffen Sie, maschinelles Sehen einsetzen zu können? Sag es uns unten in den Kommentaren!