Le Qualcomm Spectra 380 fait un grand pas en avant dans la photographie informatique et l’IA des appareils photo. Découvrez les améliorations massives à venir cette année !
Hier à Hawaï, lors du Snapdragon Technology Summit, le très attendu Qualcomm Snapdragon 855 A été lancé. Même si la nouvelle puce apporte divers changements substantiels (du GPS nettement plus précis à la première nouvelle version WiFi 2,4 GHz dans un décennie, à la connectivité cellulaire 5G), la discussion revient sans cesse sur l'imagerie et les améliorations massives apportées par le Qualcomm Spectra 380 apporte.
Traditionnellement, le FAI de la caméra se chargeait de transformer les sorties couleur brutes de la caméra en quelque chose que le reste du Le téléphone peut être utilisé pour la vision industrielle, mais à mesure que le traitement de l'IA est devenu plus complexe, l'intégration avec du matériel spécialisé est devenue critique. Qualcomm a fait les premiers pas dans ce sens avec son Qualcomm Spectre 280, intégrant la prise en charge de la réduction du bruit multi-images et de la détection de profondeur directement dans le FAI, mais il restait encore un long chemin à parcourir. Cette année, Qualcomm franchit le pas en intégrant l'accélération matérielle de la vision par ordinateur directement dans le FAI Qualcomm Spectra 380 et en créant ce qu'ils appellent le premier CV-ISP au monde.
Le Qualcomm Spectra 380 éliminera les goulots d'étranglement dans le pipeline de traitement d'image et entraînera des économies d'énergie jusqu'à 4 fois supérieures à celles des générations précédentes grâce à la vision industrielle. traitement directement sur le FAI lui-même, éliminant le besoin de réveiller le CPU, le GPU et le HSP pour les tâches complexes d'IA de photographie et améliorant considérablement l'AR du processeur capacités.
Cela signifie que la détection matérielle de la profondeur, la classification des objets et la segmentation des objets peuvent toutes se produire en temps réel jusqu'à 4k HDR 60 Hz sur le Qualcomm Snapdragon 855. Cela nous permettra de remplacer des objets en direct ou des arrière-plans dans une vidéo en temps réel, ouvrant ainsi de nouvelles possibilités pour applications de réalité étendue (XR) avec le chipset Qualcomm Snapdragon 855 à la fois dans les téléphones et en AR casques.
Les améliorations apportées au Qualcomm Spectra 380 ne s'arrêtent cependant pas à l'IA et à la RA. Qualcomm a consacré beaucoup de travail à l'amélioration de l'espace colorimétrique et de la luminosité, en ajoutant la prise en charge de l'enregistrement vidéo Full HDR10+, ce qui en fait possibilité d'enregistrer des vidéos avec une plus grande plage dynamique et des espaces colorimétriques plus larges, pour profiter pleinement des capacités des téléphones modernes et les téléviseurs.
Le nouveau FAI apporte également une accélération matérielle améliorée pour la vidéo VP9 et pour le format d'image HEIF basé sur HEVC qui peut être 50 % plus petit. que les anciens formats d'image et apporte des fonctionnalités étendues (même si nous prévoyons fortement l'ajout d'une accélération matérielle pour le AV1 basé sur AVIF, qui, espérons-le, sera disponible dans les années à venir)
Le Qualcomm Spectra 380 sera également capable de gérer des images à plus haute résolution que les années précédentes, grâce à son double processeur 14 bits. Pipeline CV-ISP prenant en charge la capture simultanée de 22 MP à 30 Hz sur deux caméras et la capture de 48 MP à 30 Hz avec une seule image capteur. Le pipeline de lecture plus rapide du capteur ne se traduit cependant pas en vidéo dans ce cas, où le Qualcomm Spectra 380 prend en charge le même 720p 480 Hz natif (sans utiliser de cache sur le capteur) que le Spectra 280 l’ont fait.
Mieux encore, le Qualcomm Spectra 380 pourrait continuer à s'améliorer à l'avenir, car sa nouvelle conception modulaire FAI apporte une nouvelle flexibilité du pipeline d'imagerie, ouvrant le potentiel de différentes méthodes de traitement pour les pixels RAW et YUV domaines.
Êtes-vous enthousiasmé par les fonctionnalités d’IA étendues dans les caméras? Pourquoi espérez-vous pouvoir utiliser la vision industrielle? Dites-le nous dans les commentaires ci-dessous !