Judd Heape de Qualcomm explique comment Qualcomm améliore l'expérience de l'appareil photo sur les téléphones Android avec de nouvelles fonctionnalités dans ses FAI Spectra.
En tant que fabricant de systèmes sur puces (SoC) qui alimentent une grande partie des smartphones et des appareils portables dans le monde, la société américaine Qualcomm est sans aucun doute l'un des géants de l'industrie des fabricants de puces. La gamme de SoC Snapdragon, par exemple, est utilisée par presque tous les grands fabricants d'appareils Android pour les smartphones phares, de milieu de gamme et économiques. Qualcomm reçoit chaque année des éloges lors du Tech Summit annuel de l'entreprise pour ses avancées dans les domaines du CPU, du GPU et de l'IA, car il intègre les nouvelles microarchitectures de CPU d'ARM. et les complète avec des améliorations annuelles de ses GPU personnalisés. Cependant, ses avancées dans le domaine des caméras ne sont pas autant remarquées, car elles ont tendance à passer sous le feu des projecteurs. radar.
Cela ne signifie pas pour autant que le travail de Qualcomm dans le domaine des caméras pour smartphones est sans importance. Au contraire, les FAI Spectra de Qualcomm dans ses SoC Snapdragon contribuent à rendre possible la plupart des caméras de smartphones modernes avec une augmentation puissance de traitement de calcul, fonctionnalités telles que l'enregistrement vidéo 8K, la vidéo HDR10, la prise en charge des caméras QCFA à mégapixels élevés, et bien plus encore plus. Qualcomm a promu que le FAI Spectra 380 dans le Snapdragon 855 a été le premier CV-ISP au monde, et il a promu les premières fonctionnalités d’enregistrement vidéo 4K HDR au monde, qui sont désormais complétées par l’enregistrement vidéo 4K HDR10+ de 2e génération. Le Spectra 480 ISP de dernière génération Muflier 865 est très performant: il peut traiter deux gigapixels par seconde, soit une augmentation de 40 % par rapport à son prédécesseur. Il s'agit d'une propriété intellectuelle (IP) qui différencie Qualcomm de ses concurrents dans le domaine des fournisseurs de puces mobiles.
Alors que Qualcomm explique la plupart des gros titres dans ses communiqués de presse et ses keynotes sur les produits, jusqu'à jusqu'à présent, les consommateurs n'ont pas eu la chance de connaître la plupart des détails de bas niveau qui composent ces choses. travail.
C'est pourquoi chez XDA Developers, nous étions heureux d'accepter une offre de parler avec Judd Heape, directeur principal de la gestion des produits chez Qualcomm. Le rédacteur en chef de XDA, Mishaal Rahman, et moi-même avons eu un entretien avec Judd en juin 2020 pour apprendre et voir comment Qualcomm repousse les limites de la photographie et de l'enregistrement vidéo sur smartphone. Nous avons abordé des sujets tels que le traitement d'image IA, la réduction du bruit multi-images (MFNR), AV1, l'enregistrement vidéo Dolby Vision, le regroupement de pixels dans les appareils photo à mégapixels élevés, et bien plus encore. Jetons un coup d'œil aux idées de Judd sur chaque sujet un par un :
Charges de travail de traitement d'images IA
Michaal Rahman: Je vais commencer par un de ceux qu'Idrees avait, qui est intéressant et qui m'intéressait également. Nous nous demandons donc quelles sont les charges de travail de traitement d'images IA que Qualcomm utilise dans le FAI Spectra et dans quelle mesure sont-elles personnalisables par les fabricants d'appareils ?
Judd Heape: Oui, nous examinons donc de nombreuses charges de travail d'IA et certaines d'entre elles peuvent s'exécuter dans le FAI lui-même. comme, par exemple, notre 3A nouvelle génération: l'exposition automatique, la balance des blancs automatique et la mise au point automatique sont l'IA basé.
Mais nous examinons également quelques autres charges de travail d’IA, qui s’exécuteraient en dehors du FAI, dans l’un des autres éléments informatiques. Nous examinons donc en particulier des éléments tels que: nous avons un noyau de réduction du bruit basé sur l'IA qui fonctionne en externe du FAI, dans la partie moteur AI (AIE) de la puce.
Nous avons également des éléments tels que la détection des visages, qui est un moteur d'apprentissage profond complet qui fonctionne également dans le complexe AIE, mais qui assiste bien sûr la caméra. Et il y a d'autres choses sur lesquelles nous travaillons autres que la détection des visages et le débruitage; nous envisageons également de faire des choses comme un ajustement automatique des instantanés à l'aide de l'IA qui définirait automatiquement paramètres par scène en fonction du contenu HDR, nous traiterions pour modifier les ombres, les hautes lumières et la couleur et ce genre de chose.
L'un de nos partenaires, Morpho, vient de remporter un énorme prix pour la charge de travail de l'IA lors de l'Embedded Vision Summit cette année. Les partenaires éditeurs de logiciels indépendants disposent également de nombreux algorithmes basés sur l'IA très intenses et ceux-ci peuvent aller de n'importe quoi comme une caméra fluide transition, comme ce que fait Arcsoft (je l'ai mentionné lors du dernier Snapdragon Tech Summit qui est basé sur l'IA), vers la segmentation sémantique de Morpho moteur. La solution de Morpho est un moteur d'IA qui comprend différentes parties de la scène, comme ce que vous savez, le tissu contre la peau contre le ciel et l'herbe et bâtiment et ce genre de choses, puis le FAI peut prendre ces informations et traiter ces pixels différemment pour la texture, le bruit et la couleur pour exemple.
Déclaration de Qualcomm: Pour le ML et l’IA, nous n’annonçons pas non plus de nouvelles mises à jour pour les fonctionnalités de détection de visage et « 3A » (AE, AF et AWB). Cependant, comme l'a dit Judd, nous nous engageons, à l'avenir, à apporter davantage de capacités ML/IA à la caméra, y compris ces deux domaines de fonctionnalités.
Analyse et contexte: L'IA dans les smartphones est largement considérée comme un mot à la mode depuis que les premières unités de traitement neuronal (NPU) et les premières fonctionnalités « basées sur l'IA » ont commencé à arriver sur les téléphones Android. Cependant, cela ne signifie pas que l’IA elle-même n’a aucun sens. Au contraire, l’IA a beaucoup de potentiel dans le domaine mobile, à tel point que les fournisseurs de puces et les fabricants d’appareils ne font qu’effleurer la surface de ce qui est possible.
Grâce à l'IA, les caméras des smartphones se sont améliorées - parfois rapidement, parfois très lentement, mais elles y arrivent. Les caméras des smartphones surmontent les limitations fondamentales telles que les capteurs relativement petits, fixes des distances focales et des optiques de moins bonne qualité avec une photographie informatique intelligente alimentée par l'apprentissage automatique (ML). L'exposition automatique, la réduction du bruit, la détection des visages et la segmentation ne sont que quelques-uns des domaines dans lesquels l'IA dans la photographie sur smartphone a pu avoir un impact. Au cours des cinq prochaines années, ces domaines naissants de l’IA améliorant différents aspects de la photographie vont beaucoup mûrir.
Réduction du bruit multi-images
Idrees Patel: Qualcomm a mentionné la réduction du bruit multi-images comme fonctionnalité. J'aimerais en savoir plus sur le fonctionnement de l'empilement d'images. Est-ce que cela ressemble d'une manière ou d'une autre à ce que Google fait avec sa technologie HDR+ ou est-ce complètement différent ?
Judd Heape: C'est similaire mais différent. Imaginez que l'appareil photo fasse une rafale et capture cinq à sept images en succession rapide. Ensuite, le moteur du FAI examine ces trames et sélectionne la meilleure (appelée « trame d'ancrage ») pour la concentration et la clarté, puis il peut sélectionner 3 à 4 images de chaque côté de cette image, puis faire la moyenne de toutes ensemble. Il essaie de choisir des images suffisamment rapprochées pour qu'il y ait très peu de mouvement.
Et lorsqu'il s'installe sur ces images, il les fait ensuite la moyenne pour discerner ce qui est différent, par exemple, ce qui est des données d'image réelles par rapport à ce qui est des données de bruit. Ainsi, lorsque vous disposez de plus en plus d'informations, provenant de plus en plus d'images, vous pouvez réellement faire des choses simples, comme regarder les différences entre les images. Les différences sont probablement du bruit, alors que ce qui est égal dans les images sont probablement des données d'image.
Nous pouvons donc combiner cette image en temps réel pour réduire le bruit. Désormais, vous pouvez également faire la même chose avec une faible luminosité et le HDR, ce qui ressemble beaucoup à ce que fait probablement Google. Nous ne sommes pas au courant de leur algorithme. Mais ils utilisent des techniques multi-images pour augmenter la sensibilité afin que vous puissiez mieux « voir »; une fois que vous avez réduit le bruit de fond, vous pouvez maintenant envisager d'effectuer un mappage de tons plus local ou d'ajouter du gain à l'image sans ajouter plus de bruit.
C’est ainsi qu’ils gèrent la faible luminosité, ainsi que le HDR. Les améliorations apportées à la fonction de réduction du bruit multi-images proviendront de Qualcomm, qui inclura également la faible luminosité et le HDR. Mais c’est quelque chose que nous déploierons sous peu.
Michaal Rahman: Vous avez donc mentionné le déploiement de cette fonctionnalité sous peu. Est-ce que cela ressemble à une mise à jour du BSP pour les partenaires ?
Judd Heape: Dans nos produits de nouvelle génération, grâce à un ajout logiciel, nous aurons la possibilité d'interagir avec - en fait, cela se produit en ce moment même sur le prochain produits de nouvelle génération - nous nous engageons actuellement auprès de nos clients pour utiliser davantage de techniques multi-images au-delà de la réduction du bruit, mais également pour gérer le HDR et la faible luminosité. situations. Il utilise le même moteur matériel de base du FAI, mais nous ajoutons davantage de logiciels pour gérer ces multi-images pour plus qu'une simple réduction du bruit.
Ce n’est donc pas quelque chose qui a été déployé, mais nous collaborons avec certains clients clés sur ces fonctionnalités.
Analyse et contexte: À chaque nouvelle annonce de Snapdragon SoC, le tableau des spécifications de Qualcomm comprend des spécifications liées à la réduction du bruit multi-images. Le Snapdragon 865, par exemple, avec ses deux CV-ISP 14 bits prend en charge jusqu'à une hypothétique caméra unique de 200 MP (même si les fournisseurs de capteurs d'appareil photo tels que Sony, Samsung et OmniVision n'ont pas encore commercialisé de capteur d'appareil photo pour smartphone supérieur à 108 MP). Cependant, en ce qui concerne la prise en charge d'une seule caméra avec MFNR, zéro délai d'obturation (ZSL) et prise en charge de 30 ips, le la spécification passe à 64MP, et pour les caméras doubles avec les mêmes spécifications, la spécification passe à 25MP.
La réduction du bruit multi-images de Qualcomm est très similaire au HDR+ mais pas entièrement la même, comme expliqué par Judd ci-dessus. Alors que HDR+ prend une série d'expositions sous-exposées et en fait la moyenne pour obtenir la meilleure photo, MFNR prend cinq à sept images normales. Il ne semble pas que le MFNR de Qualcomm soit aussi avancé que la solution de Google, car le HDR et la faible luminosité ne sont pas mentionnés comme des priorités spécifiques dans le contexte actuel. flux de travail pour Spectra, tandis que le HDR+ de Google cible à la fois le HDR, la photographie en basse lumière et la réduction du bruit, avec Night Sight allant encore plus loin plus loin. Cependant, il est encourageant d'apprendre que MFNR bénéficie d'améliorations et que Qualcomm déploiera ces améliorations auprès de « certains clients clés ». À l’avenir, nous n’aurons peut-être plus besoin de ports non officiels pour les appareils photo Google pour exploiter tout le potentiel des appareils photo des smartphones Android non Google.
Super résolution pour la vidéo
Michaal Rahman: Donc, quelque chose que j'ai entendu lors du Tech Summit. En fait, je pense que c'était dans une interview avec Autorité Android. Est-ce que Qualcomm envisage d'étendre la super résolution à la vidéo en tant que solution logicielle pour ses partenaires et que cela serait apparemment déployé dans une mise à jour. Je me demande si vous avez des mises à jour à partager sur cette fonctionnalité.
Judd Heape: Oui, c'est donc une fonctionnalité que nous avons la possibilité de réaliser depuis un certain temps, et elle vient tout juste d'être déployée. Je ne dirais pas que cela fait partie d'une mise à jour logicielle, mais je dirais que c'est un peu comme un avantage supplémentaire de la fonctionnalité multi-images et faible luminosité existante. Nous collaborons avec certains clients principaux spécifiques sur cette fonctionnalité. Alors oui, la super résolution vidéo est quelque chose dans une autre génération ou alors nous l'aurons comme ce que nous appeler une fonctionnalité de plan d'enregistrement là où elle est réellement intégrée à la base de code du logiciel pour [le] caméra. Mais pour le moment, il s’agit davantage du niveau d’engagement spécifique des clients pour cette nouvelle fonctionnalité.
Analyse et contexte: La super résolution pour la vidéo est une fonctionnalité qui, jusqu'à présent, n'apparaissait pas dans les caméras des smartphones. C'est un domaine tellement nouveau que des articles de recherche sont encore en cours d'écriture à ce sujet. Utiliser des techniques multi-images pour la photographie est une chose, mais les utiliser pour la vidéo afin de mettre à l'échelle la vidéo vers une résolution plus élevée est une tout autre affaire. Qualcomm affirme qu'il déploie à nouveau cette fonctionnalité auprès de « certains clients clés », mais pour le moment, elle n'est pas intégrée à la base de code logiciel de la caméra. À l’avenir, il sera peut-être disponible pour tout le monde, mais pour l’instant, il s’agit d’une fonctionnalité que les consommateurs finaux n’ont même pas encore eu l’occasion d’utiliser.
Capteurs Quad Bayer à mégapixels élevés
Idrees Patel: Parlons des capteurs Quad Bayer. Depuis 2019, de nombreux téléphones disposent désormais de capteurs de 48MP, 64MP et désormais même 108MP. Ce sont des capteurs Quad Bayer; vous n'avez pas réellement de véritable résolution couleur de 48, 64 ou 108MP. Une chose que je voulais demander, c'est en quoi le FAI diffère-t-il en termes de traitement d'image pour ces Quad Bayer ou Nona. Capteurs Bayer (binning de pixels 4 en 1 ou 9 en 1), par rapport aux capteurs traditionnels, qui n'ont aucun pixel le regroupement.
Judd Heape: Oui, donc bien sûr, l'avantage de ces capteurs quad CFA (Quad Color Filter Array) est la capacité de fonctionner sous une lumière vive. en pleine résolution, puis le FAI peut les traiter à 108 mégapixels ou 64 mégapixels ou autre. disponible.
Cependant, généralement dans la plupart des situations d'éclairage, comme à l'intérieur ou dans l'obscurité, vous devez supprimer car les pixels du capteur sont si petits que vous devez combiner les pixels pour obtenir une meilleure sensibilité à la lumière. Je dirais donc que la plupart du temps, surtout si vous filmez une vidéo ou si vous êtes dans une faible luminosité pour un instantané, vous travaillez en mode groupé.
Désormais, le FAI peut traiter le capteur dans les deux sens. Vous pouvez regarder le capteur en mode regroupé, auquel cas il s'agit simplement d'une image Bayer normale qui arrive, ou il peut le regarder en mode pleine résolution dans lequel les données entrantes sont en quad CFA. Et si c'est dans ce mode, le FAI le convertit en Bayer.
Nous procédons donc à ce que nous appelons du "remasage". Cela effectue une interpolation de l'image quad CFA pour la faire ressembler à nouveau à Bayer en pleine résolution. Et cela se fait généralement dans un logiciel pour les instantanés, même si nous allons éventuellement ajouter cette fonctionnalité dans le matériel pour prendre également en charge la vidéo.
Ce qui se trouve aujourd'hui dans le matériel des FAI, c'est le binning. Vous pouvez donc regrouper le capteur et vous pouvez réellement demander au capteur de décider s'il va produire une résolution complète, quart ou 1/9ème ou vous pouvez le regrouper dans le FAI. Et c’est en fait une fonctionnalité que nous avons ajoutée dans Snapdragon 865. Donc, si vous regroupez le FAI et que vous exécutez ensuite le capteur à pleine résolution, le FAI peut avoir à la fois l'image en pleine résolution et l'image regroupée en même temps. Par conséquent, il peut utiliser la plus petite résolution ou l'image « regroupée » pour la vidéo (caméscope) et l'aperçu (viseur) et simultanément utiliser l'image pleine résolution pour un instantané en taille réelle.
Mais encore une fois, ce serait le cas dans des conditions d’éclairage intenses. Mais au moins, si vous effectuez un tri chez le FAI, vous avez la possibilité de gérer à la fois la grande et la petite image en même temps. en même temps, et par conséquent, vous pouvez obtenir une vidéo et un instantané simultanés, vous pouvez également obtenir une pleine résolution ZSL; le tout sans avoir à changer de capteur, ce qui prend un temps considérable.
C'est une très bonne fonctionnalité. Et comme les capteurs Quad CFA et même vous le savez, les capteurs 9x et peut-être même plus sortent, et à mesure que ces capteurs deviennent plus omniprésents - nous cherchons de plus en plus à gérer ces capteurs dans le matériel, pas seulement pour le regroupement mais aussi pour rematriçage.
Et donc l’avantage est que si vous le faites au niveau matériel plutôt que logiciel, vous réduisez le latence pour vos clients et par conséquent, vos temps de prise de vue et vos taux de rafale seront beaucoup plus rapides. Ainsi, à mesure que nous avançons avec de nouveaux FAI et de nouvelles puces, vous commencerez à voir beaucoup plus de ce que nous faisons pour ces nouveaux types de capteurs intégrés au matériel.
Analyse et contexte : Huawei a été le premier à utiliser un capteur Quad Bayer 40MP avec le Huawei P20 Pro en 2018, et la popularité des capteurs Quad Bayer était si élevée qu'ils ont désormais atteint des téléphones à 150 $ équipés de puces Snapdragon/Exynos/MediaTek. En particulier, nous avons vu l'industrie des smartphones arriver aux appareils photo 48MP et 64MP comme point idéal, tandis que quelques téléphones atteignent 108MP. Les capteurs Quad Bayer et Nona Bayer ne sont pas sans inconvénients, car leur pleine résolution comporte des mises en garde.
Cependant, pour des raisons de marketing, un capteur de 48 MP sonne bien mieux qu'un capteur de 12 MP, même si l'utilisateur prend de toute façon la plupart du temps des photos regroupées en pixels de 12 MP. Un capteur de 48 MP devrait théoriquement donner de meilleures photos regroupées en pixels de 12 MP en basse lumière qu'un capteur de 12 MP traditionnel. capteur, mais le traitement de l'image doit suivre le rythme, et comme je le mentionne ci-dessous, il y a un long chemin à parcourir pour y parvenir. arriver. Quoi qu’il en soit, il était intéressant de voir comment le Spectra ISP gère les capteurs Quad Bayer avec rematriçage. Il y a beaucoup de potentiel dans ces capteurs et dans des téléphones comme le OnePlus 8 Pro (qui utilise un capteur Sony IMX689 Quad Bayer avec de grands pixels) sont actuellement au sommet des caméras pour smartphones.
Reconnaissance faciale basée sur le ML
Michaal Rahman: Je pense donc que vous aviez mentionné plus tôt que la reconnaissance faciale basée sur ML est prise en charge dans le Spectra 480. C'est quelque chose que j'ai entendu lors du Tech Summit. [Que c'est] l'une des améliorations du 380 au 480; que cela fait partie du - il y a un nouveau bloc de détection d'objectif dans le moteur d'analyse vidéo qui est utilisé à l'avenir pour la reconnaissance spatiale.
Pouvez-vous nous expliquer davantage dans quelle mesure cela améliore la reconnaissance faciale et quelles applications potentielles envisagez-vous qu'elle soit utilisée par les fournisseurs ?
Judd Heape: Ouais en fait, donc vous avez raison dans le bloc de vision par ordinateur intégré, qui est le bloc "EVA", dont nous avons parlé au Tech Summit. Il contient un noyau général de détection d'objets que nous utilisons lorsque la caméra est en marche, nous l'utilisons pour détecter les visages. Les techniques de ce bloc sont des techniques plus traditionnelles, donc la reconnaissance d'objets se fait avec des techniques traditionnelles. classificateurs, mais en plus de cela, nous disposons d'un moteur logiciel en cours d'exécution pour améliorer réellement la précision de ces informations. bloc.
Nous utilisons donc un logiciel basé sur le ML pour filtrer les faux positifs, car le matériel pourrait détecter davantage d'éléments tels que des visages dans la scène, puis le logiciel ML est ensuite détecté. en disant "d'accord, c'est un visage" ou "ce n'est vraiment pas un visage" et cela augmente donc la précision de quelques points de pourcentage en exécutant ce filtre ML au-dessus du matériel.
J'ai mentionné beaucoup de choses sur l'avenir. À l’avenir, nous prévoyons également d’exécuter l’intégralité de la détection des visages elle-même en ML ou en mode apprentissage profond dans un logiciel. Cela sera particulièrement vrai pour les niveaux inférieurs. Ainsi, par exemple, dans un niveau où nous ne disposons pas du moteur matériel EVA, nous commencerons à introduire progressivement l'apprentissage en profondeur. en tant que détection, qui s'exécute dans le moteur AI de la puce, puis plus tard, dans les niveaux supérieurs des niveaux 700-800, nous disposons du matériel EVA pour le faire...
Je dirai cependant qu'en général, nous nous orienterons davantage vers des approches de ML pour effectuer la détection des visages et cela inclurait à la fois les logiciels à moyen terme et le matériel à terme. Je ne vais pas divulguer quels produits en bénéficieront, mais bien sûr, à mesure que nous progressons dans l'amélioration du FAI, nous ajouterons de plus en plus de capacités matérielles pour faire du ML, c'est sûr.
Michaal Rahman: Génial. Eh bien, je pense qu'il va de soi que la direction dans laquelle vous vous dirigez consiste à ramener les améliorations de l'apprentissage automatique de la série 800 au niveau inférieur, donc je pense que c'est généralement une évidence. Mais bien sûr, vous ne pouvez nous donner aucun détail à ce sujet. Merci pour la mise à jour.
Judd Heape: La détection des visages est quelque chose qui nous passionne beaucoup. Nous voulons améliorer ces précisions, vous savez, génération après génération, à tous les niveaux, du niveau 800 au niveau 400. Le ML en est une grande partie.
Analyse et contexte: Ces aspects donnent à la photographie sur smartphone beaucoup plus de potentiel, même par rapport aux derniers appareils photo sans miroir. Oui, les appareils photo sans miroir offrent une meilleure qualité d’image dans des conditions de faible luminosité et sont beaucoup plus flexibles, mais les appareils photo des smartphones surmontent leurs limites grâce à des moyens ingénieux. La détection des visages basée sur le ML n’est qu’une partie de cela.
Améliorations du moteur de traitement d'image
Michaal Rahman: Génial. Ainsi, l’une des choses que j’ai brièvement entendues lors des tables rondes après le Snapdragon Tech Summit était une amélioration du moteur de traitement d’image. J'ai entendu dire qu'il y avait une amélioration de la réduction du bruit des basses fréquences moyennes ou LEANR. Et que vous appliquez une carte de gain inverse dynamique; est-ce quelque chose que vous avez mentionné plus tôt dans la conversation.
Judd Heape: Oh d'accord. Je pense donc que vous mélangez deux choses. Oui, il y a donc le noyau LEANR, qui est le noyau qui travaille sur la réduction du bruit sur les grains plus grossiers, ce qui aide dans des conditions de faible luminosité. C'est un nouveau bloc qui a été ajouté dans Snapdragon 865 au FAI, et c'est une chose.
La carte de gain inverse est autre chose. C'est une autre chose que j'ai mentionnée lors des tables rondes, mais il s'agit d'inverser les effets de l'ombrage des lentilles. Donc, comme vous le savez, si vous avez un combiné et qu'il est équipé d'un petit objectif; le centre de l'objectif sera lumineux et les bords seront plus vignettés; ce qui signifie qu'ils vont être plus sombres.
Ainsi, au cours des années passées, chez les FAI, nous avons appliqué une carte de gain inverse statique pour nous débarrasser de ces bords sombres. Et cela fait donc un certain temps que le FAI est présent. Ce que nous avons ajouté dans Snapdragon 865, c'est la possibilité pour cette carte de gain de changer dynamiquement en fonction du cadre d'image particulier, car si vous appliquez beaucoup de gains aux bords ce qui se passe, c'est que les bords peuvent être tronqués, surtout si vous regardez des scènes de lumière vive à l'extérieur, comme le ciel bleu peut en quelque sorte devenir blanc ou les bords seront tronqués à cause de beaucoup de gagner.
Ainsi, dans le Snapdragon 865, cette carte de gain inversé n’est pas statique; c'est dynamique. Nous regardons donc l'image et nous disons: « ok, ces parties de l'image sont tronquées et elles ne devraient pas l'être » pour pouvoir rouler hors de la carte de gain naturellement afin que vous n'obteniez pas de franges lumineuses ou d'effets de halo ou ce genre de chose en corrigeant l'objectif ombres. C’est donc différent de la réduction du bruit, et ce sont deux cœurs différents.
Photographie en basse lumière et réduction agressive du bruit
Idrees Patel: Donc une chose que je voulais poser était la photographie en basse lumière. Comme ces dernières années, il y a eu de nombreux modes nuit [implémentés par les OEM], mais une chose que j'ai remarquée est que de nombreux fabricants d'appareils optent pour une réduction agressive du bruit, qui réduit les détails, au point que même le bruit de luminance est supprimé.
Ma question est donc la suivante: Qualcomm conseille-t-il à tous les fabricants d'appareils de ne pas faire cela et est-ce quelque chose que font leurs pipelines de traitement, ou est-ce quelque chose qui est influencé par le FAI dans le SoC.
Judd Heape: Cela a beaucoup à voir avec le réglage, et si vous n'avez pas de multi-images, ou je dirais qu'un très bon capteur d'image n'est pas disponible, avec une sensibilité élevée ou des optiques avec de faibles nombres f. Une façon de se débarrasser du bruit dans des conditions de faible luminosité en particulier consiste à appliquer davantage de réduction du bruit, mais ce qui se produit lorsque vous appliquez davantage de réduction du bruit, c'est que vous perdez des détails, de sorte que les bords nets deviennent flous. Désormais, vous pouvez vous en débarrasser si vous appliquez ces techniques multi-images. Ou si vous appliquez des techniques d’IA, qui peuvent en quelque sorte déterminer où se trouvent les bords des objets et des visages, et ce genre de choses. Donc, appliquer uniquement une réduction du bruit par force brute de nos jours n'est pas vraiment la façon de le gérer, car vous finissez par perdre des détails.
Ce que vous voulez faire, c'est utiliser des techniques multi-images ou des techniques d'IA afin de pouvoir toujours appliquer du bruit. réduction pour ressembler davantage à des zones intérieures d'objets tout en gardant de jolis bords nets ou en gardant des bords tranchants objets. C'est donc ce que je dirais: utiliser l'IA ou le multi-frame est le moyen de réduire le bruit et d'améliorer les images dans des conditions de faible luminosité à l'avenir.
Idrees Patel: Oui, et c’est exactement ce que je voulais entendre. [C'est] parce que c'est la principale chose qui différencie les excellents appareils photo pour smartphone des appareils photo de niveau intermédiaire ou économique.
Judd Heape: Ouais.
Idrees Patel: Les excellents appareils photo des smartphones savent quand appliquer la réduction du bruit et quand ne pas le faire.
Judd Heape: Exactement. Oui, et comme je l'ai dit, le réglage de la caméra est réellement effectué par nos clients ou par les constructeurs OEM, et certains constructeurs préfèrent une image plus douce avec moins de bruit. Certains préfèrent révéler plus de détails avec peut-être un peu plus de bruit.
C'est donc un compromis et vous avez donc des limites. Et c'est comme je l'ai dit, la meilleure chose à faire est d'obtenir un meilleur capteur d'image avec une sensibilité plus élevée, des pixels plus gros ou des optiques à nombre f inférieur, car vous obtenez alors plus de lumière dès le début, c'est toujours mieux. Mais si vous ne pouvez pas faire cela, alors au lieu de simplement augmenter la réduction du bruit et perdre des détails, vous souhaitez utiliser des techniques multi-images ou IA.
Analyse et contexte: C’est, à mon avis, le plus gros problème actuellement avec les appareils photo des smartphones. Oui, vous pouvez utiliser un capteur 48MP ou 64MP ou même un capteur 108MP. Cependant, si vous ne choisissez pas d'utiliser une réduction du bruit restreinte avec les techniques MFNR ou IA, tous ces mégapixels, ce regroupement 4 en 1 et même ce regroupement 9 en 1 ne sont pas d'une grande utilité. Le Galaxy S20 Ultra en est le parfait exemple, avec son appareil photo principal de 108 MP. a été largement considéré comme une déception. Samsung a fait marche arrière dans le traitement de l'image en utilisant une réduction du bruit extrêmement agressive dans ses modes nuit de ses produits phares 2020, tandis que la série Galaxy S10 2019 avait ironiquement une meilleure qualité d'image.
Judd révèle que certains constructeurs préfèrent en fait une image plus douce avec moins de bruit, ce qui est fondamentalement un mauvais choix. Le réglage est effectué par les fabricants d'appareils et, par conséquent, deux téléphones utilisant le même capteur et alimentés par le même SoC peuvent produire des photos très, très différentes. Il faut espérer que ces fabricants d’appareils apprendront la vérité de leurs concurrents plus performants. Alors que Samsung s'est perdu dans le traitement d'image cette année, OnePlus présente un contraste frappant. Le OnePlus 8 Pro est l'un des meilleurs appareils photo pour smartphone du marché, ce qui constitue une réussite notable compte tenu du très mauvais rendement de l'appareil photo du OnePlus 5T en 2017. La mentalité de traitement d’image doit changer pour que les photos soient nettes, quelle que soit l’ampleur de la guerre des mégapixels.
Décodage et encodage AV1
Michaal Rahman: C'est donc un peu différent des autres discussions que nous avons sur la qualité de la caméra. L'une des questions que certains membres de la communauté des codecs multimédias open source se demandent est de savoir quand Qualcomm prendra en charge Décodage AV1 et éventuellement encodage. Je sais que c'est un peu exagéré, mais Google exige que les téléviseurs 4K HDR et 8K sur Android 10 prennent en charge le décodage AV1 et Netflix, Youtube, ils démarrent le déploiement de vidéos encodées en AV1. Cela ressemble donc à une lente augmentation des vidéos encodées en AV1. Nous nous demandons donc quand au moins le support du décodage sera disponible dans Spectra.
Déclaration de Qualcomm: Suite à votre question sur AV1, nous n'avons rien à annoncer aujourd'hui. Cependant, Snapdragon est actuellement capable de lire AV1 via un logiciel. Qualcomm travaille toujours avec des partenaires sur des codecs de nouvelle génération via la création de logiciels et de matériel Snapdragon, leader des codecs HDR, y compris la capture et la lecture en HEIF, HLG, HDR10, HDR10+ et Dolby Vision. Bien entendu, nous sommes conscients que, pour offrir les meilleures expériences CODEC à nos clients, y compris la prise en charge de la haute résolution et de la consommation la plus faible, il est souhaitable de les mettre en œuvre dans le matériel.
Enregistrement vidéo - compensation de mouvement
Michaal Rahman: Je ne sais donc pas si Idrees a d'autres questions, mais j'en avais une sur quelque chose que j'ai relu lors du Snapdragon Tech Summit. Il s'agit du noyau vidéo à compensation de mouvement. J'ai entendu dire qu'il y avait des améliorations dans le moteur de compensation de mouvement, pour réduire le bruit lors de l'enregistrement vidéo. Je me demandais si vous pouviez nous expliquer exactement ce qui a été amélioré et ce qui a été fait.
Judd Heape: Le moteur EVA (Engine for Video Analytics) a été amélioré avec un noyau de mappe de mouvement plus dense afin que l'EVA le moteur, vous savez, par exemple, regarde toujours la vidéo entrante et il a un noyau qui fait du mouvement estimation. Ce que nous avons fait, c'est que nous avons rendu ce noyau beaucoup plus précis lorsqu'il le fait presque à un niveau par pixel plutôt qu'un peu comme un niveau plus précis. niveau de bloc grossier et nous obtenons donc beaucoup plus de vecteurs de mouvement du moteur EVA du Snapdragon 865 que dans le précédent générations. Et cela signifie que le noyau vidéo qui effectue l'encodage peut utiliser ces vecteurs de mouvement pour être plus précis. précis sur l'encodage, mais le FAI côté caméra utilise également ces informations pour le bruit réduction.
Comme vous le savez, depuis des générations, nous utilisons un filtrage temporel à compensation de mouvement, qui est en réalité la réduction active du bruit pendant la vidéo, qui fait la moyenne des images au fil du temps pour éliminer le bruit.
Le problème avec cette technique, cependant, c'est s'il y a du mouvement dans la scène. Le mouvement finit par être simplement rejeté par la réduction du bruit parce qu'il ne peut pas être géré ou qu'il est maculé, et vous obtenez ces vilaines traînées et artefacts sur les objets en mouvement. Ainsi, dans le filtrage temporel compensé en mouvement, ce que nous avons fait dans le passé puisque nous n'avions pas cette carte de mouvement dense pour les mouvements locaux. mouvement, nous n'avons - simplement traité que les cas où on bouge la caméra, c'est assez simple car tout bouge à l'échelle mondiale.
Mais si vous filmez quelque chose et qu'il y a un objet qui bouge DANS la scène, ce que nous faisions avant [c'était ça] nous avons simplement ignoré ces pixels parce que nous ne pouvions pas les traiter pour le bruit, car il s'agissait d'un mouvement local. objet. Et par conséquent, si vous faisiez la moyenne image par image, l'objet se trouvait à un endroit différent à chaque image, vous ne pouviez donc pas vraiment le traiter.
Mais sur Snapdragon 865, car nous avons la carte de mouvement la plus dense et nous avons la possibilité de regarder les vecteurs de mouvement sur presque un pixel. Par pixel, nous sommes en fait capables de traiter ces pixels déplacés localement image par image pour réduire le bruit, alors qu'avant, nous ne le pouvions pas. Je pense avoir mentionné une métrique dans le discours. je ne me souviens pas du numéro (c'était 40%) mais pour la plupart des vidéos, un pourcentage élevé de pixels en moyenne peuvent désormais être traités contre le bruit, alors que dans la génération précédente, ils ne pouvaient pas l'être. Et cela s’explique en partie par la capacité de comprendre le mouvement local et pas seulement le mouvement global.
Enregistrement vidéo - HDR
Idrees Patel: Une autre question que je me pose concerne la vidéo HDR. Cette année, je vois de nombreux autres fabricants d’appareils proposer l’enregistrement vidéo HDR10. Est-ce donc quelque chose qui a été promu avec le Snapdragon 865, ou existe-t-il depuis quelques générations.
Judd Heape: Oh oui, alors comme nous en avons parlé au Tech Summit, nous avons eu le HDR10, qui est la norme vidéo pour le HDR sur le marché. côté encodage de la caméra depuis quelques générations maintenant, depuis Snapdragon 845, je crois, et nous avons constamment amélioré que.
L'année dernière, nous avons parlé du HDR10+, qui est un enregistrement HDR 10 bits, mais au lieu de métadonnées statiques, il contient des métadonnées dynamiques, donc les métadonnées capturées par la caméra pendant la scène est en fait enregistré en temps réel, de sorte que lorsque vous la lisez, le moteur de lecture comprend s'il s'agissait d'une pièce sombre ou d'une pièce lumineuse, et peut compenser que.
L'année dernière, au Tech Summit, nous avons également parlé de la capture Dolby Vision, qui est l'alternative de Dolby au HDR10+. C'est très similaire là où ils produisent également les métadonnées dynamiques. Ainsi, Snapdragon peut aujourd’hui prendre en charge ces trois formats: HDR10, HDR10+ et Dolby Vision. Il n'y a donc vraiment aucune contrainte, nos constructeurs peuvent choisir la méthode qu'ils préfèrent. Nous avons des clients qui utilisent le HDR10 depuis un certain temps maintenant, et l'année dernière et cette année, de plus en plus de clients optent pour le HDR10+. Et je pense qu’à l’avenir, vous verrez également une certaine adoption de Dolby Vision Capture.
Alors oui, nous en avons fortement fait la promotion. Le HDR est vraiment important pour nous, tant du côté des instantanés que du côté de la vidéo. Et comme je l'ai dit, nous nous sommes engagés sur les formats HDR10 et HDR10+ et maintenant Dolby Vision, vous savez depuis Snapdragon 845 et maintenant même récemment Snapdragon 865 pour Dolby Vision.
Michaal Rahman: De plus, je ne savais pas vraiment si des fournisseurs avaient déjà implémenté l'enregistrement Dolby Vision, mais je suppose que cela répond à cette question. [C’est] quelque chose que nous verrons dans le futur.
Judd Heape: Bien sûr – je ne peux pas dire quels fournisseurs sont intéressés et ce genre de choses. Ce serait une question pour Dolby; c'est leur fonctionnalité et donc si vous souhaitez plus d'informations à ce sujet, je vous suggère de contacter Dolby. Mais à ce jour, à ma connaissance, aucun combiné n'a encore été doté de Dolby Vision Capture.
Idrees Patel: Parce que vous avez également besoin d'un support d'affichage. J'ai remarqué que les écrans des smartphones prennent en charge HDR10 et HDR10+ mais pas Dolby Vision.
Judd Heape: Ouais en fait, mais la lecture Dolby Vision a été prise en charge sur Snapdragon dans le passé. Il peut fonctionner avec un écran donné et l'écran ne doit pas nécessairement répondre à des critères spécifiques pour être conforme à Dolby Vision, sauf que Dolby évaluera l'affichage et s'assurera qu'il a une certaine gamme de couleurs, un certain gamma, une certaine profondeur de bits, une certaine luminosité et un certain contraste. rapport.
Donc, vous savez, vous pouvez acheter un écran HDR10, mais vous pouvez également acheter un combiné prenant en charge Dolby Vision. lecture, mais Doby aura qualifié cet affichage pour s'assurer qu'il est conforme à leurs strictes exigences.
Collaboration avec des éditeurs de logiciels: Imint, Morpho et Arcsoft
Michaal Rahman: Je suppose qu'il me reste juste une question de suivi, pour faire plus de recherches avec une entreprise avec laquelle nous avons parlé récemment. Imint. Ils ont récemment amélioré leur Logiciel de stabilisation Vidhance à travailler avec le Spectra 480. Je sais que vous travaillez avec de nombreuses entreprises qui profitent également du Spectra 480, pour le traitement. Je me demande si vous êtes en mesure de divulguer davantage d'exemples de ces technologies qui ont - ou des partenaires que vous avez travaillé, juste pour que ce soit] quelque chose que nous puissions suivre, en savoir plus sur la façon dont Spectra 480 est utilisé dans le champ.
Judd Heape: Nous travaillons avec de nombreux éditeurs de logiciels. Comme ce que nous avons mentionné dans le passé, Dolby en fait partie. Il y en a d'autres comme vous l'avez mentionné, Imint/Vidhance pour EIS (Electronic Image Stabilization). Nous avons également mentionné Morpho et Arcsoft auparavant, nous travaillons également en étroite collaboration avec eux.
En ce qui concerne la manière dont nous travaillons avec eux, notre politique est que nous souhaitons vraiment travailler en étroite collaboration avec ces éditeurs de logiciels indépendants et faire en sorte que sûr que quoi qu'ils fassent dans le logiciel, ils sont capables d'exploiter le matériel de Snapdragon pour obtenir la consommation d'énergie la plus faible possible.
Ainsi, l'une des choses que nous faisons avec ces fournisseurs est de nous assurer qu'ils ont un très bon accès au moteur HVX, ou au cœur Hexagon DSP. Ils utilisent également le moteur EVA pour obtenir des vecteurs de mouvement et utiliser le matériel et le moteur EVA pour la manipulation d'images afin que ils peuvent effectuer le mouvement, la traduction et la correction de l'image et ce genre de choses dans un matériel plutôt que d'utiliser le GPU pour le faire que.
Nous travaillons donc en étroite collaboration avec ces éditeurs de logiciels, notamment ceux que j'ai mentionnés, pour nous assurer qu'ils ne se contentent pas de tout mettre en œuvre. et des logiciels dans le processeur, mais ils utilisent des éléments tels que le DSP et les accélérateurs matériels de l'EVA pour obtenir de meilleures performances et réduire la consommation. consommation. C'est donc également très important pour nous, car cela offre à nos clients la meilleure combinaison possible de fonctionnalités et de consommation d'énergie.
[Commentaires de clôture de Judd]: Je voulais juste dire, merci les gars pour toutes ces très bonnes questions. Ils sont vraiment très détaillés. Je suis chez Qualcomm depuis environ trois ans maintenant et je regarde notre passé, même au-delà de mon mandat ici où nous avons commencé sur Spectra auparavant. Snapdragon 845, nous avons travaillé très dur pour améliorer considérablement le FAI, la caméra et l'expérience globale au cours des dernières années. années. Je suis vraiment enthousiasmé par ce que l'avenir nous réserve. Et je suis enthousiasmé par ce que nous annoncerons lors des futurs sommets technologiques sur lesquels vous pourrez poser des questions et écrire. [Spectra Camera] est probablement, à mon avis, l’une des technologies les plus intéressantes de Qualcomm.
Dernières pensées
C'était formidable d'avoir une discussion avec Judd sur les contributions de Qualcomm à la photographie sur smartphone. Nous pouvons avoir des sentiments mitigés à propos de l'entreprise et de son système de licence de brevet, mais l'empreinte de Qualcomm sur l'industrie des smartphones est ressentie par tout le monde, que vous en parliez les brevets, la 4G et la 5G, le Wi-Fi, les GPU Adreno, les FAI Spectra et les puces Snapdragon elles-mêmes, qui sont largement considérées comme la référence en matière de smartphone Android marché.
Il reste encore de nombreux problèmes à résoudre dans la photographie sur smartphone, mais l'avenir est brillant car Qualcomm promet de faire davantage de progrès dans les domaines vastes et en pleine croissance du ML, qui alimente IA. Voyons ce que Qualcomm a à annoncer dans ce domaine lors du prochain Snapdragon Tech Summit.