Sony a annoncé les premiers capteurs d'image de caméra au monde dotés d'un traitement IA équipé sous la forme de l'IMX500 et de l'IMX501.
Sony est le plus grand acteur en matière de fourniture de capteurs d’image de caméra pour smartphones. Des exemples de capteurs populaires incluent le 48MP IMX586, qui a été utilisé par une variété ahurissante de téléphones dans toutes les gammes de prix en 2019. Le IMX586 a été remplacé par le 64MP IMX686. Bien entendu, l’entreprise ne s’occupe pas uniquement de capteurs d’images pour smartphones. Il propose une gamme extrêmement réussie d’appareils photo sans miroir haut de gamme qui sont souvent considérés comme la référence. Son rythme d'innovation incessant ne montre aucun signe de ralentissement, puisqu'il a annoncé la sortie prochaine de ses premiers capteurs d'image avec traitement AI, respectivement l'IMX500 et l'IMX501.
Les Sony IMX500 et IMX501 sont deux prochains modèles de capteurs de vision intelligents. Sony affirme qu'il s'agit des premiers capteurs d'image au monde à être équipés d'une fonctionnalité de traitement IA. La société affirme que l’inclusion de la fonctionnalité de traitement de l’IA sur le capteur d’image lui-même permet un traitement de l’IA de pointe à grande vitesse et l’extraction uniquement des données nécessaires. Cela réduit la latence de transmission des données, répond aux problèmes de confidentialité et réduit la consommation d'énergie et les coûts de communication par rapport à l'utilisation de services cloud.
Il est important de noter que ces deux capteurs ne sont pas destinés aux caméras des téléphones. Au lieu de cela, les applications se trouvent dans les secteurs de la vente au détail et des équipements industriels et contribuent à la création de « systèmes optimaux » liés au cloud.
Pourquoi le traitement de l’IA est-il intégré au capteur lui-même? Sony explique que la propagation de l'IoT a entraîné la connexion de tous les types d'appareils au cloud, ce qui rend systèmes de traitement de l'information courants, dans lesquels les informations obtenues à partir de tels appareils sont traitées via l'IA sur le nuage. Le problème associé à une telle approche est l’augmentation de la latence de transmission des données qui entrave le traitement des informations en temps réel; les problèmes de sécurité des utilisateurs liés au stockage de données personnelles identifiables dans le cloud; et d'autres problèmes tels que l'augmentation de la consommation d'énergie et des coûts de communication associés aux services cloud.
L'IMX500 et l'IMX501 présentent une configuration empilée composée d'une puce de pixel et d'une puce logique. Les fonctionnalités d'analyse et de traitement d'images AI sont équipées sur la puce logique. Le signal acquis par la puce pixel est traité via l'IA sur le capteur, ce qui élimine le besoin de processeurs hautes performances ou de mémoire externe. Cela permet à son tour le développement de systèmes d’IA de pointe.
Le capteur génère des métadonnées au lieu d'informations d'image, ce qui entraîne une réduction du volume de données et répond aux problèmes de confidentialité. La capacité d’IA rend possibles des applications telles que le suivi d’objets en temps réel avec un traitement d’IA à grande vitesse. Différents modèles d'IA peuvent être choisis en réécrivant la mémoire interne en fonction des besoins de l'utilisateur ou des conditions de l'emplacement où le système est utilisé.
La puce pixel de ces capteurs possède un BSI et dispose d'environ 12,3 MP effectifs pour capturer des informations. Le format optique est de 1/2,3" (diagonale de 7,857 mm) avec une taille de pixel de 1,55 microns. Ils disposent d'un ensemble de filtres de couleur Bayer. Les capteurs sont capables d’enregistrer des vidéos 4K à 60 ips sans traitement AI et d’enregistrer des vidéos 4K à 30 ips avec traitement AI. La puce locale équipe également le DSP d'origine de Sony en plus du circuit de fonctionnement conventionnel du capteur d'image. Le DSP est dédié au traitement du signal IA ainsi qu'à la mémoire pour le modèle IA. Ainsi, les processeurs hautes performances et la mémoire externe ne sont pas nécessaires, ce qui profite aux systèmes d'IA de pointe.
Le flux de travail des capteurs d'image est expliqué par Sony. Les signaux acquis par la puce pixel sont transmis via un FAI et le traitement de l'IA est effectué au cours de l'étape de processus sur le puce logique, avec les informations extraites sorties sous forme de métadonnées, ce qui réduit la quantité de données manipulé. Les informations réelles sur l'image elles-mêmes ne sont pas émises, ce qui est bénéfique pour la sécurité et la confidentialité. Les utilisateurs peuvent sélectionner le format de sortie des données, y compris les images au format FAI (YUV/RGB) et les images d'extraction de zone spécifique ROI (région d'intérêt).
Sony favorise également la vitesse. Il indique que lorsqu'une vidéo est enregistrée à l'aide d'un capteur d'image conventionnel, il est nécessaire d'envoyer des données pour chaque individu. trame de sortie pour le traitement de l'IA, ce qui entraîne une transmission de données accrue et rend difficile l'obtention du temps réel performance. Les nouveaux capteurs IMX, quant à eux, effectuent le traitement ISP et le traitement AI à grande vitesse (3,1 ms traitement pour MobileNet V1*2) sur la puce logique, complétant ainsi l'ensemble du processus dans une seule vidéo cadre. Selon Sony, cela permet à son tour de fournir "un suivi des objets en temps réel et de haute précision pendant l'enregistrement vidéo".
Enfin, les utilisateurs peuvent écrire les modèles d'IA de leur choix dans la mémoire intégrée et la mettre à jour en fonction de ses exigences ou des conditions de l'emplacement où le système est utilisé. Sony donne un exemple où plusieurs caméras utilisant ce produit sont installées dans un point de vente au détail, et un seul type de caméra peut être utilisé de manière polyvalente dans différents lieux, heures et fins. Lorsque la caméra est installée à l’entrée de l’établissement, elle peut être utilisée pour compter le nombre de visiteurs entrant dans l’établissement; installé dans les rayons d'un magasin, il peut être utilisé pour détecter des ruptures de stock; lorsqu'il est placé au plafond, il peut être utilisé pour la cartographie thermique des visiteurs du magasin, etc. Le modèle d’IA d’une caméra donnée peut être réécrit, passant d’un modèle utilisé pour détecter les cartes thermiques à un modèle destiné à identifier le comportement des consommateurs.
Il semblerait que l’annonce de la sortie prochaine des capteurs d’images constitue effectivement une réussite notable. Cependant, cela a ses propres implications en matière de surveillance. À l'heure actuelle, les capteurs sont destinés à des solutions à faible consommation telles que les caméras de sécurité. Les caméras des smartphones pourraient intégrer cette technologie dans quelques années, mais ce n'est pas prévu pour l'instant. en raison de limitations, car la puce logique intégrée ne peut pas égaler la polyvalence offerte par les FAI modernes (tels que le FAI Spectra dans les SoC Qualcomm Snapdragon). À l'heure actuelle, les caméras des smartphones fonctionnent différemment, le capteur en lui-même étant relativement stupide et fonctionnant avec un FAI intelligent intégré au SoC du téléphone. Le FAI effectue tout le travail de traitement de l'image, ce qui signifie que le rôle réel du capteur lui-même est assez limité. dans les appareils photo des smartphones modernes (le traitement de l'image est plus important que de disposer d'un excellent matériel photo pour l'image). qualité). La photographie informatique est le nouveau mot à la mode, mais dans le monde industriel, les IMX500 et IMX501 tentent d'apporter la gloire du traitement de l'IA aux capteurs eux-mêmes.
Les produits IMX500 et IMX501 devraient être lancés l'année prochaine. Sony prévoit de publier des échantillons des produits respectivement en avril et juin 2020. Pour plus d'informations sur leurs spécifications, il est conseillé aux lecteurs de consulter le lien source.
Source: Sony