Sony ha anunciado los primeros sensores de imagen de cámara del mundo con procesamiento de IA equipados en forma de IMX500 e IMX501.
Sony es el actor más importante en el suministro de sensores de imagen de cámara para teléfonos inteligentes. Ejemplos de sensores populares incluyen el IMX586 de 48MP, que fue utilizado por una asombrosa variedad de teléfonos de todos los rangos de precios en 2019. El IMX586 Fue reemplazado por el IMX686 de 64MP. Por supuesto, la empresa no sólo se ocupa de sensores de imagen para teléfonos inteligentes. Tiene una línea de gran éxito de cámaras sin espejo premium que a menudo se consideran el estándar de oro. Su implacable ritmo de innovación no muestra signos de disminuir, ya que ahora ha anunciado el próximo lanzamiento de sus primeros sensores de imagen con procesamiento de IA, el IMX500 y el IMX501 respectivamente.
Sony IMX500 e IMX501 son los próximos dos modelos de sensores de visión inteligentes. Sony afirma que son los primeros sensores de imagen del mundo equipados con la funcionalidad de procesamiento de IA. La compañía dice que incluir la funcionalidad de procesamiento de IA en el propio sensor de imagen permite el procesamiento de IA de borde de alta velocidad y la extracción solo de los datos necesarios. Esto reduce la latencia de la transmisión de datos, aborda los problemas de privacidad y reduce el consumo de energía y los costos de comunicación en comparación con el uso de servicios en la nube.
Es importante tener en cuenta que estos dos sensores no están destinados a las cámaras de los teléfonos. En cambio, las aplicaciones se encuentran en las industrias minorista y de equipos industriales, además de contribuir a la construcción de "sistemas óptimos" que se vinculan con la nube.
¿Por qué el procesamiento de IA está integrado con el propio sensor? Sony explica que la expansión del IoT ha dado lugar a que todo tipo de dispositivos se conecten a la nube, lo que hace que Los sistemas de procesamiento de información son comunes, en los que la información obtenida de dichos dispositivos se procesa a través de IA en el nube. El problema asociado con este enfoque es el aumento de la latencia de transmisión de datos que dificulta el procesamiento de información en tiempo real; preocupaciones de seguridad de los usuarios asociadas con el almacenamiento de datos de identificación personal en la nube; y otros problemas como el aumento del consumo de energía y los costos de comunicación que conllevan los servicios en la nube.
El IMX500 y el IMX501 presentan una configuración apilada, que consta de un chip de píxeles y un chip lógico. La funcionalidad de procesamiento y análisis de imágenes de IA está equipada en el chip lógico. La señal adquirida por el chip de píxeles se procesa mediante IA en el sensor, lo que elimina la necesidad de procesadores de alto rendimiento o memoria externa. Esto, a su vez, permite el desarrollo de sistemas de inteligencia artificial de vanguardia.
El sensor genera metadatos en lugar de información de imagen, lo que reduce el volumen de datos y aborda los problemas de privacidad. La capacidad de IA hace posibles aplicaciones como el seguimiento de objetos en tiempo real con procesamiento de IA de alta velocidad. Se pueden elegir diferentes modelos de IA reescribiendo la memoria interna según los requisitos del usuario o las condiciones del lugar donde se utiliza el sistema.
El chip de píxeles de estos sensores cuenta con BSI y tiene aproximadamente 12,3 MP efectivos para capturar información. El formato óptico es de 1/2,3" (7,857 mm de diagonal) con un tamaño de píxel de 1,55 micras. Tienen una matriz de filtros de color Bayer. Los sensores son capaces de grabar vídeo 4K a 60 fps sin procesamiento de IA y grabar vídeo 4K a 30 fps con procesamiento de IA. El chip local también equipa el DSP original de Sony además del circuito de operación del sensor de imagen convencional. El DSP está dedicado al procesamiento de señales de IA, así como a la memoria para el modelo de IA. Con esto, no se necesitan procesadores de alto rendimiento ni memoria externa, lo que beneficia a los sistemas de IA de vanguardia.
Sony explica el flujo de trabajo de los sensores de imagen. Las señales adquiridas por el chip de píxeles se transmiten a través de un ISP y el procesamiento de IA se realiza en la etapa de proceso en el Chip lógico, con la información extraída en forma de metadatos, lo que reduce la cantidad de datos. manejado. La información de la imagen real no se genera, lo que resulta beneficioso para la seguridad y la privacidad. Los usuarios pueden seleccionar el formato de salida de datos, incluidas imágenes en formato ISP (YUV/RGB) e imágenes de extracción de áreas específicas de ROI (Región de interés).
Sony también está promoviendo la velocidad. Dice que cuando se graba un vídeo utilizando un sensor de imagen convencional, es necesario enviar datos de cada individuo marco de salida para el procesamiento de IA, lo que resulta en una mayor transmisión de datos y dificulta la consecución de datos en tiempo real. actuación. Los nuevos sensores IMX, por otro lado, realizan procesamiento ISP y procesamiento AI de alta velocidad (3,1 ms procesamiento para MobileNet V1*2) en el chip lógico, completando así todo el proceso en un solo vídeo marco. Esto, a su vez, permite ofrecer "un seguimiento de objetos en tiempo real y de alta precisión durante la grabación de vídeo", según Sony.
Finalmente, los usuarios pueden escribir los modelos de IA de su elección en la memoria integrada y actualizarla de acuerdo con sus requisitos o las condiciones de la ubicación donde se utiliza el sistema. Sony da un ejemplo en el que se instalan varias cámaras que utilizan este producto en un establecimiento minorista. y un solo tipo de cámara se puede utilizar con versatilidad en diferentes ubicaciones, momentos y propósitos. Cuando la cámara se instala en la entrada de las instalaciones, se puede utilizar para contar el número de visitantes que ingresan a las instalaciones; cuando se instala en el estante de una tienda, se puede utilizar para detectar escasez de existencias; cuando está en el techo, se puede utilizar para mapear el calor de los visitantes de la tienda, etc. El modelo de IA en una cámara determinada se puede reescribir de uno utilizado para detectar mapas de calor a uno para identificar el comportamiento del consumidor.
Como parece, el anuncio del próximo lanzamiento de los sensores de imagen es de hecho un logro notable. Sin embargo, esto tiene sus propias implicaciones para la vigilancia. Actualmente, los sensores están destinados a soluciones de bajo consumo, como cámaras de seguridad. Las cámaras de los teléfonos inteligentes pueden incorporar esta tecnología dentro de unos años, pero no está en las cartas por ahora. debido a limitaciones, ya que el chip lógico integrado no puede igualar la versatilidad que ofrecen los ISP modernos (como el ISP de espectros en los SoC Qualcomm Snapdragon). En este momento, las cámaras de los teléfonos inteligentes funcionan de manera diferente, donde el sensor en sí mismo es relativamente tonto y funciona con un ISP inteligente que se encuentra como parte del SoC del teléfono. El ISP hace todo el trabajo de procesamiento de imágenes, lo que significa que la función real del sensor en sí es bastante limitada. en las cámaras de los teléfonos inteligentes modernos (el procesamiento de imágenes es más importante que tener un excelente hardware de cámara para la imagen). calidad). La fotografía computacional es la nueva palabra de moda, pero en el mundo industrial, el IMX500 y el IMX501 intentan llevar la gloria del procesamiento de IA a los propios sensores.
Está previsto que el IMX500 y el IMX501 se lancen como productos el próximo año. Sony planea lanzar muestras de los productos en abril y junio de 2020 respectivamente. Para obtener más información sobre sus especificaciones, se recomienda a los lectores que consulten el enlace fuente.
Fuente: sony