A Sony anunciou os primeiros sensores de imagem de câmera do mundo com processamento de IA equipado, na forma do IMX500 e do IMX501.
A Sony é o maior player no fornecimento de sensores de imagem de câmeras para smartphones. Exemplos de sensores populares incluem o IMX586 de 48 MP, que foi usado por uma variedade desconcertante de telefones em todas as faixas de preço em 2019. O IMX586 foi sucedido pelo IMX686 de 64 MP. A empresa não lida apenas com sensores de imagem para smartphones, é claro. Possui uma linha de enorme sucesso de câmeras sem espelho premium que muitas vezes são consideradas o padrão ouro. Seu ritmo implacável de inovação não dá sinais de diminuir, já que anunciou agora o próximo lançamento de seus primeiros sensores de imagem com processamento de IA, o IMX500 e o IMX501, respectivamente.
O Sony IMX500 e o IMX501 são os próximos dois modelos de sensores de visão inteligentes. A Sony afirma que eles são os primeiros sensores de imagem do mundo equipados com funcionalidade de processamento de IA. A empresa afirma que incluir a funcionalidade de processamento de IA no próprio sensor de imagem permite o processamento de IA de alta velocidade e a extração apenas dos dados necessários. Isso reduz a latência de transmissão de dados, aborda questões de privacidade e reduz o consumo de energia e os custos de comunicação em comparação com o uso de serviços em nuvem.
É importante observar que esses dois sensores não se destinam a câmeras de telefones. Em vez disso, as aplicações estão nas indústrias de equipamentos industriais e de varejo, além de contribuir para a construção de “sistemas ideais” que se conectam à nuvem.
Por que o processamento de IA foi integrado ao próprio sensor? A Sony explica que a disseminação da IoT resultou na conexão de todos os tipos de dispositivos à nuvem, o que torna sistemas de processamento de informações são comuns, em que as informações obtidas de tais dispositivos são processadas via IA no nuvem. O problema associado a esta abordagem é o aumento da latência na transmissão de dados, dificultando o processamento de informações em tempo real; preocupações de segurança dos usuários associadas ao armazenamento de dados de identificação pessoal na nuvem; e outras questões, como o aumento do consumo de energia e dos custos de comunicação que acompanham os serviços em nuvem.
O IMX500 e o IMX501 apresentam uma configuração empilhada, que consiste em um chip de pixel e um chip lógico. A funcionalidade de análise e processamento de imagens AI está equipada no chip lógico. O sinal adquirido pelo chip pixel é processado via IA no sensor, o que elimina a necessidade de processadores de alto desempenho ou memória externa. Isso, por sua vez, permite o desenvolvimento de sistemas de IA de ponta.
O sensor gera metadados em vez de informações de imagem, o que resulta na redução do volume de dados e aborda questões de privacidade. A capacidade de IA torna possíveis aplicações como rastreamento de objetos em tempo real com processamento de IA de alta velocidade. Diferentes modelos de IA podem ser escolhidos reescrevendo a memória interna de acordo com as necessidades do usuário ou as condições do local onde o sistema está sendo utilizado.
O chip de pixel desses sensores possui BSI e possui aproximadamente 12,3 MP efetivos para captura de informações. O formato óptico é 1/2,3" (7,857 mm na diagonal) com tamanho de pixel de 1,55 mícron. Eles têm uma matriz de filtros de cores Bayer. Os sensores são capazes de gravar vídeo 4K a 60fps sem processamento de IA e gravar vídeo 4K a 30fps com processamento de IA. O chip local também equipa o DSP original da Sony, além do circuito convencional de operação do sensor de imagem. O DSP é dedicado ao processamento de sinais de IA, bem como à memória para o modelo de IA. Com isso, não são necessários processadores de alto desempenho e memória externa, beneficiando assim os sistemas de IA de ponta.
O fluxo de trabalho dos sensores de imagem é explicado pela Sony. Os sinais adquiridos pelo chip de pixel são executados através de um ISP, e o processamento de IA é feito no estágio de processo no chip lógico, com as informações extraídas emitidas na forma de metadados, o que reduz a quantidade de dados manipulado. As informações reais da imagem em si não são exibidas, o que é benéfico para a segurança e a privacidade. Os usuários podem selecionar o formato de saída de dados, incluindo imagens em formato ISP (YUV/RGB) e imagens de extração de área específica ROI (Região de Interesse).
A Sony também está promovendo velocidade. Diz que quando um vídeo é gravado com um sensor de imagem convencional é necessário enviar dados de cada indivíduo quadro de saída para processamento de IA, o que resulta em maior transmissão de dados e torna difícil alcançar desempenho. Os novos sensores IMX, por outro lado, realizam processamento ISP e processamento AI de alta velocidade (3,1ms processamento para MobileNet V1*2) no chip lógico, completando assim todo o processo em um único vídeo quadro. Isso, por sua vez, torna possível fornecer “rastreamento de objetos de alta precisão e em tempo real durante a gravação de vídeo”, segundo a Sony.
Por fim, os usuários podem gravar os modelos de IA de sua escolha na memória embarcada e atualizá-los de acordo com seus requisitos ou com as condições do local onde o sistema está sendo utilizado. A Sony dá um exemplo onde múltiplas câmeras que utilizam este produto são instaladas em um local de varejo, e um único tipo de câmera pode ser usado com versatilidade em diferentes locais, horários e propósitos. Quando a câmera é instalada na entrada das instalações, ela pode ser utilizada para contar o número de visitantes que entram nas instalações; quando instalado na prateleira de uma loja, pode ser utilizado para detectar falta de estoque; quando estiver no teto, pode ser usado para mapeamento térmico dos visitantes da loja e assim por diante. O modelo de IA em uma determinada câmera pode ser reescrito de um usado para detectar mapas de calor para outro para identificar o comportamento do consumidor.
Ao que parece, o anúncio do próximo lançamento dos sensores de imagem é de fato uma conquista notável. No entanto, isso traz suas próprias implicações para a vigilância. No momento, os sensores são destinados a soluções de baixo consumo de energia, como câmeras de segurança. As câmeras dos smartphones podem incorporar essa tecnologia daqui a alguns anos, mas ela não está nos planos por enquanto devido a limitações, pois o chip lógico incorporado não pode corresponder à versatilidade oferecida pelos ISPs modernos (como o Espectro ISP nos SoCs Qualcomm Snapdragon). No momento, as câmeras dos smartphones funcionam de maneira diferente, onde o sensor em si é relativamente burro e funciona com um ISP inteligente encontrado como parte do SoC do telefone. O ISP faz todo o trabalho de processamento de imagem, o que significa que a função real do sensor em si é bastante limitada em câmeras de smartphones modernos (o processamento de imagem é mais importante do que ter um ótimo hardware de câmera para imagem qualidade). Fotografia computacional é a nova palavra da moda, mas no mundo industrial, o IMX500 e o IMX501 tentam levar a glória do processamento de IA aos próprios sensores.
O IMX500 e o IMX501 estão programados para lançamento em produtos no próximo ano. A Sony planeja lançar amostras dos produtos em abril e junho de 2020, respectivamente. Para obter mais informações sobre suas especificações, os leitores são aconselhados a conferir o link da fonte.
Fonte: Sony