Sony ha annunciato i primi sensori di immagine per fotocamera al mondo dotati di elaborazione AI sotto forma di IMX500 e IMX501.
Sony è il più grande attore quando si tratta di fornire sensori di immagine per fotocamere per smartphone. Esempi di sensori popolari includono l’IMX586 da 48 MP, che è stato utilizzato da una sconcertante varietà di telefoni di tutte le fasce di prezzo nel 2019. IL IMX586 è stato sostituito dall'IMX686 da 64 MP. Ovviamente l'azienda non si occupa solo di sensori di immagine per smartphone. Ha una gamma di fotocamere mirrorless premium di grande successo che sono spesso considerate lo standard di riferimento. Il suo ritmo incessante di innovazione non mostra segni di cedimento, poiché ha ora annunciato l'imminente rilascio dei suoi primi sensori di immagine con elaborazione AI, rispettivamente IMX500 e IMX501.
Sony IMX500 e IMX501 sono due modelli imminenti di sensori di visione intelligenti. Sony afferma che sono i primi sensori di immagine al mondo ad essere dotati di funzionalità di elaborazione AI. L’azienda afferma che l’inclusione della funzionalità di elaborazione AI sul sensore di immagine stesso consente l’elaborazione AI edge ad alta velocità e l’estrazione solo dei dati necessari. Ciò riduce la latenza della trasmissione dei dati, risolve i problemi di privacy e riduce il consumo energetico e i costi di comunicazione rispetto all’utilizzo dei servizi cloud.
È importante notare che questi due sensori non sono destinati alle fotocamere dei telefoni. Invece, le applicazioni riguardano i settori della vendita al dettaglio e delle apparecchiature industriali e contribuiscono alla costruzione di "sistemi ottimali" collegati al cloud.
Perché l'elaborazione dell'intelligenza artificiale è integrata con il sensore stesso? Sony spiega che la diffusione dell'IoT ha portato tutti i tipi di dispositivi a essere connessi al cloud, il che rende possibile comuni sistemi di elaborazione delle informazioni, in cui le informazioni ottenute da tali dispositivi vengono elaborate tramite l'intelligenza artificiale sul nuvola. Il problema associato a tale approccio è l'aumento della latenza di trasmissione dei dati che ostacola l'elaborazione delle informazioni in tempo reale; preoccupazioni per la sicurezza degli utenti associate all'archiviazione di dati personali identificabili nel cloud; e altri problemi come l’aumento del consumo energetico e dei costi di comunicazione associati ai servizi cloud.
L'IMX500 e l'IMX501 presentano una configurazione impilata, che consiste in un chip pixel e un chip logico. Sul chip logico sono presenti le funzionalità di analisi ed elaborazione delle immagini AI. Il segnale acquisito dal chip pixel viene elaborato tramite AI sul sensore, eliminando la necessità di processori ad alte prestazioni o memoria esterna. Ciò, a sua volta, consente lo sviluppo di sistemi di IA edge.
Il sensore emette metadati anziché informazioni sull'immagine, il che si traduce in un volume di dati ridotto e risolve i problemi di privacy. La capacità AI rende possibili applicazioni come il tracciamento di oggetti in tempo reale con elaborazione AI ad alta velocità. È possibile scegliere diversi modelli di intelligenza artificiale riscrivendo la memoria interna in base alle esigenze dell'utente o alle condizioni del luogo in cui viene utilizzato il sistema.
Il chip pixel di questi sensori ha BSI e ha circa 12,3 MP effettivi per l'acquisizione di informazioni. Il formato ottico è 1/2,3" (7,857 mm di diagonale) con pixel da 1,55 micron. Hanno un array di filtri colorati Bayer. I sensori sono in grado di registrare video 4K a 60 fps senza elaborazione AI e di registrare video 4K a 30 fps con elaborazione AI. Il chip locale equipaggia anche il DSP originale di Sony oltre al circuito operativo del sensore di immagine convenzionale. Il DSP è dedicato all'elaborazione del segnale AI e alla memoria per il modello AI. In questo modo non sono necessari processori ad alte prestazioni e memoria esterna, a tutto vantaggio dei sistemi di intelligenza artificiale all’avanguardia.
Il flusso di lavoro dei sensori di immagine è spiegato da Sony. I segnali acquisiti dal chip pixel vengono eseguiti tramite un ISP e l'elaborazione dell'intelligenza artificiale viene eseguita nella fase di processo sul chip logico, con le informazioni estratte emesse sotto forma di metadati, che riducono la quantità di dati gestito. Le informazioni effettive sull'immagine non vengono emesse, il che è vantaggioso per la sicurezza e la privacy. Gli utenti possono selezionare il formato di output dei dati, comprese le immagini in formato ISP (YUV/RGB) e le immagini di estrazione dell'area specifica ROI (regione di interesse).
Sony promuove anche la velocità. Dice che quando un video viene registrato utilizzando un sensore di immagine convenzionale, è necessario inviare i dati per ciascun individuo frame di output per l'elaborazione AI, che si traduce in una maggiore trasmissione dei dati e rende difficile il raggiungimento del tempo reale prestazione. I nuovi sensori IMX, invece, eseguono l'elaborazione ISP e l'elaborazione AI ad alta velocità (3,1 ms elaborazione per MobileNet V1*2) sul chip logico, completando così l'intero processo in un unico video telaio. Ciò, a sua volta, rende possibile fornire "il tracciamento degli oggetti in tempo reale e ad alta precisione durante la registrazione di video", secondo Sony.
Infine, gli utenti possono scrivere i modelli AI di loro scelta nella memoria incorporata e aggiornarli in base alle proprie esigenze o alle condizioni del luogo in cui viene utilizzato il sistema. Sony fornisce un esempio in cui più telecamere che utilizzano questo prodotto sono installate in un punto vendita, e un singolo tipo di fotocamera può essere utilizzato con versatilità in luoghi, orari e luoghi diversi scopi. Quando la telecamera è installata all'ingresso della struttura, può essere utilizzata per contare il numero di visitatori che entrano nella struttura; se installato sullo scaffale di un negozio, può essere utilizzato per rilevare eventuali carenze di scorte; quando è sul soffitto può essere utilizzato per la mappatura termica dei visitatori del negozio e così via. Il modello AI in una determinata fotocamera può essere riscritto da quello utilizzato per rilevare le mappe di calore a quello utilizzato per identificare il comportamento dei consumatori.
A quanto pare, l'annuncio dell'imminente rilascio dei sensori di immagine è davvero un risultato notevole. Tuttavia, ha le sue implicazioni per la sorveglianza. Al momento, i sensori sono destinati a soluzioni a basso consumo come le telecamere di sicurezza. Le fotocamere degli smartphone potrebbero incorporare questa tecnologia tra qualche anno, ma per ora non è prevista a causa delle limitazioni poiché il chip logico incorporato non può eguagliare la versatilità offerta dai moderni ISP (come Spettri ISP nei SoC Qualcomm Snapdragon). Al momento, le fotocamere degli smartphone funzionano in modo diverso, dove il sensore di per sé è relativamente stupido e funziona con un ISP intelligente che si trova come parte del SoC del telefono. L'ISP svolge tutto il lavoro di elaborazione delle immagini, il che significa che il ruolo effettivo del sensore stesso è piuttosto limitato nelle moderne fotocamere degli smartphone (l'elaborazione delle immagini è più importante che disporre di un ottimo hardware per la fotocamera per l'immagine qualità). La fotografia computazionale è la nuova parola d'ordine, ma nel mondo industriale, IMX500 e IMX501 tentano di portare la gloria dell'elaborazione AI ai sensori stessi.
Il lancio di IMX500 e IMX501 è previsto per il prossimo anno. Sony prevede di rilasciare campioni dei prodotti rispettivamente ad aprile e giugno 2020. Per ulteriori informazioni sulle loro specifiche, si consiglia ai lettori di controllare il collegamento alla fonte.
Fonte: Sony