Sony a anunțat primii senzori de imagine din lume cu procesare AI echipată sub forma IMX500 și IMX501.
Sony este cel mai mare jucător când vine vorba de furnizarea de senzori de imagine a camerei pentru smartphone-uri. Exemple de senzori populari includ 48MP IMX586, care a fost folosit de o varietate uluitoare de telefoane care variază în diferite game de prețuri în 2019. The IMX586 a fost succedat de 64MP IMX686. Desigur, compania nu se ocupă doar de senzori de imagine pentru smartphone-uri. Are o gamă foarte reușită de camere premium fără oglindă, care sunt adesea considerate standardul de aur. Ritmul său neobosit de inovație nu dă niciun semn de încetare, deoarece acum a anunțat viitoarea lansare a primilor săi senzori de imagine cu procesare AI, IMX500 și, respectiv, IMX501.
Sony IMX500 și IMX501 urmează două modele de senzori inteligenți de vedere. Sony susține că sunt primii senzori de imagine din lume care sunt echipați cu funcționalitate de procesare AI. Compania spune că includerea funcționalității de procesare AI pe senzorul de imagine în sine permite procesarea AI de vârf și extragerea doar a datelor necesare. Acest lucru reduce latența transmisiei datelor, abordează problemele legate de confidențialitate și reduce consumul de energie și costurile de comunicare în comparație cu utilizarea serviciilor cloud.
Este important de reținut că acești doi senzori nu sunt destinați camerelor telefoanelor. În schimb, aplicațiile sunt în industria de retail și echipamente industriale și contribuie la construirea „sistemelor optime” care se conectează cu cloud-ul.
De ce s-a integrat procesarea AI cu senzorul în sine? Sony explică că răspândirea IoT a dus la conectarea tuturor tipurilor de dispozitive la cloud, ceea ce face sisteme de procesare a informațiilor obișnuite, în care informațiile obținute de la astfel de dispozitive sunt procesate prin AI pe nor. Problema asociată cu o astfel de abordare este latența crescută a transmisiei datelor care împiedică procesarea informațiilor în timp real; preocupări de securitate din partea utilizatorilor asociate cu stocarea datelor de identificare personală în cloud; și alte probleme, cum ar fi consumul crescut de energie și costurile de comunicare care vin cu serviciile cloud.
IMX500 și IMX501 au o configurație stivuită, care constă dintr-un cip de pixeli și un cip logic. Funcționalitatea de analiză și procesare a imaginii AI sunt echipate pe cipul logic. Semnalul dobândit de cipul de pixeli este procesat prin AI pe senzor, ceea ce elimină nevoia de procesoare de înaltă performanță sau memorie externă. Acest lucru, la rândul său, permite dezvoltarea sistemelor AI de vârf.
Senzorul emite metadate în loc de informații despre imagine, ceea ce duce la un volum redus de date și abordează problemele legate de confidențialitate. Capacitatea AI face posibilă aplicații precum urmărirea obiectelor în timp real cu procesare AI de mare viteză. Diferite modele AI pot fi alese prin rescrierea memoriei interne în funcție de cerințele utilizatorului sau de condițiile locației în care este utilizat sistemul.
Cipul de pixeli al acestor senzori are BSI și are aproximativ 12,3 MP efectivi pentru captarea informațiilor. Formatul optic este de 1/2,3" (diagonala de 7,857 mm) cu dimensiunea pixelilor de 1,55 microni. Au o matrice de filtre color Bayer. Senzorii sunt capabili să înregistreze video 4K la 60fps fără procesare AI și 4K la 30fps cu procesare AI. Cipul local echipează și DSP-ul original Sony, pe lângă circuitul de funcționare convențional al senzorului de imagine. DSP-ul este dedicat procesării semnalului AI, precum și memoriei pentru modelul AI. Cu aceasta, procesoarele de înaltă performanță și memoria externă nu sunt necesare, beneficiind astfel de sistemele AI de vârf.
Fluxul de lucru al senzorilor de imagine este explicat de Sony. Semnalele dobândite de cipul de pixeli sunt rulate printr-un ISP, iar procesarea AI se face în etapa de proces pe cip logic, cu informațiile extrase scoase sub formă de metadate, ceea ce reduce cantitatea de date manipulate. Informațiile reale ale imaginii în sine nu sunt transmise, ceea ce este benefic pentru securitate și confidențialitate. Utilizatorii pot selecta formatul de ieșire a datelor, inclusiv imaginile în format ISP (YUV/RGB) și imaginile extrase zone specifice ROI (Regiune de interes).
De asemenea, Sony promovează viteza. Se spune că atunci când un videoclip este înregistrat folosind un senzor de imagine convențional, este necesar să se trimită date pentru fiecare individ cadru de ieșire pentru procesarea AI, ceea ce duce la creșterea transmisiei de date și îngreunează realizarea în timp real performanţă. Noii senzori IMX, pe de altă parte, efectuează procesare ISP și procesare AI de mare viteză (3,1 ms). procesare pentru MobileNet V1*2) pe cipul logic, completând astfel întregul proces într-un singur videoclip cadru. Acest lucru, la rândul său, face posibilă furnizarea de „urmărire de înaltă precizie, în timp real a obiectelor în timpul înregistrării video”, potrivit Sony.
În cele din urmă, utilizatorii pot scrie modelele AI alese în memoria încorporată și o pot actualiza în funcție de cerințele acesteia sau de condițiile locației în care este utilizat sistemul. Sony oferă un exemplu în care mai multe camere care utilizează acest produs sunt instalate într-o locație de vânzare cu amănuntul, și un singur tip de cameră poate fi utilizat cu versatilitate în diferite locații, ore și scopuri. Când camera este instalată la intrarea în unitate, poate fi folosită pentru a număra numărul de vizitatori care intră în unitate; atunci când este instalat pe raftul unui magazin, poate fi folosit pentru a detecta lipsurile de stoc; când este pe tavan, poate fi folosit pentru cartografierea termică a vizitatorilor magazinului și așa mai departe. Modelul AI dintr-o cameră dată poate fi rescris dintr-unul folosit pentru a detecta hărțile termice la unul pentru identificarea comportamentului consumatorilor.
După cum pare, anunțul lansării viitoare a senzorilor de imagine este într-adevăr o realizare notabilă. Cu toate acestea, vine cu propriile sale implicații pentru supraveghere. În acest moment, senzorii sunt destinați soluțiilor de putere redusă, cum ar fi camerele de securitate. Camerele pentru smartphone-uri pot încorpora această tehnologie câțiva ani mai târziu, dar nu este pe carduri deocamdată din cauza limitărilor, deoarece cipul logic încorporat nu poate egala versatilitatea oferită de ISP-urile moderne (cum ar fi Spectra ISP în SoC-urile Qualcomm Snapdragon). În prezent, camerele smartphone-urilor funcționează diferit, unde senzorul în sine este relativ prost și funcționează cu un ISP inteligent găsit ca parte a SoC al telefonului. ISP-ul face toată munca de procesare a imaginii, ceea ce înseamnă că rolul real al senzorului în sine este destul de limitat în camerele moderne pentru smartphone-uri (procesarea imaginii este mai importantă decât a avea un hardware excelent al camerei pentru imagine calitate). Fotografia computațională este noul cuvânt la modă, dar în lumea industrială, IMX500 și IMX501 încearcă să aducă gloria procesării AI senzorilor înșiși.
IMX500 și IMX501 sunt programate să fie lansate în produse anul viitor. Sony intenționează să lanseze mostre ale produselor în aprilie și, respectiv, iunie 2020. Pentru mai multe informații despre specificațiile lor, cititorii sunt sfătuiți să verifice linkul sursă.
Sursă: Sony