Sony je najavio prve na svijetu senzore slike kamere s opremljenom AI obradom u obliku IMX500 i IMX501.
Sony je najveći igrač kada je u pitanju isporuka senzora slike fotoaparata za pametne telefone. Primjeri popularnih senzora uključuju 48MP IMX586, koji je 2019. godine korišten na zbunjujućem nizu telefona različitih cjenovnih razreda. The IMX586 naslijedio ga je 64MP IMX686. Tvrtka se, naravno, ne bavi samo senzorima slike za pametne telefone. Ima iznimno uspješnu liniju vrhunskih fotoaparata bez ogledala koji se često smatraju zlatnim standardom. Njegov neumorni tempo inovacija ne pokazuje znakove popuštanja, budući da je sada najavio nadolazeće izdanje svojih prvih senzora slike s AI obradom, IMX500 odnosno IMX501.
Sony IMX500 i IMX501 nadolazeća su dva modela senzora za inteligentni vid. Sony tvrdi da su oni prvi senzori slike na svijetu koji su opremljeni funkcijom AI obrade. Tvrtka kaže da uključivanje funkcionalnosti AI obrade na samom senzoru slike omogućuje brzu rubnu AI obradu i ekstrakciju samo potrebnih podataka. Ovo smanjuje kašnjenje prijenosa podataka, rješava pitanja privatnosti i smanjuje potrošnju energije i troškove komunikacije u usporedbi s korištenjem usluga u oblaku.
Važno je napomenuti da ova dva senzora nisu namijenjena kamerama telefona. Umjesto toga, aplikacije su u industriji maloprodajne i industrijske opreme, kao i doprinosu izgradnji "optimalnih sustava" koji se povezuju s oblakom.
Zašto je AI obrada integrirana sa samim senzorom? Sony objašnjava da je širenje IoT-a rezultiralo povezivanjem svih vrsta uređaja s oblakom, što čini sustavi obrade informacija uobičajeni, gdje se informacije dobivene od takvih uređaja obrađuju putem AI na oblak. Problem povezan s takvim pristupom je povećana latencija prijenosa podataka koja ometa obradu informacija u stvarnom vremenu; sigurnosni problemi korisnika povezani s pohranjivanjem osobnih podataka u oblaku; i druga pitanja kao što su povećana potrošnja energije i troškovi komunikacije koji dolaze s uslugama u oblaku.
IMX500 i IMX501 imaju složenu konfiguraciju koja se sastoji od čipa piksela i logičkog čipa. AI analiza slike i funkcionalnost obrade opremljeni su logičkim čipom. Signal koji prikuplja pikselni čip obrađuje se putem AI na senzoru, što eliminira potrebu za procesorima visokih performansi ili vanjskom memorijom. To pak omogućuje razvoj rubnih AI sustava.
Senzor emitira metapodatke umjesto slikovnih informacija, što rezultira smanjenom količinom podataka i rješava pitanja privatnosti. Mogućnost umjetne inteligencije omogućuje aplikacije poput praćenja objekata u stvarnom vremenu uz brzu AI obradu. Različiti modeli AI mogu se odabrati prepisivanjem interne memorije prema zahtjevima korisnika ili uvjetima lokacije na kojoj se sustav koristi.
Pikselni čip ovih senzora ima BSI i ima približno 12,3 efektivnih MP za snimanje informacija. Optički format je 1/2,3" (dijagonala 7,857 mm) s veličinom piksela od 1,55 mikrona. Imaju niz Bayerovih filtera u boji. Senzori su sposobni za 4K pri 60fps video snimanje bez AI obrade i 4K pri 30fps video snimanje s AI obradom. Lokalni čip također oprema Sonyjev originalni DSP uz konvencionalni radni krug senzora slike. DSP je posvećen AI obradi signala kao i memoriji za AI model. Uz to, procesori visokih performansi i vanjska memorija nisu potrebni, što daje prednost rubnim AI sustavima.
Tijek rada senzora slike objašnjava Sony. Signali koje prikuplja pikselni čip prolaze kroz ISP, a AI obrada se vrši u fazi procesa na logički čip, s ekstrahiranim informacijama koje se izlaze u obliku metapodataka, čime se smanjuje količina podataka rukovao. Sama stvarna informacija o slici se ne prikazuje, što je korisno za sigurnost i privatnost. Korisnici mogu odabrati format izlaza podataka uključujući slike ISP formata (YUV/RGB) i ROI (Region of Interest) izdvojene slike specifičnih područja.
Sony također promovira brzinu. Kaže da kada se video snima pomoću konvencionalnog senzora slike, potrebno je poslati podatke za svakog pojedinca izlazni okvir za AI obradu, što rezultira povećanim prijenosom podataka i otežava postizanje stvarnog vremena izvođenje. Novi IMX senzori, s druge strane, obavljaju ISP obradu i AI obradu velike brzine (3,1 ms obrada za MobileNet V1*2) na logičkom čipu, čime se cijeli proces dovršava u jednom videu okvir. To zauzvrat omogućuje isporuku "visoko preciznog praćenja objekata u stvarnom vremenu tijekom snimanja videa", prema Sonyju.
Konačno, korisnici mogu pisati AI modele po svom izboru u ugrađenu memoriju i ažurirati je u skladu sa svojim zahtjevima ili uvjetima lokacije na kojoj se sustav koristi. Sony daje primjer gdje je više kamera koje koriste ovaj proizvod instalirano na maloprodajnom mjestu, a jedna vrsta kamere može se koristiti sa svestranošću na različitim lokacijama, u različitim vremenima i svrhe. Kada je kamera postavljena na ulazu u objekt, može se koristiti za brojanje posjetitelja koji ulaze u objekt; kada se instalira na policu trgovine, može se koristiti za otkrivanje manjka zaliha; kada je na stropu može se koristiti za toplinsko mapiranje posjetitelja trgovine, i tako dalje. AI model u određenoj kameri može se prepisati iz onog koji se koristi za otkrivanje toplinskih mapa u onaj za prepoznavanje ponašanja potrošača.
Kako zvuči, najava skorog izdavanja senzora slike doista je značajno postignuće. Međutim, to dolazi sa svojim implikacijama za nadzor. Trenutačno su senzori namijenjeni rješenjima male snage kao što su sigurnosne kamere. Kamere na pametnim telefonima možda će uključivati ovu tehnologiju za nekoliko godina, ali za sada nije u planu zbog ograničenja jer ugrađeni logički čip ne može parirati svestranosti koju nude moderni ISP-ovi (kao što je Spectra ISP u Qualcomm Snapdragon SoC-ovima). Trenutačno kamere pametnih telefona funkcioniraju drugačije, gdje je senzor sam po sebi relativno glup i funkcionira s pametnim ISP-om koji se nalazi kao dio SoC-a telefona. ISP obavlja sav posao obrade slike, što znači da je stvarna uloga samog senzora prilično ograničena u modernim kamerama pametnih telefona (obrada slike je važnija od odličnog hardvera kamere za sliku kvaliteta). Računalna fotografija je nova popularna riječ, ali u industrijskom svijetu, IMX500 i IMX501 pokušavaju donijeti slavu AI obrade samim senzorima.
IMX500 i IMX501 trebali bi biti predstavljeni kao proizvodi sljedeće godine. Sony planira izdati uzorke proizvoda u travnju odnosno lipnju 2020. Za više informacija o njihovim specifikacijama, čitateljima se savjetuje da provjere vezu izvora.
Izvor: Sony