Sony je napovedal prve slikovne senzorje kamere na svetu z opremljeno obdelavo AI v obliki IMX500 in IMX501.
Sony je največji igralec, ko gre za dobavo slikovnih senzorjev fotoaparatov za pametne telefone. Primeri priljubljenih senzorjev vključujejo IMX586 z ločljivostjo 48 MP, ki ga je leta 2019 uporabljalo neverjetno veliko različnih telefonov v različnih cenovnih razredih. The IMX586 je nasledil IMX686 s 64 MP. Podjetje se seveda ne ukvarja le s slikovnimi senzorji pametnih telefonov. Ima izjemno uspešno linijo vrhunskih brezzrcalnih fotoaparatov, ki se pogosto štejejo za zlati standard. Njegov neusmiljeni tempo inovacij ne kaže znakov popuščanja, saj je zdaj napovedal prihajajočo izdajo svojih prvih slikovnih senzorjev z obdelavo umetne inteligence, IMX500 oziroma IMX501.
Sony IMX500 in IMX501 sta dva prihajajoča modela senzorjev za inteligentni vid. Sony trdi, da so prvi slikovni senzorji na svetu, ki so opremljeni s funkcijo obdelave AI. Podjetje pravi, da vključitev funkcije obdelave AI na sam slikovni senzor omogoča hitro obdelavo robov AI in ekstrakcijo le potrebnih podatkov. To zmanjša zakasnitev prenosa podatkov, obravnava pomisleke glede zasebnosti ter zmanjša porabo energije in stroške komunikacije v primerjavi z uporabo storitev v oblaku.
Pomembno je vedeti, da ta dva senzorja nista namenjena kameram telefonov. Namesto tega so aplikacije v industriji maloprodajne in industrijske opreme ter prispevajo k izgradnji "optimalnih sistemov", ki se povezujejo z oblakom.
Zakaj je obdelava AI integrirana s samim senzorjem? Sony pojasnjuje, da je širjenje IoT povzročilo, da so vse vrste naprav povezane v oblak, kar pomeni sistemi za obdelavo informacij so običajni, pri čemer se informacije, pridobljene iz takih naprav, obdelajo prek AI na oblak. Problem, povezan s takim pristopom, je povečana zakasnitev prenosa podatkov, ki ovira obdelavo informacij v realnem času; varnostni pomisleki uporabnikov, povezani s shranjevanjem osebnih podatkov v oblaku; in druge težave, kot so povečana poraba energije in stroški komunikacije, ki jih prinašajo storitve v oblaku.
IMX500 in IMX501 imata zloženo konfiguracijo, ki je sestavljena iz čipa slikovnih pik in logičnega čipa. Funkcija analize in obdelave slik AI je opremljena z logičnim čipom. Signal, ki ga pridobi čip pixel, se obdela prek AI na senzorju, kar odpravlja potrebo po visoko zmogljivih procesorjih ali zunanjem pomnilniku. To pa omogoča razvoj robnih sistemov AI.
Senzor oddaja metapodatke namesto slikovnih informacij, kar ima za posledico manjšo količino podatkov in odpravlja pomisleke glede zasebnosti. Zmogljivost umetne inteligence omogoča aplikacije, kot je sledenje predmetom v realnem času s hitro obdelavo umetne inteligence. Izberete lahko različne modele AI s prepisovanjem notranjega pomnilnika v skladu z zahtevami uporabnika ali pogoji lokacije, kjer se sistem uporablja.
Čip slikovnih pik teh senzorjev ima BSI in ima približno 12,3 efektivnih MP za zajem informacij. Optični format je 1/2,3" (diagonala 7,857 mm) z velikostjo pikslov 1,55 mikronov. Imajo Bayerjev barvni filter. Senzorji so zmožni snemanja videa 4K pri 60 sličicah na sekundo brez obdelave AI in snemanja videoposnetkov 4K pri 30 sličic na sekundo z obdelavo AI. Lokalni čip poleg običajnega delovnega vezja slikovnega senzorja opremi tudi Sonyjev originalni DSP. DSP je namenjen obdelavi signalov AI in pomnilniku za model AI. S tem visoko zmogljivi procesorji in zunanji pomnilnik niso potrebni, kar koristi robnim sistemom AI.
Potek dela slikovnih senzorjev pojasnjuje Sony. Signali, ki jih pridobi čip slikovnih pik, potekajo prek ponudnika internetnih storitev, obdelava z umetno inteligenco pa se izvede v fazi procesa na logični čip, pri čemer se ekstrahirane informacije izpišejo v obliki metapodatkov, kar zmanjša količino podatkov obdelan. Same dejanske informacije o sliki se ne izpišejo, kar je koristno za varnost in zasebnost. Uporabniki lahko izberejo izhodni format podatkov, vključno s slikami formata ISP (YUV/RGB) in izvlečki specifičnih območij ROI (Region of Interest).
Tudi Sony spodbuja hitrost. Pravi, da je treba pri snemanju videa z običajnim slikovnim senzorjem poslati podatke za vsakega posameznika izhodni okvir za obdelavo AI, kar ima za posledico povečan prenos podatkov in otežuje doseganje realnega časa izvedba. Novi senzorji IMX po drugi strani izvajajo obdelavo ISP in hitro obdelavo AI (3,1 ms). obdelava za MobileNet V1*2) na logičnem čipu, s čimer se celoten postopek zaključi v enem videu okvir. To pa omogoča zagotavljanje "visoko natančnega sledenja predmetom v realnem času med snemanjem videa", pravi Sony.
Končno lahko uporabniki zapišejo modele umetne inteligence po svoji izbiri v vgrajeni pomnilnik in ga posodobijo v skladu z zahtevami ali pogoji lokacije, kjer se sistem uporablja. Sony daje primer, kjer je na maloprodajni lokaciji nameščenih več kamer, ki uporabljajo ta izdelek, eno samo vrsto kamere pa je mogoče vsestransko uporabljati na različnih lokacijah, v različnih časih in namene. Ko je kamera nameščena na vhodu v objekt, se z njo lahko šteje število obiskovalcev, ki vstopajo v objekt; ko je nameščen na policah trgovine, se lahko uporablja za odkrivanje pomanjkanja zalog; ko je na stropu, se lahko uporablja za toplotno kartiranje obiskovalcev trgovin itd. Model AI v določeni kameri je mogoče prepisati iz modela, ki se uporablja za zaznavanje toplotnih zemljevidov, v model za prepoznavanje vedenja potrošnikov.
Kot se sliši, je napoved prihajajoče izdaje slikovnih senzorjev res opazen dosežek. Vendar pa ima svoje posledice za nadzor. Trenutno so senzorji namenjeni rešitvam z nizko porabo energije, kot so varnostne kamere. Kamere pametnih telefonov bodo morda vključevale to tehnologijo čez nekaj let, vendar zaenkrat še ni v načrtu zaradi omejitev, saj se vgrajeni logični čip ne more kosati s vsestranskostjo, ki jo ponujajo sodobni ponudniki internetnih storitev (kot je Spectra ISP v procesorjih Qualcomm Snapdragon SoC). Trenutno kamere pametnih telefonov delujejo drugače, pri čemer je senzor sam po sebi relativno neumen in deluje s pametnim ponudnikom internetnih storitev, ki je del SoC telefona. Ponudnik internetnih storitev opravi vse delo obdelave slike, kar pomeni, da je dejanska vloga samega senzorja precej omejena v fotoaparatih sodobnih pametnih telefonov (obdelava slik je pomembnejša od odlične strojne opreme fotoaparata za sliko kakovost). Računalniška fotografija je nova modna beseda, toda v industrijskem svetu IMX500 in IMX501 poskušata prinesti slavo obdelave AI na same senzorje.
IMX500 in IMX501 naj bi bila predstavljena v izdelkih naslednje leto. Sony namerava izdati vzorce izdelkov aprila oziroma junija 2020. Za več informacij o njihovih specifikacijah bralcem svetujemo, da preverijo povezavo do vira.
Vir: Sony