Sony ir paziņojis par pasaulē pirmajiem kameru attēla sensoriem ar aprīkotu AI apstrādi IMX500 un IMX501 formātā.
Sony ir lielākais spēlētājs, kas piegādā kameru attēla sensorus viedtālruņiem. Populāru sensoru piemēri ir 48MP IMX586, ko 2019. gadā izmantoja apbrīnojami dažādi tālruņi dažādos cenu diapazonos. The IMX586 tika aizstāts ar 64MP IMX686. Protams, uzņēmums nodarbojas ne tikai ar viedtālruņu attēla sensoriem. Tam ir ļoti veiksmīgs augstākās kvalitātes bezspoguļa kameru klāsts, kas bieži tiek uzskatīts par zelta standartu. Tā nerimstošais inovāciju temps neliecina par atkāpšanos, jo tagad tā ir paziņojusi par savu pirmo attēla sensoru ar AI apstrādi, attiecīgi IMX500 un IMX501, gaidāmo izlaišanu.
Sony IMX500 un IMX501 ir gaidāmi divi viedo redzes sensoru modeļi. Sony apgalvo, ka tie ir pasaulē pirmie attēla sensori, kas aprīkoti ar AI apstrādes funkcionalitāti. Uzņēmums saka, ka AI apstrādes funkcionalitātes iekļaušana pašā attēla sensorā nodrošina ātrdarbīgu AI apstrādi un tikai nepieciešamo datu ieguvi. Tas samazina datu pārraides latentumu, novērš privātuma problēmas un samazina enerģijas patēriņu un sakaru izmaksas, salīdzinot ar mākoņpakalpojumu izmantošanu.
Ir svarīgi atzīmēt, ka šie divi sensori nav paredzēti tālruņu kamerām. Tā vietā lietojumprogrammas ir mazumtirdzniecības un rūpniecisko iekārtu nozarēs, kā arī veicina "optimālu sistēmu" izveidi, kas ir saistītas ar mākoni.
Kāpēc AI apstrāde ir integrēta pašā sensorā? Sony skaidro, ka IoT izplatības rezultātā visu veidu ierīces ir savienotas ar mākoni, kas padara izplatītas informācijas apstrādes sistēmas, kurās no šādām ierīcēm iegūtā informācija tiek apstrādāta, izmantojot AI mākonis. Problēma, kas saistīta ar šādu pieeju, ir palielināts datu pārraides latentums, kas kavē reāllaika informācijas apstrādi; lietotāju bažas par drošību, kas saistītas ar personu identificējošu datu glabāšanu mākonī; un citas problēmas, piemēram, palielināts enerģijas patēriņš un sakaru izmaksas, kas saistītas ar mākoņpakalpojumiem.
Modelim IMX500 un IMX501 ir stacked konfigurācija, kas sastāv no pikseļu mikroshēmas un loģikas mikroshēmas. AI attēlu analīzes un apstrādes funkcionalitāte ir aprīkota ar loģisko mikroshēmu. Pikseļu mikroshēmas iegūtais signāls tiek apstrādāts, izmantojot sensora AI, kas novērš nepieciešamību pēc augstas veiktspējas procesoriem vai ārējās atmiņas. Tas savukārt ļauj izstrādāt malas AI sistēmas.
Sensors izvada metadatus, nevis attēla informāciju, kā rezultātā samazinās datu apjoms un tiek novērstas privātuma problēmas. AI iespēja ļauj izmantot tādas lietojumprogrammas kā objektu izsekošana reāllaikā ar ātrdarbīgu AI apstrādi. Dažādus AI modeļus var izvēlēties, pārrakstot iekšējo atmiņu atbilstoši lietotāja prasībām vai sistēmas lietošanas vietas apstākļiem.
Šo sensoru pikseļu mikroshēmai ir BSI, un tai ir aptuveni 12,3 efektīvie MP informācijas uztveršanai. Optiskais formāts ir 1/2,3 collas (7,857 mm diagonāle) ar 1,55 mikronu pikseļu izmēru. Viņiem ir Bayer krāsu filtru masīvs. Sensori spēj ierakstīt 4K ar ātrumu 60 kadri sekundē bez AI apstrādes un 4K ar 30 kadriem sekundē video ar AI apstrādi. Vietējā mikroshēma papildus parastajai attēla sensora darbības shēmai ir aprīkota arī ar Sony oriģinālo DSP. DSP ir paredzēts AI signālu apstrādei, kā arī AI modeļa atmiņai. Izmantojot to, nav nepieciešami augstas veiktspējas procesori un ārējā atmiņa, tādējādi gūstot priekšrocības AI sistēmām.
Attēla sensoru darbplūsmu skaidro Sony. Pikseļu mikroshēmas iegūtie signāli tiek palaisti caur ISP, un AI apstrāde tiek veikta procesa posmā loģiskā mikroshēma ar iegūto informāciju, kas tiek izvadīta metadatu veidā, kas samazina datu apjomu apstrādāts. Pati faktiskā attēla informācija netiek izvadīta, kas ir labvēlīga drošībai un privātumam. Lietotāji var izvēlēties datu izvades formātu, tostarp ISP formāta attēlus (YUV/RGB) un ROI (interešu reģionu) specifiskā apgabala ekstrakta attēlus.
Sony arī veicina ātrumu. Tajā teikts, ka, ierakstot video, izmantojot parasto attēla sensoru, ir jānosūta dati par katru personu izvades rāmis AI apstrādei, kā rezultātā palielinās datu pārraide un ir grūti sasniegt reāllaika datus sniegumu. Savukārt jaunie IMX sensori veic ISP apstrādi un liela ātruma AI apstrādi (3,1 ms apstrādi MobileNet V1*2) loģiskajā mikroshēmā, tādējādi pabeidzot visu procesu vienā video rāmis. Tas, savukārt, ļauj nodrošināt "augstas precizitātes, reāllaika objektu izsekošanu video ierakstīšanas laikā", norāda Sony.
Visbeidzot, lietotāji var ierakstīt iegultajā atmiņā izvēlētos AI modeļus un atjaunināt to atbilstoši tās prasībām vai sistēmas lietošanas vietas apstākļiem. Sony sniedz piemēru, kur mazumtirdzniecības vietā ir uzstādītas vairākas kameras, kurās tiek izmantots šis produkts, un viena veida kameru var izmantot daudzpusīgi dažādās vietās, laikos un mērķiem. Kad kamera ir uzstādīta pie ieejas objektā, ar to var saskaitīt objektu ienākošo apmeklētāju skaitu; uzstādot uz veikala plaukta, to var izmantot, lai noteiktu krājumu trūkumu; kad uz griestiem to var izmantot siltuma kartēšanas veikala apmeklētājiem utt. AI modeli konkrētajā kamerā var pārrakstīt no modeļa, ko izmanto siltuma karšu noteikšanai, uz modeli, kas paredzēts patērētāju uzvedības noteikšanai.
Kā izklausās, paziņojums par gaidāmo attēla sensoru izlaišanu patiešām ir ievērojams sasniegums. Tomēr tam ir sava ietekme uz uzraudzību. Šobrīd sensori ir paredzēti mazjaudas risinājumiem, piemēram, drošības kamerām. Viedtālruņu kamerās šī tehnoloģija var tikt iekļauta dažus gadus vēlāk, taču pašlaik tā nav pieejama ierobežojumu dēļ, jo iegultā loģiskā mikroshēma nevar atbilst daudzpusībai, ko piedāvā mūsdienu interneta pakalpojumu sniedzēji (piemēram, Spectra ISP Qualcomm Snapdragon SoC). Šobrīd viedtālruņu kameras darbojas atšķirīgi, kur sensors pats par sevi ir salīdzinoši mēms un darbojas ar viedo ISP, kas atrodams kā daļa no tālruņa SoC. ISP veic visu attēlu apstrādes darbu, kas nozīmē, ka paša sensora faktiskā loma ir diezgan ierobežota mūsdienu viedtālruņu kamerās (attēla apstrāde ir svarīgāka par lielisku kameras aparatūru attēlam kvalitāte). Datorfotografēšana ir jauns modes vārds, taču industriālajā pasaulē IMX500 un IMX501 mēģina radīt AI apstrādes slavu pašiem sensoriem.
Plānots, ka IMX500 un IMX501 izstrādājumi tiks laisti klajā nākamgad. Sony plāno izlaist produktu paraugus attiecīgi 2020. gada aprīlī un jūnijā. Lai iegūtu papildinformāciju par to specifikācijām, lasītājiem ieteicams pārbaudīt avota saiti.
Avots: Sony