„Sony“ paskelbė apie pirmuosius pasaulyje fotoaparato vaizdo jutiklius su integruotu AI apdorojimu – IMX500 ir IMX501.
„Sony“ yra didžiausias žaidėjas, tiekiantis fotoaparato vaizdo jutiklius išmaniesiems telefonams. Populiarių jutiklių pavyzdžiai yra 48 MP IMX586, kurį 2019 m. naudojo daugybė įvairių telefonų, kurių kainų diapazonas buvo įvairus. The IMX586 jį pakeitė 64 MP IMX686. Žinoma, bendrovė užsiima ne tik išmaniųjų telefonų vaizdo jutikliais. Jis turi labai sėkmingą aukščiausios kokybės beveidrodinių fotoaparatų asortimentą, kuris dažnai laikomas auksiniu standartu. Jo nenumaldomas inovacijų tempas nerodo, kad nusileistų, nes dabar ji paskelbė apie būsimą pirmųjų vaizdo jutiklių su AI apdorojimu, atitinkamai IMX500 ir IMX501, išleidimą.
„Sony IMX500“ ir „IMX501“ yra du intelektualių regėjimo jutiklių modeliai. „Sony“ teigia, kad jie yra pirmieji pasaulyje vaizdo jutikliai, aprūpinti dirbtinio intelekto apdorojimo funkcija. Bendrovė teigia, kad įtraukus AI apdorojimo funkciją pačiame vaizdo jutiklyje, galima sparčiai apdoroti DI ir išgauti tik būtinus duomenis. Tai sumažina duomenų perdavimo delsą, išsprendžia privatumo problemas ir sumažina energijos suvartojimą bei ryšio išlaidas, palyginti su debesijos paslaugų naudojimu.
Svarbu pažymėti, kad šie du jutikliai nėra skirti telefonų kameroms. Vietoj to, taikymas yra mažmeninės prekybos ir pramonės įrangos pramonėje, taip pat prisideda prie „optimalių sistemų“, susietų su debesimi, kūrimo.
Kodėl AI apdorojimas integruotas su pačiu jutikliu? „Sony“ paaiškina, kad dėl daiktų interneto plitimo visų tipų įrenginiai buvo prijungti prie debesies, todėl Įprastos informacijos apdorojimo sistemos, kai informacija, gauta iš tokių įrenginių, apdorojama naudojant AI debesis. Problema, susijusi su tokiu požiūriu, yra padidėjęs duomenų perdavimo vėlavimas, trukdantis apdoroti informaciją realiuoju laiku; naudotojų susirūpinimą dėl saugumo, susijusių su asmens identifikavimo duomenų saugojimu debesyje; ir kitos problemos, pvz., padidėjęs energijos suvartojimas ir ryšio išlaidos, susijusios su debesijos paslaugomis.
IMX500 ir IMX501 turi sudėtinę konfigūraciją, kurią sudaro pikselių lustas ir loginis lustas. AI vaizdo analizės ir apdorojimo funkcionalumas yra įrengtas loginiame luste. Pikselių lusto gautas signalas apdorojamas jutiklio AI, todėl nereikia didelio našumo procesorių ar išorinės atminties. Tai, savo ruožtu, leidžia kurti pažangiausias AI sistemas.
Jutiklis vietoj vaizdo informacijos išveda metaduomenis, todėl sumažėja duomenų kiekis ir išsprendžiamos privatumo problemos. Dirbtinio intelekto galimybė leidžia naudoti tokias programas kaip objektų sekimas realiuoju laiku su didelės spartos AI apdorojimu. Skirtingus AI modelius galima pasirinkti perrašant vidinę atmintį pagal vartotojo reikalavimus arba sistemos naudojimo vietos sąlygas.
Šių jutiklių pikselių lustas turi BSI ir turi maždaug 12,3 efektyvaus MP informacijos fiksavimui. Optinis formatas yra 1/2,3 colio (7,857 mm įstrižainės) ir 1,55 mikrono pikselių dydžio. Jie turi „Bayer“ spalvų filtrų masyvą. Jutikliai gali įrašyti 4K vaizdo įrašą 60 kadrų per sekundę greičiu be AI apdorojimo ir 4K vaizdo įrašą 30 kadrų per sekundę greičiu su AI apdorojimu. Vietiniame luste, be įprastos vaizdo jutiklio veikimo grandinės, taip pat yra originalus Sony DSP. DSP skirtas dirbtinio intelekto signalo apdorojimui ir AI modelio atminčiai. Dėl to nereikia didelio našumo procesorių ir išorinės atminties, todėl tai naudinga pažangioms AI sistemoms.
Vaizdo jutiklių darbo eigą paaiškina „Sony“. Pikselių lusto gauti signalai perduodami per IPT, o AI apdorojimas atliekamas proceso etape loginis lustas, išgauta informacija išvedama metaduomenų pavidalu, o tai sumažina duomenų kiekį tvarkomi. Pati tikroji vaizdo informacija nėra išvedama, o tai naudinga saugumui ir privatumui. Vartotojai gali pasirinkti duomenų išvesties formatą, įskaitant ISP formato vaizdus (YUV/RGB) ir ROI (domėjimosi regiono) konkrečios srities ištraukų vaizdus.
„Sony“ taip pat skatina greitį. Jame rašoma, kad įrašant vaizdo įrašą naudojant įprastą vaizdo jutiklį, reikia siųsti duomenis kiekvienam asmeniui AI apdorojimo išvesties kadras, dėl kurio padidėja duomenų perdavimas ir sunku pasiekti realiojo laiko spektaklis. Kita vertus, naujieji IMX jutikliai atlieka IPT apdorojimą ir didelės spartos AI apdorojimą (3,1 ms „MobileNet V1*2“ apdorojimas loginiame luste, taip užbaigiant visą procesą viename vaizdo įraše rėmelis. „Sony“ teigimu, tai savo ruožtu leidžia užtikrinti „didelio tikslumo, realaus laiko objektų stebėjimą įrašant vaizdo įrašą“.
Galiausiai vartotojai gali įrašyti pasirinktus AI modelius į įterptąją atmintį ir atnaujinti ją pagal jos reikalavimus arba sistemos naudojimo vietos sąlygas. „Sony“ pateikia pavyzdį, kai mažmeninėje vietoje sumontuotos kelios kameros, kuriose naudojamas šis gaminys, ir vieno tipo fotoaparatai gali būti naudojami įvairiai įvairiose vietose, laiku ir tikslai. Įrengus kamerą prie įėjimo į objektą, ja galima suskaičiuoti į objektą įeinančių lankytojų skaičių; Įrengtas parduotuvės lentynoje, jis gali būti naudojamas aptikti prekių trūkumą; kai ant lubų jis gali būti naudojamas šilumos kartografavimui parduotuvės lankytojams ir pan. Tam tikros kameros AI modelis gali būti perrašytas iš vieno, naudojamo šilumos žemėlapiams aptikti, į modelį, skirtą vartotojų elgsenai nustatyti.
Kaip skamba, pranešimas apie būsimą vaizdo jutiklių išleidimą iš tiesų yra reikšmingas pasiekimas. Tačiau tai turi savo pasekmių stebėjimui. Šiuo metu jutikliai skirti mažos galios sprendimams, tokiems kaip apsaugos kameros. Išmaniųjų telefonų kamerose ši technologija gali būti įdiegta po kelerių metų, tačiau kol kas jos nėra dėl apribojimų, nes įterptasis loginis lustas negali atitikti šiuolaikinių interneto paslaugų teikėjų siūlomo universalumo (pvz., Spectra IPT „Qualcomm Snapdragon SoC“). Šiuo metu išmaniųjų telefonų kameros veikia kitaip, kai pats jutiklis yra gana kvailas ir veikia su išmaniuoju IPT, kuris yra telefono SoC dalis. IPT atlieka visą vaizdo apdorojimo darbą, o tai reiškia, kad paties jutiklio vaidmuo yra gana ribotas šiuolaikinėse išmaniųjų telefonų kamerose (vaizdo apdorojimas yra svarbesnis už puikią vaizdo kameros aparatinę įrangą kokybė). Kompiuterinė fotografija yra naujas madingas žodis, tačiau pramoniniame pasaulyje IMX500 ir IMX501 bando suteikti AI apdorojimo šlovę patiems jutikliams.
Planuojama, kad IMX500 ir IMX501 gaminiai pasirodys kitais metais. „Sony“ planuoja išleisti produktų pavyzdžius atitinkamai 2020 m. balandžio ir birželio mėn. Norėdami gauti daugiau informacijos apie jų specifikacijas, skaitytojams patariama peržiūrėti šaltinio nuorodą.
Šaltinis: Sony