Sony on välja kuulutanud maailma esimesed varustatud AI-töötlusega kaamera pildisensorid IMX500 ja IMX501 kujul.
Sony on nutitelefonidele kaamerapildiandurite tarnimisel suurim mängija. Populaarsete andurite näideteks on 48MP IMX586, mida kasutasid 2019. aastal hämmastavalt erinevad telefonid, mis ulatusid erinevatest hinnavahemikest. The IMX586 järgnes 64MP IMX686. Ettevõte ei tegele muidugi ainult nutitelefoni pildianduritega. Sellel on väga edukas valik esmaklassilisi peeglita kaameraid, mida sageli peetakse kullastandardiks. Selle järeleandmatu innovatsioonitempo ei näita järeleandmise märke, kuna ta on nüüd teatanud oma esimeste AI-töötlusega pildisensorite, vastavalt IMX500 ja IMX501, peatsest väljalaskest.
Sony IMX500 ja IMX501 on tulemas kaks intelligentsete nägemisandurite mudelit. Sony väidab, et need on maailma esimesed pildisensorid, mis on varustatud tehisintellekti töötlemise funktsiooniga. Ettevõte ütleb, et tehisintellekti töötlemise funktsionaalsuse lisamine pildisensorisse võimaldab kiiret AI-töötlust ja ainult vajalike andmete ekstraheerimist. See vähendab andmeedastuse latentsust, lahendab privaatsusprobleeme ning vähendab energiatarbimist ja sidekulusid võrreldes pilveteenuste kasutamisega.
Oluline on märkida, et need kaks andurit ei ole mõeldud telefonikaamerate jaoks. Selle asemel on rakendused jaemüügi- ja tööstusseadmete tööstuses ning aitavad kaasa pilvega ühendatavate "optimaalsete süsteemide" loomisele.
Miks on AI-töötlus anduri endaga integreeritud? Sony selgitab, et asjade Interneti levik on toonud kaasa igat tüüpi seadmete ühendamise pilvega, mis teeb tavalised teabetöötlussüsteemid, kus sellistest seadmetest saadud teavet töödeldakse AI kaudu pilv. Sellise lähenemisviisiga seotud probleemiks on andmeedastuse suurenenud latentsusaeg, mis takistab reaalajas teabe töötlemist; kasutajate turvaprobleemid, mis on seotud isikut tuvastavate andmete salvestamisega pilves; ja muud probleemid, nagu pilveteenustega kaasnev suurenenud energiatarve ja sidekulud.
Mudelil IMX500 ja IMX501 on virnastatud konfiguratsioon, mis koosneb pikslikiibist ja loogikast. Loogikakiibil on AI-pildi analüüsi ja töötlemise funktsionaalsus. Pikslikiibi poolt hangitud signaali töödeldakse sensoril oleva AI kaudu, mis välistab vajaduse suure jõudlusega protsessorite või välismälu järele. See omakorda võimaldab arendada AI-süsteeme.
Andur väljastab pilditeabe asemel metaandmeid, mille tulemuseks on andmemahu vähenemine ja privaatsusprobleemide lahendamine. Tehisintellekti võime teeb võimalikuks sellised rakendused nagu objektide reaalajas jälgimine koos kiire tehisintellekti töötlemisega. Erinevaid AI mudeleid saab valida, kirjutades ümber sisemälu vastavalt kasutaja nõudmistele või süsteemi kasutuskoha tingimustele.
Nende andurite pikslikiibil on BSI ja sellel on teabe hõivamiseks ligikaudu 12,3 efektiivset MP. Optiline formaat on 1/2,3 tolli (diagonaal 7,857 mm) ja piksli suurus 1,55 mikronit. Neil on Bayeri värvifiltrite massiiv. Andurid on võimelised salvestama 4K videot kiirusega 60 kaadrit sekundis ilma tehisintellekti töötlemiseta ja 4K videot kiirusega 30 kaadrit sekundis koos tehisintellekti töötlemisega. Kohalik kiip varustab lisaks tavapärasele pildianduri tööahelale ka Sony originaal-DSP-d. DSP on pühendatud AI signaali töötlemisele ja AI mudeli mälule. Sellega pole vaja suure jõudlusega protsessoreid ja välist mälu, mis toob kasu AI-süsteemidele.
Pildiandurite töökäiku selgitab Sony. Pikslikiibi kogutud signaalid juhitakse läbi ISP ja tehisintellekti töötlemine toimub protsessi etapis loogikakiip, mille eraldatud teave väljastatakse metaandmete kujul, mis vähendab andmete hulka käsitletud. Tegelikku pilditeavet ise ei väljastata, mis on turvalisuse ja privaatsuse seisukohalt kasulik. Kasutajad saavad valida andmeväljundi vormingu, sealhulgas ISP-vormingus kujutised (YUV/RGB) ja ROI (huvipiirkond) konkreetse ala väljavõtte kujutised.
Sony propageerib ka kiirust. See ütleb, et kui video salvestatakse tavapärase pildisensoriga, on vaja andmeid saata iga inimese kohta väljundraam AI töötlemiseks, mille tulemuseks on suurem andmeedastus ja raskendab reaalajas saavutamist esitus. Uued IMX-andurid aga teostavad ISP-töötlust ja kiiret AI-töötlust (3,1 ms töötlemine MobileNet V1*2 jaoks loogikakiibil, lõpetades seega kogu protsessi ühes videos raami. See omakorda võimaldab Sony sõnul pakkuda "kõrge täpsusega reaalajas objektide jälgimist video salvestamise ajal".
Lõpuks saavad kasutajad kirjutada sisseehitatud mällu oma valitud tehisintellekti mudelid ja värskendada seda vastavalt selle nõuetele või süsteemi kasutuskoha tingimustele. Sony toob näite, kus jaemüügikohta on paigaldatud mitu seda toodet kasutavat kaamerat, ja üht tüüpi kaamerat saab kasutada mitmekülgselt erinevates kohtades, kellaaegadel ja eesmärkidel. Kui kaamera on paigaldatud rajatise sissepääsu juurde, saab selle abil loendada objekti sisenevate külastajate arvu; poe riiulile paigaldatuna saab seda kasutada laopuuduse tuvastamiseks; kui laes saab seda kasutada poekülastajate soojuskaardistamiseks jne. Antud kaamera tehisintellekti mudeli saab ümber kirjutada soojuskaartide tuvastamiseks kasutatavast mudelist tarbija käitumise tuvastamiseks.
Nagu kõlab, on teade pildisensorite peatsest väljalaskmisest tõepoolest märkimisväärne saavutus. Sellel on aga oma mõju järelevalvele. Praegu on andurid mõeldud väikese võimsusega lahendustele nagu turvakaamerad. Nutitelefonide kaamerad võivad seda tehnoloogiat kasutada mõne aasta pärast, kuid praegu pole see kaartidel piirangute tõttu, kuna sisseehitatud loogikakiip ei suuda vastata tänapäevaste Interneti-teenuse pakkujate (nt Spectra ISP Qualcomm Snapdragon SoC-des). Praegu toimivad teisiti nutitelefonide kaamerad, kus sensor iseenesest on suhteliselt loll ja toimib koos telefoni SoC-st leitud nutika ISP-ga. ISP teeb kogu pilditöötluse töö, mis tähendab, et anduri enda roll on üsna piiratud kaasaegsetes nutitelefonide kaamerates (pilditöötlus on olulisem kui suurepärane kaamera riistvara pildi jaoks kvaliteet). Arvutusfotograafia on uus moesõna, kuid tööstusmaailmas püüavad IMX500 ja IMX501 tuua tehisintellekti töötlemise au anduritele endile.
IMX500 ja IMX501 on kavas turule tuua järgmisel aastal. Sony kavatseb toodete näidised välja anda vastavalt 2020. aasta aprillis ja juunis. Nende spetsifikatsioonide kohta lisateabe saamiseks soovitatakse lugejatel vaadata allika linki.
Allikas: Sony