Sony on julkistanut IMX500:n ja IMX501:n muodossa maailman ensimmäiset kameran kuvaanturit, joissa on varustettu AI-käsittely.
Sony on suurin toimija älypuhelimien kameran kuvaanturien toimittamisessa. Esimerkkejä suosituista antureista ovat 48 megapikselin IMX586, jota käytti vuonna 2019 hämmentävä valikoima puhelimia eri hintaluokissa. The IMX586 seurasi 64 megapikselin IMX686. Yritys ei tietenkään käsittele vain älypuhelinten kuvaantureita. Siinä on erittäin onnistunut valikoima premium-peilittömiä kameroita, joita pidetään usein kultastandardina. Sen säälimätön innovaatiovauhti ei osoita perääntymisen merkkejä, sillä se on nyt ilmoittanut tulevasta julkaisusta ensimmäisistä tekoälyprosessoinneistaan IMX500 ja IMX501.
Sony IMX500 ja IMX501 ovat tulossa kaksi älykkäiden näköanturien mallia. Sony väittää, että ne ovat maailman ensimmäiset kuvaanturit, jotka on varustettu AI-käsittelytoiminnolla. Yhtiö kertoo, että tekoälyprosessointitoiminnon sisällyttäminen kuvakennoon mahdollistaa nopean reunan tekoälyprosessoinnin ja vain tarpeellisen datan poimimisen. Tämä vähentää tiedonsiirron viivettä, ratkaisee tietosuojaongelmat ja pienentää virrankulutusta ja viestintäkustannuksia verrattuna pilvipalvelujen käyttöön.
On tärkeää huomata, että näitä kahta anturia ei ole tarkoitettu puhelimen kameroille. Sen sijaan sovellukset ovat vähittäiskaupan ja teollisuuden laiteteollisuudessa, ja ne auttavat rakentamaan "optimaalisia järjestelmiä", jotka liittyvät pilveen.
Miksi AI-käsittely on integroitu itse anturiin? Sony selittää, että IoT: n leviäminen on johtanut kaikentyyppisten laitteiden yhdistämiseen pilveen, mikä tekee yleisiä tietojenkäsittelyjärjestelmiä, joissa tällaisilta laitteilta saatua tietoa käsitellään AI: n kautta pilvi. Tällaiseen lähestymistapaan liittyvä ongelma on lisääntynyt tiedonsiirtoviive, joka estää reaaliaikaisen tiedonkäsittelyn; käyttäjien turvallisuushuolet, jotka liittyvät henkilökohtaisesti tunnistettavien tietojen tallentamiseen pilveen; ja muita ongelmia, kuten pilvipalvelujen lisääntynyt virrankulutus ja viestintäkustannukset.
IMX500:ssa ja IMX501:ssä on pinottu kokoonpano, joka koostuu pikselipiiristä ja logiikkasirusta. Tekoälykuvan analysointi- ja käsittelytoiminnot on varustettu logiikkasirulla. Pikselisirun keräämä signaali käsitellään anturin tekoälyn kautta, mikä eliminoi tehokkaan prosessorin tai ulkoisen muistin tarpeen. Tämä puolestaan mahdollistaa reuna-AI-järjestelmien kehittämisen.
Anturi tulostaa metatietoja kuvatietojen sijasta, mikä vähentää datamäärää ja ratkaisee tietosuojaongelmia. AI-ominaisuus mahdollistaa sovellukset, kuten reaaliaikaisen objektin seurannan nopealla tekoälykäsittelyllä. Erilaisia AI-malleja voidaan valita kirjoittamalla sisäinen muisti uudelleen käyttäjän vaatimusten tai järjestelmän käyttöpaikan olosuhteiden mukaan.
Näiden antureiden pikselipiirissä on BSI ja siinä on noin 12,3 tehollista MP: tä tiedon sieppaamiseen. Optinen muoto on 1/2,3" (7,857 mm diagonaali) ja 1,55 mikronin pikselin koko. Niissä on Bayerin värisuodatinryhmä. Anturit pystyvät tallentamaan 4K-videota 60 fps: n nopeudella ilman tekoälykäsittelyä ja 4K-videota 30 fps: n nopeudella AI-käsittelyn kanssa. Paikallinen siru varustaa myös Sonyn alkuperäisen DSP: n perinteisen kuvakennon toimintapiirin lisäksi. DSP on omistettu AI-signaalin käsittelyyn sekä muistiin AI-mallia varten. Tämän ansiosta tehokkaita prosessoreita ja ulkoista muistia ei tarvita, mikä hyödyttää äärimmäisiä tekoälyjärjestelmiä.
Sony selittää kuvasensorien työnkulkua. Pikselisirun hankkimat signaalit ajetaan Internet-palveluntarjoajan kautta, ja AI-käsittely suoritetaan prosessivaiheessa logiikkasiru, jossa poimitut tiedot tulostetaan metadatan muodossa, mikä vähentää datan määrää hoidettu. Varsinaisia kuvatietoja ei tulosteta, mikä on hyödyllistä turvallisuuden ja yksityisyyden kannalta. Käyttäjät voivat valita datan tulostusmuodon, mukaan lukien ISP-muotoiset kuvat (YUV/RGB) ja ROI (kiinnostava alue) -aluekohtaiset otekuvat.
Sony edistää myös nopeutta. Siinä sanotaan, että kun video tallennetaan tavanomaisella kuvasensorilla, on lähetettävä tiedot jokaisesta yksilöstä lähtökehys AI-käsittelyä varten, mikä lisää tiedonsiirtoa ja vaikeuttaa reaaliaikaista saavuttamista esitys. Uudet IMX-anturit puolestaan suorittavat ISP-prosessoinnin ja nopean AI-käsittelyn (3,1 ms Process for MobileNet V1*2) logiikkasirulla, jolloin koko prosessi saadaan päätökseen yhdessä videossa kehys. Tämä puolestaan mahdollistaa "korkean tarkkuuden, reaaliaikaisen kohteiden seurannan videon tallennuksen aikana", Sonyn mukaan.
Lopuksi käyttäjät voivat kirjoittaa valitsemansa tekoälymallit sulautettuun muistiin ja päivittää sitä sen vaatimusten tai järjestelmän käyttöpaikan olosuhteiden mukaan. Sony antaa esimerkin, jossa useita tätä tuotetta käyttäviä kameroita on asennettu vähittäismyyntipaikkaan, ja yhtä kameratyyppiä voidaan käyttää monipuolisesti eri paikoissa, eri aikoina ja tarkoituksiin. Kun kamera on asennettu laitoksen sisäänkäynnille, sillä voidaan laskea tiloihin saapuvien vierailijoiden määrä; kun se asennetaan myymälän hyllylle, sitä voidaan käyttää varastopulan havaitsemiseen; katossa sitä voidaan käyttää myymälävieraiden lämpökartoittamiseen ja niin edelleen. Tietyn kameran tekoälymalli voidaan kirjoittaa uudelleen lämpökarttojen havaitsemiseen käytetystä mallista kuluttajakäyttäytymisen tunnistamiseen.
Kuten kuulostaa, ilmoitus kuvasensorien tulevasta julkaisusta on todellakin huomattava saavutus. Sillä on kuitenkin omat seurauksensa valvontaan. Tällä hetkellä anturit on tarkoitettu pienitehoisiin ratkaisuihin, kuten valvontakameroihin. Älypuhelinten kamerat saattavat käyttää tätä tekniikkaa muutaman vuoden kuluttua, mutta se ei ole toistaiseksi käytössä rajoitusten vuoksi, koska sulautettu logiikkasiru ei voi vastata nykyaikaisten Internet-palveluntarjoajien tarjoamaa monipuolisuutta (esim. Spectra ISP Qualcomm Snapdragon SoC: issa). Tällä hetkellä älypuhelinten kamerat toimivat eri tavalla, missä anturi itsessään on suhteellisen tyhmä ja toimii älykkään ISP: n kanssa, joka löytyy osana puhelimen SoC: tä. Internet-palveluntarjoaja hoitaa kaiken kuvankäsittelyn, mikä tarkoittaa, että itse anturin rooli on melko rajallinen nykyaikaisissa älypuhelinkameroissa (kuvankäsittely on tärkeämpää kuin loistava kameralaitteisto kuvan saamiseksi laatu). Laskennallinen valokuvaus on uusi muotisana, mutta teollisessa maailmassa IMX500 ja IMX501 yrittävät tuoda tekoälyn prosessoinnin loistoa antureille itselleen.
IMX500 ja IMX501 on tarkoitus julkaista tuotteissa ensi vuonna. Sony aikoo julkaista näytteitä tuotteista huhtikuussa ja kesäkuussa 2020. Lukijoita kehotetaan tarkistamaan lähdelinkki saadaksesi lisätietoja niiden teknisistä tiedoista.
Lähde: Sony