A Sony bejelentette a világ első mesterséges intelligenciával rendelkező kamera-képérzékelőit, az IMX500 és az IMX501 formájában.
A Sony a legnagyobb szereplő az okostelefonokhoz való kameraképérzékelők kínálatában. A népszerű érzékelők közé tartozik például a 48 MP-es IMX586, amelyet 2019-ben sokféle telefon használt, különböző árkategóriákban. A IMX586 a 64 MP-es IMX686 váltotta fel. A cég természetesen nem csak okostelefonok képérzékelőivel foglalkozik. Rendkívül sikeres termékcsaláddal rendelkezik a prémium tükör nélküli kamerákból, amelyeket gyakran aranystandardnak tartanak. Kíméletlen ütemű innovációja semmi jelét nem mutatja, hogy alábbhagy, hiszen most bejelentette, hogy hamarosan kiadja első mesterséges intelligencia feldolgozással rendelkező képérzékelőit, az IMX500-at és az IMX501-et.
A Sony IMX500 és IMX501 az intelligens látásérzékelők két modellje. A Sony azt állítja, hogy ők a világ első képérzékelői, amelyeket mesterséges intelligencia feldolgozó funkcióval szereltek fel. A vállalat azt állítja, hogy a mesterséges intelligencia feldolgozó funkciónak a képérzékelőbe való beépítése lehetővé teszi a nagy sebességű szélső AI-feldolgozást és csak a szükséges adatok kinyerését. Ez csökkenti az adatátviteli késleltetést, kezeli az adatvédelmi aggályokat, és csökkenti az energiafogyasztást és a kommunikációs költségeket a felhőszolgáltatások használatához képest.
Fontos megjegyezni, hogy ezt a két érzékelőt nem telefonkamerákhoz szánják. Ehelyett az alkalmazások a kiskereskedelmi és ipari berendezések iparában találhatók, valamint hozzájárulnak a felhőhöz kapcsolódó "optimális rendszerek" kiépítéséhez.
Miért integrálták magával az érzékelővel az AI-feldolgozást? A Sony kifejti, hogy az IoT elterjedése azt eredményezte, hogy minden típusú eszköz csatlakozik a felhőhöz, ami azt jelenti Az információfeldolgozó rendszerek általánosak, ahol az ilyen eszközökről nyert információkat mesterséges intelligencia segítségével dolgozzák fel felhő. Az ilyen megközelítéssel kapcsolatos probléma a megnövekedett adatátviteli késleltetés, ami akadályozza a valós idejű információfeldolgozást; a felhasználók biztonsági aggályai a személyazonosításra alkalmas adatok felhőben való tárolásával kapcsolatban; és egyéb problémák, például a felhőszolgáltatásokkal járó megnövekedett energiafogyasztás és kommunikációs költségek.
Az IMX500 és az IMX501 halmozott konfigurációval rendelkezik, amely egy pixel chipből és egy logikai chipből áll. Az AI képelemző és -feldolgozási funkciók a logikai chipen vannak felszerelve. A pixelchip által felvett jelet a szenzor AI-ja dolgozza fel, így nincs szükség nagy teljesítményű processzorokra vagy külső memóriára. Ez pedig lehetővé teszi szélsőséges AI-rendszerek fejlesztését.
Az érzékelő metaadatokat ad ki képinformációk helyett, ami csökkenti az adatmennyiséget, és kezeli az adatvédelmi problémákat. Az AI képesség lehetővé teszi az olyan alkalmazások használatát, mint a valós idejű objektumkövetés nagy sebességű AI-feldolgozással. Különböző mesterséges intelligencia modellek választhatók a belső memória átírásával a felhasználó igényeinek vagy a rendszer használatának helyének megfelelően.
Ezeknek az érzékelőknek a pixel chipje BSI-vel rendelkezik, és körülbelül 12,3 effektív MP-vel rendelkezik az információk rögzítéséhez. Az optikai formátum 1/2,3" (7,857 mm-es átlós), 1,55 mikronos pixelmérettel. Bayer színszűrővel rendelkeznek. Az érzékelők 4K 60 képkocka/mp sebességű videórögzítésre képesek mesterséges intelligencia feldolgozás nélkül, és 4K 30 képkocka/mp sebességgel, mesterséges intelligencia feldolgozással. A helyi chip a Sony eredeti DSP-jét is felszereli a hagyományos képérzékelő működési áramköre mellett. A DSP az AI jelfeldolgozásra, valamint az AI modell memóriájára szolgál. Ezzel nincs szükség nagy teljesítményű processzorokra és külső memóriára, így előnyös a szélsőséges AI-rendszerek számára.
A képérzékelők munkafolyamatát a Sony ismerteti. A pixelchip által felvett jelek egy ISP-n keresztül futnak, és az AI-feldolgozás a folyamat szakaszában történik a logikai chip, a kinyert információ metaadat formájában kerül kiadásra, ami csökkenti az adatmennyiséget kezelt. A tényleges képinformáció nem kerül kiadásra, ami a biztonság és az adatvédelem szempontjából előnyös. A felhasználók kiválaszthatják az adatkimeneti formátumot, beleértve az ISP formátumú képeket (YUV/RGB) és a ROI (Érdeklődési régió) területspecifikus kivonatképeket.
A Sony a sebességet is népszerűsíti. Azt mondja, hogy ha egy videót hagyományos képérzékelővel rögzítenek, minden egyes személyre vonatkozóan adatokat kell küldeni kimeneti keret az AI-feldolgozáshoz, ami fokozott adatátvitelt eredményez, és megnehezíti a valós idejű elérését teljesítmény. Az új IMX szenzorok viszont ISP-feldolgozást és nagy sebességű AI-feldolgozást (3,1 ms) hajtanak végre a MobileNet V1*2) feldolgozása a logikai chipen, így a teljes folyamat egyetlen videóban fejeződik be keret. Ez pedig lehetővé teszi a "nagy pontosságú, valós idejű tárgyak követését videó rögzítése közben" a Sony szerint.
Végül a felhasználók beírhatják a választott mesterséges intelligencia modelleket a beágyazott memóriába, és frissíthetik azt a követelményeknek vagy a rendszer használati helyének feltételei szerint. A Sony példát ad arra, amikor több, ezt a terméket alkalmazó kamerát telepítenek egy kiskereskedelmi helyre, és egyetlen típusú kamera sokoldalúan használható különböző helyeken, időpontokban és célokra. Ha a kamera a létesítmény bejáratánál van felszerelve, azzal megszámolható a létesítménybe belépő látogatók száma; az üzlet polcára szerelve a készlethiány kimutatására használható; amikor a mennyezeten az üzlet látogatóinak hőtérképezésére használható, és így tovább. Az adott kamerában lévő mesterséges intelligencia modell a hőtérképek észlelésére használt modellről átírható a fogyasztói viselkedés azonosítására szolgáló modellre.
Mint hangzik, a képérzékelők közelgő megjelenésének bejelentése valóban figyelemre méltó eredmény. Ennek azonban megvannak a maga következményei a felügyeletre nézve. Jelenleg az érzékelőket alacsony fogyasztású megoldásokhoz, például biztonsági kamerákhoz szánják. Az okostelefonok kamerái néhány év múlva beépíthetik ezt a technológiát, de ez egyelőre nem szerepel a kártyákon a korlátok miatt, mivel a beágyazott logikai chip nem felel meg a modern internetszolgáltatók által kínált sokoldalúságnak (pl. Spectra ISP a Qualcomm Snapdragon SoC-ekben). Jelenleg az okostelefonok kamerái másként működnek, ahol az érzékelő önmagában viszonylag buta, és a telefon SoC részeként található intelligens internetszolgáltatóval működik. Az ISP elvégzi a képfeldolgozás összes munkáját, ami azt jelenti, hogy magának az érzékelőnek a tényleges szerepe meglehetősen korlátozott a modern okostelefon-kamerákban (a képfeldolgozás fontosabb, mint a kiváló kamerahardver a kép készítéséhez minőség). A számítógépes fényképezés az új divatszó, de az ipari világban az IMX500 és az IMX501 megpróbálja maguknak az érzékelőknek elhozni az AI-feldolgozás dicsőségét.
Az IMX500 és az IMX501 a tervek szerint jövőre kerül forgalomba. A Sony azt tervezi, hogy 2020 áprilisában, illetve júniusában mintákat ad ki a termékekből. A specifikációkkal kapcsolatos további információkért javasoljuk az olvasóknak, hogy nézzék meg a forrás hivatkozását.
Forrás: Sony