Spoločnosť Sony oznámila prvé obrazové snímače fotoaparátu na svete s vybaveným spracovaním AI v podobe modelov IMX500 a IMX501.
Sony je najväčším hráčom, pokiaľ ide o dodávky obrazových snímačov fotoaparátov pre smartfóny. Príklady populárnych senzorov zahŕňajú 48MP IMX586, ktorý v roku 2019 používala široká škála telefónov v rôznych cenových rozpätiach. The IMX586 bol nahradený 64MP IMX686. Spoločnosť sa samozrejme nezaoberá len obrazovými snímačmi smartfónov. Má mimoriadne úspešný rad prémiových bezzrkadloviek, ktoré sú často považované za zlatý štandard. Jeho neúnavné tempo inovácií nevykazuje žiadne známky poľavenia, pretože teraz oznámilo blížiace sa vydanie svojich prvých obrazových snímačov so spracovaním AI, IMX500 a IMX501.
Sony IMX500 a IMX501 sú pripravované dva modely inteligentných zrakových senzorov. Sony tvrdí, že ide o prvé obrazové snímače na svete, ktoré sú vybavené funkciou spracovania AI. Spoločnosť tvrdí, že zahrnutie funkcie spracovania AI na samotnom obrazovom snímači umožňuje vysokorýchlostné spracovanie okrajovej AI a extrakciu iba potrebných údajov. To znižuje latenciu prenosu dát, rieši obavy o súkromie a znižuje spotrebu energie a náklady na komunikáciu v porovnaní s využívaním cloudových služieb.
Je dôležité poznamenať, že tieto dva snímače nie sú určené pre fotoaparáty telefónov. Namiesto toho sú aplikácie v odvetví maloobchodu a priemyselných zariadení a prispievajú k budovaniu „optimálnych systémov“, ktoré sú prepojené s cloudom.
Prečo je spracovanie AI integrované so samotným senzorom? Sony vysvetľuje, že šírenie internetu vecí viedlo k tomu, že všetky typy zariadení boli pripojené ku cloudu, čo robí systémy na spracovanie informácií sú bežné, pričom informácie získané z takýchto zariadení sa spracúvajú prostredníctvom AI na oblak. Problém spojený s takýmto prístupom je zvýšená latencia prenosu dát, ktorá bráni spracovaniu informácií v reálnom čase; bezpečnostné obavy používateľov spojené s ukladaním osobných údajov v cloude; a ďalšie problémy, ako je zvýšená spotreba energie a náklady na komunikáciu, ktoré prichádzajú s cloudovými službami.
Modely IMX500 a IMX501 sú vybavené skladanou konfiguráciou, ktorá pozostáva z pixelového čipu a logického čipu. Funkcionalita analýzy a spracovania obrazu AI je vybavená logickým čipom. Signál získaný pixelovým čipom je spracovávaný prostredníctvom AI na snímači, čo eliminuje potrebu vysokovýkonných procesorov alebo externej pamäte. To zase umožňuje vývoj okrajových systémov AI.
Snímač vydáva metadáta namiesto obrazových informácií, čo vedie k zníženiu objemu dát a rieši obavy o súkromie. Schopnosť AI umožňuje aplikácie, ako je sledovanie objektov v reálnom čase s vysokorýchlostným spracovaním AI. Rôzne modely AI je možné zvoliť prepísaním vnútornej pamäte podľa požiadaviek používateľa alebo podmienok miesta, kde sa systém používa.
Pixelový čip týchto snímačov má BSI a má približne 12,3 efektívnych MP na zachytávanie informácií. Optický formát je 1/2,3" (7,857 mm uhlopriečka) s veľkosťou pixelov 1,55 mikrónu. Majú pole farebných filtrov Bayer. Snímače sú schopné natáčať video v rozlíšení 4K pri 60 fps bez spracovania AI a 4K pri 30 fps s AI spracovaním. Lokálny čip tiež vybavuje originálny DSP od Sony okrem bežného operačného obvodu obrazového snímača. DSP je určený na spracovanie signálu AI, ako aj pamäť pre model AI. Vďaka tomu nie sú potrebné vysokovýkonné procesory a externá pamäť, čo prináša výhody systémom umelej inteligencie.
Pracovný postup obrazových snímačov vysvetľuje Sony. Signály získané pixelovým čipom sú vedené cez ISP a spracovanie AI sa vykonáva vo fáze procesu na logický čip, s výstupom extrahovaných informácií vo forme metadát, čo znižuje množstvo údajov spracované. Samotné informácie o obrázku sa nevypisujú, čo je výhodné pre bezpečnosť a súkromie. Používatelia si môžu vybrať formát výstupu údajov vrátane obrázkov vo formáte ISP (YUV/RGB) a extrahovaných obrázkov špecifickej oblasti ROI (región záujmu).
Sony tiež propaguje rýchlosť. Hovorí sa v ňom, že pri nahrávaní videa pomocou bežného obrazového snímača je potrebné odoslať údaje pre každého jednotlivca výstupný rámec pre spracovanie AI, čo vedie k zvýšenému prenosu údajov a sťažuje dosahovanie v reálnom čase výkon. Nové senzory IMX na druhej strane vykonávajú spracovanie ISP a vysokorýchlostné spracovanie AI (3,1 ms spracovanie pre MobileNet V1*2) na logickom čipe, čím sa celý proces dokončí v jedinom videu rám. To zase umožňuje poskytovať „vysoko presné sledovanie objektov v reálnom čase počas nahrávania videa“, tvrdí Sony.
Nakoniec môžu používatelia zapísať modely AI podľa vlastného výberu do vstavanej pamäte a aktualizovať ju podľa svojich požiadaviek alebo podmienok miesta, kde sa systém používa. Sony uvádza príklad, keď je v predajni nainštalovaných viacero kamier využívajúcich tento produkt, a jediný typ kamery je možné používať všestranne na rôznych miestach, v rôznych časoch a účely. Keď je kamera nainštalovaná pri vchode do objektu, môže byť použitá na počítanie počtu návštevníkov vstupujúcich do objektu; keď je nainštalovaný na polici obchodu, môže byť použitý na zistenie nedostatku zásob; keď je na strope, môže byť použitý pre návštevníkov obchodu s tepelným mapovaním a pod. Model AI v danej kamere možno prepísať z modelu používaného na detekciu tepelných máp na model na identifikáciu správania spotrebiteľov.
Ako to znie, oznámenie o pripravovanom vydaní obrazových snímačov je skutočne pozoruhodným úspechom. Má to však svoje dôsledky pre dohľad. Práve teraz sú senzory určené pre nízkoenergetické riešenia, ako sú bezpečnostné kamery. Fotoaparáty smartfónov môžu túto technológiu začleniť o niekoľko rokov neskôr, ale zatiaľ to nie je v pláne z dôvodu obmedzení, pretože vstavaný logický čip nemôže zodpovedať všestrannosti, ktorú ponúkajú moderní poskytovatelia internetových služieb (ako napr. Spectra ISP v Qualcomm Snapdragon SoC). V súčasnosti fungujú fotoaparáty smartfónov inak, pričom samotný senzor je relatívne hlúpy a funguje s inteligentným ISP, ktorý je súčasťou SoC telefónu. ISP vykonáva všetku prácu pri spracovaní obrazu, čo znamená, že skutočná úloha samotného snímača je dosť obmedzená v moderných fotoaparátoch smartfónov (spracovanie obrazu je dôležitejšie ako mať skvelý hardvér fotoaparátu pre obraz kvalita). Počítačová fotografia je novým módnym slovom, ale v priemyselnom svete sa IMX500 a IMX501 pokúšajú priniesť slávu spracovania AI samotným senzorom.
IMX500 a IMX501 majú byť uvedené na trh v budúcom roku. Spoločnosť Sony plánuje vydať vzorky produktov v apríli a júni 2020. Ak chcete získať ďalšie informácie o ich špecifikáciách, odporúčame čitateľom pozrieť si zdrojový odkaz.
Zdroj: Sony