Společnost Sony oznámila první obrazové snímače na světě s vybaveným AI zpracováním v podobě IMX500 a IMX501.
Sony je největším hráčem, pokud jde o dodávky obrazových snímačů fotoaparátů pro smartphony. Příklady populárních senzorů zahrnují 48MP IMX586, který v roce 2019 používala celá řada telefonů v různých cenových relacích. The IMX586 byl následován 64MP IMX686. Společnost se samozřejmě nezabývá pouze obrazovými snímači smartphonů. Má velmi úspěšnou řadu prémiových bezzrcadlovek, které jsou často považovány za zlatý standard. Jeho neutuchající tempo inovací nevykazuje žádné známky polevování, protože nyní oznámila nadcházející vydání svých prvních obrazových snímačů se zpracováním AI, IMX500 a IMX501.
Sony IMX500 a IMX501 jsou připravované dva modely inteligentních zrakových senzorů. Sony tvrdí, že jde o první obrazové snímače na světě, které jsou vybaveny funkcí zpracování AI. Společnost říká, že zahrnutí funkce zpracování AI na samotném obrazovém snímači umožňuje vysokorychlostní zpracování okrajové AI a extrahování pouze nezbytných dat. To snižuje latenci přenosu dat, řeší obavy o soukromí a snižuje spotřebu energie a náklady na komunikaci ve srovnání s používáním cloudových služeb.
Je důležité si uvědomit, že tyto dva senzory nejsou určeny pro fotoaparáty telefonů. Místo toho jsou aplikace v maloobchodě a průmyslu průmyslového vybavení a také přispívají k budování „optimálních systémů“, které jsou propojeny s cloudem.
Proč je zpracování AI integrováno se samotným senzorem? Sony vysvětluje, že rozšíření internetu věcí má za následek připojení všech typů zařízení ke cloudu, což znamená systémy zpracování informací běžné, kde informace získané z takových zařízení jsou zpracovávány prostřednictvím AI na mrak. Problém spojený s takovým přístupem je zvýšená latence přenosu dat, která brání zpracování informací v reálném čase; bezpečnostní obavy uživatelů spojené s ukládáním osobních údajů v cloudu; a další problémy, jako je zvýšená spotřeba energie a náklady na komunikaci, které s sebou cloudové služby přináší.
IMX500 a IMX501 se vyznačují složenou konfigurací, která se skládá z pixelového čipu a logického čipu. Funkce analýzy a zpracování obrazu AI jsou vybaveny logickým čipem. Signál získaný pixelovým čipem je zpracováván prostřednictvím AI na snímači, což eliminuje potřebu vysoce výkonných procesorů nebo externí paměti. To zase umožňuje vývoj okrajových systémů umělé inteligence.
Snímač vydává metadata namísto obrazových informací, což vede ke snížení objemu dat a řeší obavy o soukromí. Schopnost AI umožňuje aplikace, jako je sledování objektů v reálném čase s vysokorychlostním zpracováním AI. Různé modely AI lze vybrat přepsáním vnitřní paměti podle požadavků uživatele nebo podmínek místa, kde je systém používán.
Pixelový čip těchto snímačů má BSI a má přibližně 12,3 efektivních MP pro zachycení informací. Optický formát je 1/2,3" (7,857 mm úhlopříčka) s velikostí pixelu 1,55 mikronu. Mají pole barevných filtrů Bayer. Snímače jsou schopné nahrávat video v rozlišení 4K při 60 snímcích za sekundu bez zpracování AI a natáčet video ve 4K při 30 snímcích za sekundu se zpracováním AI. Lokální čip také vybavuje originální DSP od Sony kromě běžného provozního obvodu obrazového snímače. DSP je věnován zpracování signálu AI a také paměti pro model AI. Díky tomu nejsou potřeba vysoce výkonné procesory a externí paměť, což přináší výhody systémům edge AI.
Pracovní postup obrazových snímačů vysvětluje Sony. Signály získané pixelovým čipem jsou vedeny přes ISP a zpracování AI se provádí ve fázi procesu na logický čip, přičemž extrahované informace jsou odesílány ve formě metadat, což snižuje množství dat vyřízeno. Samotné informace o obrázku se nevypisují, což je výhodné pro zabezpečení a soukromí. Uživatelé si mohou vybrat výstupní formát dat, včetně obrázků ve formátu ISP (YUV/RGB) a extrahovaných obrázků specifických oblastí ROI (Region of Interest).
Sony také podporuje rychlost. Říká, že když je video nahráno pomocí konvenčního obrazového snímače, je nutné odeslat data pro každého jednotlivce výstupní rámec pro zpracování AI, což má za následek zvýšený přenos dat a znesnadňuje dosažení reálného času výkon. Nové senzory IMX na druhou stranu provádějí zpracování ISP a vysokorychlostní zpracování AI (3,1 ms zpracování pro MobileNet V1*2) na logickém čipu, čímž je celý proces dokončen v jediném videu rám. To zase umožňuje poskytovat „vysoce přesné sledování objektů v reálném čase při nahrávání videa“, uvádí Sony.
Nakonec mohou uživatelé zapsat modely AI podle svého výběru do vestavěné paměti a aktualizovat ji podle jejích požadavků nebo podmínek místa, kde je systém používán. Sony uvádí příklad, kdy je v maloobchodě nainstalováno několik kamer využívajících tento produkt, a jediný typ kamery lze všestranně používat na různých místech, časech a účely. Když je kamera instalována u vchodu do objektu, lze ji použít k počítání počtu návštěvníků vstupujících do objektu; když je instalován na polici obchodu, může být použit k detekci nedostatku zásob; když je na stropě, může být použit pro návštěvníky obchodu s tepelným mapováním a tak dále. Model AI v dané kameře lze přepsat z modelu používaného k detekci teplotních map na model pro identifikaci chování spotřebitelů.
Jak to zní, oznámení o nadcházejícím vydání obrazových snímačů je skutečně pozoruhodným úspěchem. Má to však své vlastní důsledky pro sledování. Právě nyní jsou senzory určeny pro nízkoenergetická řešení, jako jsou bezpečnostní kamery. Fotoaparáty chytrých telefonů mohou tuto technologii začlenit o několik let později, ale zatím o ní není řeč kvůli omezením, protože vestavěný logický čip se nemůže rovnat všestrannosti nabízené moderními ISP (jako např. Spectra ISP v SoC Qualcomm Snapdragon). Právě teď fungují fotoaparáty chytrých telefonů jinak, přičemž samotný senzor je relativně hloupý a funguje s chytrým ISP, který je součástí SoC telefonu. ISP provádí veškerou práci při zpracování obrazu, což znamená, že skutečná role samotného snímače je značně omezená v moderních fotoaparátech chytrých telefonů (zpracování obrazu je důležitější než mít skvělý hardware fotoaparátu pro obraz kvalitní). Počítačová fotografie je novým módním slovem, ale v průmyslovém světě se IMX500 a IMX501 pokoušejí přinést slávu zpracování AI samotným senzorům.
IMX500 a IMX501 mají být uvedeny na trh v příštím roce. Sony plánuje uvolnit vzorky produktů v dubnu a červnu 2020. Pro více informací o jejich specifikacích se čtenářům doporučuje podívat se na zdrojový odkaz.
Zdroj: Sony