Sony har annonceret verdens første kamerabilledsensorer med udstyret AI-behandling i form af IMX500 og IMX501.
Sony er den største spiller, når det kommer til at levere kamera billedsensorer til smartphones. Eksempler på populære sensorer inkluderer 48MP IMX586, som blev brugt af et forvirrende udvalg af telefoner på tværs af prisklasser i 2019. Det IMX586 blev efterfulgt af 64MP IMX686. Virksomheden beskæftiger sig naturligvis ikke kun med billedsensorer til smartphones. Det har et enormt succesfuldt udvalg af premium spejlløse kameraer, der ofte anses for at være guldstandarden. Dets ubønhørlige innovationstempo viser ingen tegn på at give op, da det nu har annonceret den kommende udgivelse af sine første billedsensorer med AI-behandling, henholdsvis IMX500 og IMX501.
Sony IMX500 og IMX501 er kommende to modeller af intelligente synssensorer. Sony hævder, at de er verdens første billedsensorer, der er udstyret med AI-behandlingsfunktionalitet. Virksomheden siger, at inkluderende AI-behandlingsfunktionalitet på selve billedsensoren muliggør high-speed edge AI-behandling og udtræk af kun de nødvendige data. Dette reducerer datatransmissionsforsinkelse, adresserer privatlivsproblemer og reducerer strømforbrug og kommunikationsomkostninger sammenlignet med brug af cloud-tjenester.
Det er vigtigt at bemærke, at disse to sensorer ikke er beregnet til telefonkameraer. I stedet er applikationerne i detail- og industriudstyrsindustrien, ligesom de bidrager til at opbygge "optimale systemer", der forbinder med skyen.
Hvorfor har AI-behandling integreret med selve sensoren? Sony forklarer, at udbredelsen af IoT har resulteret i, at alle typer enheder er forbundet til skyen, hvilket gør almindelige informationsbehandlingssystemer, hvor information opnået fra sådanne enheder behandles via AI på Sky. Problemet forbundet med en sådan tilgang er øget datatransmissionsforsinkelse, der hindrer informationsbehandling i realtid; sikkerhedsproblemer fra brugere i forbindelse med lagring af personligt identificerbare data i skyen; og andre problemer såsom det øgede strømforbrug og kommunikationsomkostninger, der følger med cloud-tjenester.
IMX500 og IMX501 har en stablet konfiguration, som består af en pixel-chip og en logik-chip. AI-billedanalyse- og -behandlingsfunktionaliteten er udstyret på logikchippen. Signalet, der optages af pixelchippen, behandles via AI på sensoren, hvilket eliminerer behovet for højtydende processorer eller ekstern hukommelse. Dette muliggør igen udviklingen af edge AI-systemer.
Sensoren udsender metadata i stedet for billedinformation, hvilket resulterer i reduceret datavolumen og adresserer privatlivsproblemer. AI-kapaciteten gør applikationer som realtids-objektsporing med højhastigheds AI-behandling mulig. Forskellige AI-modeller kan vælges ved at omskrive intern hukommelse i henhold til brugerens krav eller forholdene på det sted, hvor systemet bruges.
Pixel-chippen på disse sensorer har BSI og har cirka 12,3 effektive MP til at fange information. Det optiske format er 1/2,3" (7,857 mm diagonal) med 1,55 mikron pixelstørrelse. De har et Bayer farvefilter. Sensorerne er i stand til 4K ved 60fps videooptagelse uden AI-behandling og 4K ved 30fps videooptagelse med AI-behandling. Den lokale chip udstyrer også Sonys originale DSP ud over det konventionelle billedsensordriftskredsløb. DSP'en er dedikeret til AI-signalbehandling samt hukommelse til AI-modellen. Med dette er der ikke behov for højtydende processorer og ekstern hukommelse, hvilket gavner edge AI-systemer.
Arbejdsgangen for billedsensorerne er forklaret af Sony. Signalerne erhvervet af pixelchippen køres gennem en internetudbyder, og AI-behandling udføres i processtadiet på logisk chip, hvor den udtrukne information udlæses i form af metadata, hvilket reducerer mængden af data håndteres. Selve billedinformationen udlæses ikke, hvilket er en fordel for sikkerheden og privatlivets fred. Brugere kan vælge dataoutputformatet, herunder billeder i ISP-format (YUV/RGB) og ROI (Region of Interest) specifikke områdeudtræksbilleder.
Sony promoverer også hastighed. Den siger, at når en video optages ved hjælp af en konventionel billedsensor, er det nødvendigt at sende data for hver enkelt person outputramme til AI-behandling, hvilket resulterer i øget datatransmission og gør det vanskeligt at opnå realtid ydeevne. De nye IMX-sensorer udfører på den anden side ISP-behandling og højhastigheds AI-behandling (3.1ms bearbejdning for MobileNet V1*2) på den logiske chip og fuldender således hele processen i en enkelt video ramme. Dette gør det til gengæld muligt at levere "højpræcision, realtidssporing af objekter, mens der optages video", ifølge Sony.
Endelig kan brugere skrive AI-modellerne efter eget valg til den indlejrede hukommelse og opdatere den i henhold til dens krav eller betingelserne for det sted, hvor systemet bruges. Sony giver et eksempel, hvor flere kameraer, der anvender dette produkt, er installeret i en detailhandel, og en enkelt type kamera kan bruges med alsidighed på tværs af forskellige steder, tidspunkter og formål. Når kameraet er installeret ved indgangen til anlægget, kan det bruges til at tælle antallet af besøgende, der kommer ind i anlægget; når den er installeret på hylden i en butik, kan den bruges til at opdage lagermangel; når den er på loftet, kan den bruges til varmekortlægningsbutikbesøgende og så videre. AI-modellen i et givet kamera kan omskrives fra en, der bruges til at detektere varmekort, til en til at identificere forbrugeradfærd.
Som det lyder, er annonceringen af den kommende udgivelse af billedsensorerne virkelig en bemærkelsesværdig præstation. Det kommer dog med sine egne konsekvenser for overvågning. Lige nu er sensorerne beregnet til lavstrømsløsninger såsom sikkerhedskameraer. Smartphone-kameraer kan inkorporere denne teknologi et par år senere, men det er ikke på kortene lige nu på grund af begrænsninger, da den indlejrede logiske chip ikke kan matche den alsidighed, som moderne internetudbydere tilbyder (som f.eks. Spectra ISP i Qualcomm Snapdragon SoCs). Lige nu fungerer smartphone-kameraer anderledes, hvor sensoren i sig selv er forholdsvis dum og fungerer med en smart internetudbyder fundet som en del af telefonens SoC. Internetudbyderen udfører alt arbejdet med billedbehandling, hvilket betyder, at selve sensorens rolle er ret begrænset i moderne smartphone-kameraer (billedbehandling er vigtigere end at have fantastisk kamerahardware til billede kvalitet). Computerfotografering er det nye buzzword, men i den industrielle verden forsøger IMX500 og IMX501 at bringe AI-bearbejdningsglansen til sensorerne selv.
IMX500 og IMX501 er planlagt til at blive lanceret i produkter næste år. Sony planlægger at frigive prøver af produkterne i henholdsvis april og juni 2020. For mere information om deres specifikationer rådes læsere til at tjekke kildelinket.
Kilde: Sony