Sony har annonsert verdens første kamerabildesensorer med utstyrt AI-behandling i form av IMX500 og IMX501.
Sony er den største aktøren når det gjelder å levere kamerabildesensorer til smarttelefoner. Eksempler på populære sensorer inkluderer 48MP IMX586, som ble brukt av et forvirrende utvalg av telefoner i tvers av prisklasser i 2019. De IMX586 ble etterfulgt av 64MP IMX686. Selskapet driver ikke bare med bildesensorer for smarttelefoner, selvfølgelig. Den har et enormt vellykket utvalg av førsteklasses speilløse kameraer som ofte anses for å være gullstandarden. Dens nådeløse innovasjonstakten viser ingen tegn til å gi opp, siden den nå har annonsert den kommende utgivelsen sine første bildesensorer med AI-behandling, henholdsvis IMX500 og IMX501.
Sony IMX500 og IMX501 er kommende to modeller av intelligente synssensorer. Sony hevder at de er verdens første bildesensorer som er utstyrt med AI-behandlingsfunksjonalitet. Selskapet sier at inkludert AI-behandlingsfunksjonalitet på selve bildesensoren muliggjør høyhastighets AI-behandling og utvinning av kun de nødvendige dataene. Dette reduserer dataoverføringsforsinkelse, adresserer personvernhensyn og reduserer strømforbruk og kommunikasjonskostnader sammenlignet med bruk av skytjenester.
Det er viktig å merke seg at disse to sensorene ikke er ment for telefonkameraer. I stedet er applikasjonene innen detaljhandel og industrielt utstyr, i tillegg til å bidra til å bygge "optimale systemer" som kobles til skyen.
Hvorfor har AI-behandling integrert med selve sensoren? Sony forklarer at spredningen av IoT har resultert i at alle typer enheter er koblet til skyen, noe som gjør vanlige informasjonsbehandlingssystemer, der informasjon innhentet fra slike enheter behandles via AI på Sky. Problemet forbundet med en slik tilnærming er økt dataoverføringsforsinkelse som hindrer sanntidsinformasjonsbehandling; sikkerhetsproblemer fra brukere knyttet til lagring av personlig identifiserbare data i skyen; og andre problemer som økt strømforbruk og kommunikasjonskostnader som følger med skytjenester.
IMX500 og IMX501 har en stablet konfigurasjon, som består av en pikselbrikke og logikkbrikke. AI-bildeanalyse- og prosesseringsfunksjonaliteten er utstyrt på logikkbrikken. Signalet som hentes inn av pikselbrikken behandles via AI på sensoren, noe som eliminerer behovet for høyytelsesprosessorer eller eksternt minne. Dette muliggjør i sin tur utviklingen av edge AI-systemer.
Sensoren sender ut metadata i stedet for bildeinformasjon, noe som resulterer i redusert datavolum og adresserer personvernhensyn. AI-evnen gjør applikasjoner som sanntids objektsporing med høyhastighets AI-behandling mulig. Ulike AI-modeller kan velges ved å omskrive internminnet i henhold til brukerens krav eller forholdene på stedet der systemet brukes.
Pikselbrikken til disse sensorene har BSI og har omtrent 12,3 effektive MP for å fange informasjon. Det optiske formatet er 1/2,3" (7,857 mm diagonal) med 1,55 mikron pikselstørrelse. De har et Bayer-fargefilter. Sensorene er i stand til 4K ved 60fps videoopptak uten AI-behandling og 4K ved 30fps videoopptak med AI-behandling. Den lokale brikken utstyrer også Sonys originale DSP i tillegg til den konvensjonelle bildesensoroperasjonskretsen. DSP-en er dedikert til AI-signalbehandling samt minne for AI-modellen. Med dette er det ikke behov for høyytelsesprosessorer og eksternt minne, noe som er til fordel for avanserte AI-systemer.
Arbeidsflyten til bildesensorene er forklart av Sony. Signalene innhentet av pikselbrikken kjøres gjennom en ISP, og AI-behandling gjøres i prosessstadiet på logisk brikke, med den utpakkede informasjonen utgitt i form av metadata, noe som reduserer mengden data håndtert. Selve bildeinformasjonen sendes ikke ut, noe som er gunstig for sikkerhet og personvern. Brukere kan velge datautdataformat, inkludert bilder i ISP-format (YUV/RGB) og ROI (interesseområde) spesifikke områdeutdragsbilder.
Sony fremmer også hastighet. Den sier at når en video tas opp med en vanlig bildesensor, er det nødvendig å sende data for hver enkelt utgangsramme for AI-behandling, noe som resulterer i økt dataoverføring og gjør det vanskelig å oppnå sanntid opptreden. De nye IMX-sensorene, derimot, utfører ISP-behandling og høyhastighets AI-behandling (3,1 ms) behandling for MobileNet V1*2) på logikkbrikken, og fullfører dermed hele prosessen i en enkelt video ramme. Dette gjør det igjen mulig å levere «høypresisjon, sanntidssporing av objekter mens du tar opp video», ifølge Sony.
Til slutt kan brukere skrive AI-modellene etter eget valg til det innebygde minnet og oppdatere det i henhold til kravene eller forholdene på stedet der systemet brukes. Sony gir et eksempel der flere kameraer som bruker dette produktet, er installert i en butikk, og en enkelt type kamera kan brukes med allsidighet på tvers av forskjellige steder, tider og formål. Når kameraet er installert ved inngangen til anlegget, kan det brukes til å telle antall besøkende som kommer inn i anlegget; når den er installert på hyllen i en butikk, kan den brukes til å oppdage lagermangel; når den er i taket kan den brukes til varmekartleggingsbutikkbesøkende, og så videre. AI-modellen i et gitt kamera kan skrives om fra en som brukes til å oppdage varmekart til en for å identifisere forbrukeratferd.
Som det høres ut, er kunngjøringen av den kommende utgivelsen av bildesensorene virkelig en bemerkelsesverdig prestasjon. Det kommer imidlertid med sine egne implikasjoner for overvåking. Akkurat nå er sensorene beregnet på lavstrømsløsninger som sikkerhetskameraer. Smarttelefonkameraer kan inkludere denne teknologien noen år senere, men det er ikke på kortene for nå på grunn av begrensninger ettersom den innebygde logiske brikken ikke kan matche allsidigheten som tilbys av moderne Internett-leverandører (som f.eks. Spectra ISP i Qualcomm Snapdragon SoCs). Akkurat nå fungerer smarttelefonkameraer annerledes, der sensoren i seg selv er relativt dum og fungerer med en smart ISP funnet som en del av telefonens SoC. Internett-leverandøren gjør alt arbeidet med bildebehandling, noe som betyr at selve sensorens rolle er ganske begrenset i moderne smarttelefonkameraer (bildebehandling er viktigere enn å ha god kameramaskinvare for bilde kvalitet). Beregningsfotografering er det nye buzzwordet, men i den industrielle verden forsøker IMX500 og IMX501 å bringe AI-behandlingen til sensorene selv.
IMX500 og IMX501 skal etter planen lanseres i produkter neste år. Sony planlegger å gi ut prøver av produktene i henholdsvis april og juni 2020. For mer informasjon om deres spesifikasjoner, anbefales lesere å sjekke kildelenken.
Kilde: Sony