Sony heeft 's werelds eerste camerabeeldsensoren met uitgeruste AI-verwerking aangekondigd in de vorm van de IMX500 en de IMX501.
Sony is de grootste speler als het gaat om het leveren van camerabeeldsensoren voor smartphones. Voorbeelden van populaire sensoren zijn de 48 MP IMX586, die in 2019 werd gebruikt door een verbijsterende verscheidenheid aan telefoons in verschillende prijsklassen. De IMX586 werd opgevolgd door de 64 MP IMX686. Het bedrijf houdt zich natuurlijk niet alleen bezig met beeldsensoren voor smartphones. Het heeft een enorm succesvolle reeks premium spiegelloze camera's die vaak als de gouden standaard worden beschouwd. Het meedogenloze tempo van innovatie vertoont geen tekenen van afname, aangezien het nu de aanstaande release van zijn eerste beeldsensoren met AI-verwerking heeft aangekondigd, respectievelijk de IMX500 en de IMX501.
De Sony IMX500 en IMX501 zijn de komende twee modellen van intelligente vision-sensoren. Sony beweert dat dit de eerste beeldsensoren ter wereld zijn die zijn uitgerust met AI-verwerkingsfunctionaliteit. Het bedrijf zegt dat het opnemen van AI-verwerkingsfunctionaliteit op de beeldsensor zelf snelle AI-verwerking en extractie van alleen de noodzakelijke gegevens mogelijk maakt. Dit vermindert de latentie bij gegevensoverdracht, pakt privacyproblemen aan en verlaagt het stroomverbruik en de communicatiekosten in vergelijking met het gebruik van cloudservices.
Het is belangrijk op te merken dat deze twee sensoren niet bedoeld zijn voor telefooncamera's. In plaats daarvan bevinden de toepassingen zich in de detailhandel en de industriële apparatuurindustrie en dragen ze bij aan het bouwen van ‘optimale systemen’ die verbinding maken met de cloud.
Waarom is AI-verwerking geïntegreerd met de sensor zelf? Sony legt uit dat de verspreiding van IoT ertoe heeft geleid dat allerlei soorten apparaten met de cloud zijn verbonden informatieverwerkingssystemen zijn gemeengoed, waarbij informatie verkregen van dergelijke apparaten wordt verwerkt via AI op de computer wolk. Het probleem dat met een dergelijke aanpak gepaard gaat, is de toegenomen latentie van de datatransmissie, waardoor de real-time informatieverwerking wordt belemmerd; beveiligingsproblemen van gebruikers in verband met het opslaan van persoonlijk identificeerbare gegevens in de cloud; en andere problemen zoals het toegenomen stroomverbruik en de hogere communicatiekosten die met clouddiensten gepaard gaan.
De IMX500 en de IMX501 hebben een gestapelde configuratie, die bestaat uit een pixelchip en een logicachip. De AI-beeldanalyse- en verwerkingsfunctionaliteit is op de logica-chip uitgerust. Het signaal dat door de pixelchip wordt verkregen, wordt via AI op de sensor verwerkt, waardoor er geen krachtige processors of extern geheugen nodig zijn. Dit maakt op zijn beurt de ontwikkeling van edge AI-systemen mogelijk.
De sensor voert metadata uit in plaats van beeldinformatie, wat resulteert in een kleiner datavolume en een oplossing biedt voor privacyproblemen. De AI-mogelijkheid maakt toepassingen zoals real-time objecttracking met snelle AI-verwerking mogelijk. Er kan worden gekozen voor verschillende AI-modellen door het interne geheugen te herschrijven op basis van de eisen van de gebruiker of de omstandigheden van de locatie waar het systeem wordt gebruikt.
De pixelchip van deze sensoren beschikt over BSI en heeft ongeveer 12,3 effectieve MP voor het vastleggen van informatie. Het optische formaat is 1/2,3" (7,857 mm diagonaal) met een pixelgrootte van 1,55 micron. Ze hebben een Bayer-kleurenfilterarray. De sensoren zijn in staat tot 4K bij 60 fps video-opname zonder AI-verwerking en 4K bij 30 fps video-opname met AI-verwerking. De lokale chip rust ook de originele DSP van Sony uit, naast het conventionele bedieningscircuit voor de beeldsensor. De DSP is bedoeld voor AI-signaalverwerking en geheugen voor het AI-model. Hierdoor zijn krachtige processors en extern geheugen niet nodig, wat de edge-AI-systemen ten goede komt.
De workflow van de beeldsensoren wordt uitgelegd door Sony. De signalen die door de pixelchip worden verkregen, worden via een ISP geleid en de AI-verwerking vindt plaats in de procesfase op de logica-chip, waarbij de geëxtraheerde informatie wordt uitgevoerd in de vorm van metadata, waardoor de hoeveelheid gegevens wordt verminderd afgehandeld. De daadwerkelijke beeldinformatie zelf wordt niet weergegeven, wat gunstig is voor de veiligheid en privacy. Gebruikers kunnen het gegevensuitvoerformaat selecteren, inclusief afbeeldingen in ISP-formaat (YUV/RGB) en ROI (Region of Interest) specifieke gebiedsextractafbeeldingen.
Sony promoot ook snelheid. Er staat dat wanneer een video wordt opgenomen met een conventionele beeldsensor, het noodzakelijk is om gegevens voor elk individu te verzenden outputframe voor AI-verwerking, wat resulteert in een verhoogde datatransmissie en het moeilijk maakt om realtime te bereiken prestatie. De nieuwe IMX-sensoren voeren daarentegen ISP-verwerking en snelle AI-verwerking uit (3,1 ms verwerking voor MobileNet V1*2) op de logica-chip, waardoor het hele proces in één video wordt voltooid kader. Dit maakt het op zijn beurt mogelijk om "zeer nauwkeurige, realtime tracking van objecten te leveren tijdens het opnemen van video", aldus Sony.
Ten slotte kunnen gebruikers de AI-modellen van hun keuze naar het ingebouwde geheugen schrijven en dit bijwerken op basis van de vereisten of de omstandigheden van de locatie waar het systeem wordt gebruikt. Sony geeft een voorbeeld waarbij meerdere camera's waarin dit product wordt gebruikt, zijn geïnstalleerd op een winkellocatie, en één enkel type camera kan veelzijdig worden gebruikt op verschillende locaties, tijdstippen en doeleinden. Wanneer de camera bij de ingang van de faciliteit wordt geïnstalleerd, kan deze worden gebruikt om het aantal bezoekers te tellen dat de faciliteit betreedt; wanneer het op het schap van een winkel wordt geïnstalleerd, kan het worden gebruikt om voorraadtekorten op te sporen; aan het plafond kan het worden gebruikt voor het in kaart brengen van winkelbezoekers, enzovoort. Het AI-model in een bepaalde camera kan worden herschreven van een model dat wordt gebruikt om heatmaps te detecteren naar een model dat wordt gebruikt om consumentengedrag te identificeren.
Zoals het klinkt, is de aankondiging van de aanstaande release van de beeldsensoren inderdaad een opmerkelijke prestatie. Het heeft echter zijn eigen implicaties voor het toezicht. Op dit moment zijn de sensoren bedoeld voor energiezuinige oplossingen zoals beveiligingscamera's. Smartphonecamera's kunnen deze technologie over een paar jaar misschien wel integreren, maar voorlopig is het nog niet aan de orde vanwege beperkingen omdat de ingebouwde logica-chip niet kan tippen aan de veelzijdigheid die wordt geboden door moderne ISP's (zoals de Spectra-ISP in de Qualcomm Snapdragon SoC's). Op dit moment functioneren smartphonecamera's anders, waarbij de sensor op zichzelf relatief dom is en functioneert met een slimme ISP die wordt gevonden als onderdeel van de SoC van de telefoon. De ISP doet al het werk van de beeldverwerking, wat betekent dat de feitelijke rol van de sensor zelf vrij beperkt is in moderne smartphonecamera's (beeldverwerking is belangrijker dan het hebben van geweldige camerahardware voor beeld kwaliteit). Computationele fotografie is het nieuwe modewoord, maar in de industriële wereld proberen de IMX500 en IMX501 de AI-verwerkingsglorie naar de sensoren zelf te brengen.
De IMX500 en IMX501 zullen volgend jaar in producten worden gelanceerd. Sony is van plan om in april en juni 2020 samples van de producten uit te brengen. Voor meer informatie over hun specificaties wordt lezers geadviseerd de bronlink te bekijken.
Bron: Sony