Sony har tillkännagett världens första kamerabildsensorer med utrustad AI-behandling i form av IMX500 och IMX501.
Sony är den största aktören när det kommer till att leverera kamerabildsensorer för smartphones. Exempel på populära sensorer inkluderar 48MP IMX586, som användes av en förvirrande mängd telefoner i olika prisklasser under 2019. De IMX586 efterträddes av 64MP IMX686. Företaget ägnar sig naturligtvis inte bara åt bildsensorer för smartphones. Den har en enormt framgångsrik serie av premium spegellösa kameror som ofta anses vara guldstandarden. Dess obevekliga innovationstakt visar inga tecken på att ge upp, eftersom den nu har meddelat den kommande releasen sina första bildsensorer med AI-bearbetning, IMX500 respektive IMX501.
Sony IMX500 och IMX501 är kommande två modeller av intelligenta synsensorer. Sony hävdar att de är världens första bildsensorer som är utrustade med AI-bearbetningsfunktioner. Företaget säger att inkludering av AI-bearbetningsfunktioner på själva bildsensorn möjliggör höghastighets-AI-bearbetning och extrahering av endast nödvändig data. Detta minskar latens för dataöverföring, åtgärdar integritetsproblem och minskar strömförbrukning och kommunikationskostnader jämfört med att använda molntjänster.
Det är viktigt att notera att dessa två sensorer inte är avsedda för telefonkameror. Istället finns applikationerna inom detaljhandeln och industriutrustningsindustrin samt bidrar till att bygga "optimala system" som länkar till molnet.
Varför har AI-bearbetning integrerad med själva sensorn? Sony förklarar att spridningen av IoT har resulterat i att alla typer av enheter är anslutna till molnet, vilket gör vanliga informationsbehandlingssystem, där information som erhålls från sådana enheter behandlas via AI på moln. Problemet som är förknippat med ett sådant tillvägagångssätt är ökad dataöverföringslatens som hindrar informationsbehandling i realtid; säkerhetsproblem från användare i samband med lagring av personligt identifierbar data i molnet; och andra frågor som den ökade strömförbrukningen och kommunikationskostnaderna som följer med molntjänster.
IMX500 och IMX501 har en staplad konfiguration, som består av ett pixelchip och logikchip. AI-bildanalys och bearbetningsfunktioner är utrustade på logikchippet. Signalen som förvärvas av pixelchippet bearbetas via AI på sensorn, vilket eliminerar behovet av högpresterande processorer eller externt minne. Detta möjliggör i sin tur utvecklingen av edge AI-system.
Sensorn matar ut metadata istället för bildinformation, vilket resulterar i minskad datamängd och åtgärdar integritetsproblem. AI-förmågan gör applikationer som objektspårning i realtid med höghastighets-AI-bearbetning möjliga. Olika AI-modeller kan väljas genom att skriva om internminnet enligt användarens krav eller förhållandena på den plats där systemet används.
Pixelchippet för dessa sensorer har BSI och har cirka 12,3 effektiv MP för att fånga information. Det optiska formatet är 1/2,3" (7,857 mm diagonal) med 1,55 mikron pixelstorlek. De har en Bayer färgfilteruppsättning. Sensorerna är kapabla till 4K vid 60fps videoinspelning utan AI-bearbetning och 4K vid 30fps videoinspelning med AI-bearbetning. Det lokala chippet utrustar även Sonys ursprungliga DSP utöver den konventionella bildsensordriftskretsen. DSP: n är dedikerad till AI-signalbehandling samt minne för AI-modellen. Med detta behövs inte högpresterande processorer och externt minne, vilket gynnar edge AI-system.
Bildsensorernas arbetsflöde förklaras av Sony. Signalerna som förvärvas av pixelchippet körs genom en ISP, och AI-bearbetning görs i processsteget på logikchip, med den extraherade informationen utmatad i form av metadata, vilket minskar mängden data hanteras. Själva bildinformationen matas inte ut, vilket är fördelaktigt för säkerheten och integriteten. Användare kan välja datautmatningsformat inklusive ISP-formatbilder (YUV/RGB) och ROI (Region of Interest) specifika områdesextraktionsbilder.
Sony främjar också hastighet. Det står att när en video spelas in med en konventionell bildsensor är det nödvändigt att skicka data för varje individ output frame för AI-bearbetning, vilket resulterar i ökad dataöverföring och gör det svårt att uppnå realtid prestanda. De nya IMX-sensorerna, å andra sidan, utför ISP-bearbetning och höghastighets AI-bearbetning (3,1 ms) bearbetning för MobileNet V1*2) på logikchippet, vilket slutför hela processen i en enda video ram. Detta gör det i sin tur möjligt att leverera "högprecision, realtidsspårning av objekt samtidigt som man spelar in video", enligt Sony.
Slutligen kan användare skriva de AI-modeller de väljer till det inbäddade minnet och uppdatera det enligt dess krav eller villkoren för den plats där systemet används. Sony ger ett exempel där flera kameror som använder den här produkten är installerade i en butik, och en enda typ av kamera kan användas med mångsidighet över olika platser, tider och syften. När kameran är installerad vid entrén till anläggningen kan den användas för att räkna antalet besökare som kommer in i anläggningen; när den är installerad på hyllan i en butik kan den användas för att upptäcka lagerbrist; när den är i taket kan den användas för värmekartläggningsbutiksbesökare och så vidare. AI-modellen i en given kamera kan skrivas om från en som används för att upptäcka värmekartor till en för att identifiera konsumentbeteende.
Som det låter är tillkännagivandet av den kommande releasen av bildsensorerna verkligen en anmärkningsvärd prestation. Det kommer dock med sina egna konsekvenser för övervakning. Just nu är sensorerna avsedda för lågeffektslösningar som säkerhetskameror. Smartphonekameror kan inkludera denna teknik några år senare, men det finns inte på korten för tillfället på grund av begränsningar eftersom det inbyggda logikchippet inte kan matcha mångsidigheten som erbjuds av moderna internetleverantörer (som t.ex. Spectra ISP i Qualcomm Snapdragon SoCs). Just nu fungerar smartphonekameror annorlunda, där sensorn i sig är relativt stum och fungerar med en smart ISP som finns som en del av telefonens SoC. Internetleverantören gör allt arbete med bildbehandling, vilket innebär att själva sensorns roll är ganska begränsad i moderna smartphonekameror (bildbehandling är viktigare än att ha bra kamerahårdvara för bild kvalitet). Beräkningsfotografering är det nya modeordet, men i den industriella världen försöker IMX500 och IMX501 föra AI-bearbetningshärligheten till sensorerna själva.
IMX500 och IMX501 är planerade att lanseras i produkter nästa år. Sony planerar att släppa prover av produkterna i april respektive juni 2020. För mer information om deras specifikationer rekommenderas läsare att kolla in källlänken.
Källa: Sony