Sony hat mit dem IMX500 und dem IMX501 die weltweit ersten Kamerabildsensoren mit ausgestatteter KI-Verarbeitung angekündigt.
Sony ist der größte Anbieter von Kamerabildsensoren für Smartphones. Beispiele für beliebte Sensoren sind der 48MP IMX586, der 2019 von einer verwirrenden Vielfalt an Telefonen aller Preisklassen verwendet wurde. Der IMX586 Nachfolger wurde der 64MP IMX686. Das Unternehmen handelt natürlich nicht nur mit Smartphone-Bildsensoren. Das Unternehmen verfügt über ein äußerst erfolgreiches Sortiment hochwertiger spiegelloser Kameras, die oft als Goldstandard gelten. Das unermüdliche Innovationstempo lässt nicht nach, da das Unternehmen nun die bevorstehende Veröffentlichung seiner ersten Bildsensoren mit KI-Verarbeitung angekündigt hat, den IMX500 bzw. den IMX501.
Sony IMX500 und IMX501 sind zwei kommende Modelle intelligenter Vision-Sensoren. Sony behauptet, dass es sich um die weltweit ersten Bildsensoren handelt, die mit KI-Verarbeitungsfunktionen ausgestattet sind. Das Unternehmen gibt an, dass die Integration der KI-Verarbeitungsfunktionalität auf dem Bildsensor selbst eine Hochgeschwindigkeits-Edge-KI-Verarbeitung und die Extraktion nur der erforderlichen Daten ermöglicht. Dies reduziert die Latenz bei der Datenübertragung, berücksichtigt Datenschutzbedenken und reduziert den Stromverbrauch und die Kommunikationskosten im Vergleich zur Nutzung von Cloud-Diensten.
Es ist wichtig zu beachten, dass diese beiden Sensoren nicht für Telefonkameras gedacht sind. Stattdessen finden die Anwendungen in der Einzelhandels- und Industrieausrüstungsindustrie statt und tragen zum Aufbau „optimaler Systeme“ bei, die mit der Cloud verknüpft sind.
Warum ist die KI-Verarbeitung in den Sensor selbst integriert? Sony erklärt, dass die Verbreitung des IoT dazu geführt hat, dass alle Arten von Geräten mit der Cloud verbunden sind, was dies ermöglicht Informationsverarbeitungssysteme sind weit verbreitet, wobei von solchen Geräten erhaltene Informationen über KI verarbeitet werden Wolke. Das mit einem solchen Ansatz verbundene Problem besteht in einer erhöhten Datenübertragungslatenz, die die Informationsverarbeitung in Echtzeit behindert. Sicherheitsbedenken von Benutzern im Zusammenhang mit der Speicherung personenbezogener Daten in der Cloud; und andere Probleme wie der erhöhte Stromverbrauch und die Kommunikationskosten, die mit Cloud-Diensten einhergehen.
Der IMX500 und der IMX501 verfügen über eine gestapelte Konfiguration, die aus einem Pixelchip und einem Logikchip besteht. Die KI-Bildanalyse- und -verarbeitungsfunktionen sind auf dem Logikchip ausgestattet. Das vom Pixelchip erfasste Signal wird per KI auf dem Sensor verarbeitet, wodurch Hochleistungsprozessoren oder externer Speicher überflüssig werden. Dies wiederum ermöglicht die Entwicklung von Edge-KI-Systemen.
Der Sensor gibt Metadaten anstelle von Bildinformationen aus, was zu einem geringeren Datenvolumen führt und Datenschutzbedenken Rechnung trägt. Die KI-Fähigkeit ermöglicht Anwendungen wie Echtzeit-Objektverfolgung mit Hochgeschwindigkeits-KI-Verarbeitung. Verschiedene KI-Modelle können ausgewählt werden, indem der interne Speicher entsprechend den Anforderungen des Benutzers oder den Bedingungen des Standorts, an dem das System verwendet wird, neu beschrieben wird.
Der Pixelchip dieser Sensoren verfügt über BSI und verfügt über ca. 12,3 effektive MP zur Informationserfassung. Das optische Format beträgt 1/2,3 Zoll (7,857 mm Diagonale) mit einer Pixelgröße von 1,55 Mikron. Sie verfügen über ein Bayer-Farbfilter-Array. Die Sensoren sind in der Lage, 4K-Videos mit 60 Bildern pro Sekunde ohne KI-Verarbeitung und 4K-Videos mit 30 Bildern pro Sekunde mit KI-Verarbeitung aufzuzeichnen. Der lokale Chip stattet zusätzlich zur herkömmlichen Bildsensor-Betriebsschaltung auch den Original-DSP von Sony aus. Der DSP dient der KI-Signalverarbeitung sowie dem Speicher für das KI-Modell. Dadurch werden Hochleistungsprozessoren und externer Speicher nicht benötigt, was Edge-KI-Systemen zugute kommt.
Den Arbeitsablauf der Bildsensoren erklärt Sony. Die vom Pixelchip erfassten Signale werden über einen ISP geleitet, und die KI-Verarbeitung erfolgt in der Prozessstufe auf dem Logikchip, wobei die extrahierten Informationen in Form von Metadaten ausgegeben werden, was die Datenmenge reduziert abgewickelt. Die eigentlichen Bildinformationen selbst werden nicht ausgegeben, was der Sicherheit und dem Datenschutz zugute kommt. Benutzer können das Datenausgabeformat auswählen, einschließlich Bildern im ISP-Format (YUV/RGB) und ROI-spezifischen Bereichsextraktionsbildern (Region of Interest).
Auch Sony wirbt für Geschwindigkeit. Darin heißt es, dass bei der Aufnahme eines Videos mit einem herkömmlichen Bildsensor die Übermittlung von Daten für jede einzelne Person erforderlich sei Ausgaberahmen für die KI-Verarbeitung, was zu einer erhöhten Datenübertragung führt und es schwierig macht, Echtzeit zu erreichen Leistung. Die neuen IMX-Sensoren hingegen führen ISP-Verarbeitung und Hochgeschwindigkeits-KI-Verarbeitung (3,1 ms) durch Verarbeitung für MobileNet V1*2) auf dem Logikchip, wodurch der gesamte Prozess in einem einzigen Video abgeschlossen wird rahmen. Dies wiederum ermöglicht laut Sony eine „hochpräzise Echtzeitverfolgung von Objekten während der Videoaufzeichnung“.
Schließlich können Benutzer die KI-Modelle ihrer Wahl in den eingebetteten Speicher schreiben und ihn entsprechend seinen Anforderungen oder den Bedingungen des Standorts, an dem das System verwendet wird, aktualisieren. Sony gibt ein Beispiel, bei dem mehrere Kameras, die dieses Produkt verwenden, in einem Einzelhandelsgeschäft installiert sind. und ein einziger Kameratyp kann vielseitig an verschiedenen Orten, zu verschiedenen Zeiten und an verschiedenen Orten eingesetzt werden Zwecke. Wenn die Kamera am Eingang der Anlage installiert ist, kann sie dazu verwendet werden, die Anzahl der Besucher zu zählen, die die Anlage betreten; Wenn es im Regal eines Ladens installiert wird, kann es zur Erkennung von Lagerengpässen verwendet werden; Wenn es an der Decke angebracht ist, kann es für die Wärmekartierung von Ladenbesuchern usw. verwendet werden. Das KI-Modell in einer bestimmten Kamera kann von einem zur Erkennung von Heatmaps auf eines zur Identifizierung des Verbraucherverhaltens umgeschrieben werden.
So wie es klingt, ist die Ankündigung der bevorstehenden Veröffentlichung der Bildsensoren tatsächlich eine bemerkenswerte Leistung. Es hat jedoch seine eigenen Auswirkungen auf die Überwachung. Derzeit sind die Sensoren für Lösungen mit geringem Stromverbrauch wie Überwachungskameras vorgesehen. Smartphone-Kameras werden diese Technologie möglicherweise in ein paar Jahren integrieren, aber das ist derzeit nicht der Fall aufgrund von Einschränkungen, da der eingebettete Logikchip nicht mit der Vielseitigkeit moderner ISPs (wie z. B.) mithalten kann Spectra ISP in den Qualcomm Snapdragon SoCs). Derzeit funktionieren Smartphone-Kameras anders, da der Sensor selbst relativ dumm ist und mit einem intelligenten ISP funktioniert, der Teil des SoC des Telefons ist. Der ISP erledigt die gesamte Arbeit der Bildverarbeitung, was bedeutet, dass die tatsächliche Rolle des Sensors selbst recht begrenzt ist in modernen Smartphone-Kameras (die Bildverarbeitung ist wichtiger als eine hervorragende Kamera-Hardware für die Bildverarbeitung). Qualität). Computerfotografie ist das neue Schlagwort, aber in der industriellen Welt versuchen IMX500 und IMX501, den Ruhm der KI-Verarbeitung auf die Sensoren selbst zu übertragen.
Die Produkteinführungen IMX500 und IMX501 sind für nächstes Jahr geplant. Sony plant, Muster der Produkte im April bzw. Juni 2020 zu veröffentlichen. Für weitere Informationen zu ihren Spezifikationen wird den Lesern empfohlen, den Quelllink zu lesen.
Quelle: Sony