Sony, IMX500 ve IMX501 biçiminde dünyanın ilk yapay zeka işleme özelliğine sahip kamera görüntü sensörlerini duyurdu.
Sony, akıllı telefonlar için kamera görüntü sensörleri sağlama konusunda en büyük oyuncudur. Popüler sensör örnekleri arasında 2019'da farklı fiyat aralıklarında değişen şaşırtıcı çeşitlilikteki telefonlar tarafından kullanılan 48MP IMX586 yer alıyor. IMX586 yerini 64MP IMX686 aldı. Şirket elbette sadece akıllı telefon görüntü sensörleriyle ilgilenmiyor. Genellikle altın standart olarak kabul edilen, son derece başarılı, birinci sınıf aynasız kamera serisine sahiptir. Durmak bilmez yenilik temposu, hiç pes etme belirtisi göstermiyor; şimdi yapay zeka işlemeli ilk görüntü sensörleri olan IMX500 ve IMX501'in yakında piyasaya sürüleceğini duyurdu.
Sony IMX500 ve IMX501, akıllı görüntü sensörlerinin yakında çıkacak iki modelidir. Sony, bunların dünyanın yapay zeka işleme işleviyle donatılmış ilk görüntü sensörleri olduğunu iddia ediyor. Şirket, yapay zeka işleme işlevinin görüntü sensörüne dahil edilmesinin, yüksek hızlı uç yapay zeka işlemesine ve yalnızca gerekli verilerin çıkarılmasına olanak sağladığını söylüyor. Bu, bulut hizmetlerini kullanmaya kıyasla veri iletimi gecikmesini azaltır, gizlilik endişelerini giderir ve güç tüketimini ve iletişim maliyetlerini azaltır.
Bu iki sensörün telefon kameralarına yönelik olmadığını unutmamak önemlidir. Bunun yerine uygulamalar perakende ve endüstriyel ekipman endüstrilerinde yer alıyor ve bulutla bağlantı kuran "optimum sistemlerin" oluşturulmasına katkıda bulunuyor.
Yapay zeka işleme neden sensörün kendisiyle entegre oldu? Sony, IoT'nin yayılmasının her tür cihazın buluta bağlanmasıyla sonuçlandığını ve bunun da Bu tür cihazlardan elde edilen bilgilerin yapay zeka aracılığıyla işlendiği bilgi işleme sistemleri yaygındır. bulut. Böyle bir yaklaşımla ilgili sorun, gerçek zamanlı bilgi işlemeyi engelleyen artan veri iletim gecikmesidir; kişisel olarak tanımlanabilir verilerin bulutta saklanmasıyla ilgili kullanıcıların güvenlik kaygıları; ve bulut hizmetlerinin getirdiği artan güç tüketimi ve iletişim maliyetleri gibi diğer sorunlar.
IMX500 ve IMX501, bir piksel çipi ve mantık çipinden oluşan yığılmış bir konfigürasyona sahiptir. Yapay zeka görüntü analizi ve işleme işlevi, mantık çipinde bulunur. Piksel çipi tarafından elde edilen sinyal, sensör üzerindeki yapay zeka aracılığıyla işleniyor ve bu da yüksek performanslı işlemcilere veya harici belleğe olan ihtiyacı ortadan kaldırıyor. Bu da uç yapay zeka sistemlerinin geliştirilmesine olanak sağlar.
Sensör, görüntü bilgisi yerine meta veri çıkışı sağlar; bu da veri hacminin azalmasına neden olur ve gizlilik endişelerini giderir. Yapay zeka yeteneği, yüksek hızlı yapay zeka işlemeyle gerçek zamanlı nesne takibi gibi uygulamaları mümkün kılar. Kullanıcının gereksinimlerine veya sistemin kullanıldığı lokasyonun koşullarına göre dahili hafıza yeniden yazılarak farklı yapay zeka modelleri seçilebiliyor.
Bu sensörlerin piksel çipi BSI'ye sahiptir ve bilgi yakalamak için yaklaşık 12,3 etkin MP'ye sahiptir. Optik format 1/2,3" (7,857 mm diyagonal) ve 1,55 mikron piksel boyutundadır. Bayer renk filtre dizisine sahipler. Sensörler, AI işleme olmadan 60 fps'de 4K video kaydı ve AI işleme ile 30 fps'de 4K video kaydı yapabilir. Yerel çip, geleneksel görüntü sensörü çalışma devresine ek olarak Sony'nin orijinal DSP'sini de donatıyor. DSP, AI modeli için belleğin yanı sıra AI sinyal işlemeye de ayrılmıştır. Bu sayede yüksek performanslı işlemcilere ve harici belleğe ihtiyaç duyulmaz ve böylece uç yapay zeka sistemlerinden yararlanılır.
Görüntü sensörlerinin iş akışı Sony tarafından anlatılıyor. Piksel çipi tarafından elde edilen sinyaller bir ISP üzerinden çalıştırılır ve yapay zeka işlemi, işlem aşamasında gerçekleştirilir. Veri miktarını azaltan, meta veri biçiminde çıkarılan bilgilerle mantık çipi ele alındı. Gerçek görüntü bilgisinin kendisi yayınlanmaz; bu da güvenlik ve gizlilik açısından faydalıdır. Kullanıcılar, ISP formatındaki görüntüler (YUV/RGB) ve ROI'ye (İlgi Alanı) özel alan alıntı görüntüleri dahil olmak üzere veri çıkış formatını seçebilir.
Sony aynı zamanda hızı da teşvik ediyor. Geleneksel bir görüntü sensörü kullanılarak bir video kaydedildiğinde, her bireye veri gönderilmesi gerektiğini söylüyor Yapay zeka işleme için çıktı çerçevesi, bu da veri iletiminin artmasına neden olur ve gerçek zamanlı veri elde edilmesini zorlaştırır verim. Yeni IMX sensörleri ise ISP işleme ve yüksek hızlı AI işleme (3,1 ms) gerçekleştiriyor MobileNet V1*2) mantık çipinde işleniyor, böylece tüm süreç tek bir videoda tamamlanıyor çerçeve. Bu da Sony'ye göre "video kaydederken nesnelerin yüksek hassasiyetli, gerçek zamanlı takibini" mümkün kılıyor.
Son olarak kullanıcılar kendi seçtikleri yapay zeka modellerini gömülü belleğe yazıp, gereksinimlerine veya sistemin kullanıldığı lokasyonun koşullarına göre güncelleyebiliyor. Sony, bu ürünü kullanan birden fazla kameranın bir perakende satış noktasına kurulduğu bir örnek veriyor: ve tek bir kamera türü, farklı konumlarda, zamanlarda ve durumlarda çok yönlülükle kullanılabilir amaçlar. Tesis girişine kamera kurulduğunda tesise giren ziyaretçi sayısını saymak için kullanılabilir; bir mağazanın rafına monte edildiğinde stok eksikliklerini tespit etmek için kullanılabilir; Tavandayken mağaza ziyaretçilerinin ısı haritasını çıkarmak vb. için kullanılabilir. Belirli bir kameradaki AI modeli, ısı haritalarını tespit etmek için kullanılan bir modelden tüketici davranışını tanımlamak için kullanılan bir modele yeniden yazılabilir.
Görünüşe göre, görüntü sensörlerinin yakında piyasaya sürüleceğinin duyurulması gerçekten dikkate değer bir başarı. Ancak bunun gözetim açısından kendi sonuçları vardır. Şu anda sensörler, güvenlik kameraları gibi düşük güçlü çözümlere yöneliktir. Akıllı telefon kameraları birkaç yıl sonra bu teknolojiyi bünyesine katabilir ancak şimdilik bu planlarda yer almıyor gömülü mantık çipinin modern ISP'lerin sunduğu çok yönlülükle (örn. Spectra İSS Qualcomm Snapdragon SoC'lerde). Şu anda, akıllı telefon kameraları farklı şekilde çalışıyor; sensörün kendisi nispeten aptal ve telefonun SoC'sinin bir parçası olarak bulunan akıllı bir ISP ile çalışıyor. ISP, görüntü işlemenin tüm işini yapar; bu, sensörün kendisinin gerçek rolünün oldukça sınırlı olduğu anlamına gelir modern akıllı telefon kameralarında (görüntü işleme, görüntü için mükemmel kamera donanımına sahip olmaktan daha önemlidir) kalite). Hesaplamalı fotoğrafçılık yeni moda sözcüktür, ancak endüstriyel dünyada IMX500 ve IMX501, yapay zeka işleme zaferini sensörlerin kendilerine getirmeye çalışıyor.
IMX500 ve IMX501'in gelecek yıl piyasaya sürülmesi planlanıyor. Sony, ürünlerin örneklerini sırasıyla Nisan ve Haziran 2020'de yayınlamayı planlıyor. Teknik özellikleri hakkında daha fazla bilgi için okuyucuların kaynak bağlantısına göz atmaları önerilir.
Kaynak: sony