Qualcomm'dan Judd Heape, Qualcomm'un Spectra İSS'lerindeki yeni özelliklerle Android telefonlardaki kamera deneyimlerini nasıl iyileştirdiğini açıklıyor.
Dünyadaki akıllı telefonların ve giyilebilir cihazların çoğuna güç veren çip üzerinde sistemin (SoC'ler) üreticisi olarak ABD merkezli Qualcomm, şüphesiz çip üreticisi endüstrisinin devlerinden biridir. Örneğin Snapdragon SoC serisi, amiral gemisi, orta sınıf ve bütçeye uygun akıllı telefonlar için hemen hemen her büyük Android cihaz üreticisi tarafından kullanılıyor. Qualcomm, ARM'in yeni CPU mikro mimarilerini bünyesinde barındırdığı için her yıl şirketin yıllık Teknoloji Zirvesi'nde CPU, GPU ve yapay zeka alanlarındaki gelişmeler nedeniyle övgü alıyor ve bunları özel GPU'larındaki yıllık iyileştirmelerle tamamlıyor. Ancak kamera alanındaki gelişmeler, gözden kaçma eğiliminde olduğundan pek fark edilmiyor. radar.
Ancak bu, Qualcomm'un akıllı telefon kameralarındaki çalışmalarının önemsiz olduğu anlamına gelmiyor. Tam tersine, Qualcomm'un Snapdragon SoC'lerindeki Spectra ISP'leri, modern akıllı telefon kameralarının çoğunun artırılmış güvenlikle mümkün olmasına yardımcı oluyor. hesaplamalı işlem gücü, 8K video kaydı, HDR10 video gibi özellikler, yüksek megapiksel QCFA kamera desteği ve çok daha fazlası Daha. Qualcomm, Spectra 380 ISP'nin Snapdragon 855'te yer alacağını duyurdu
Qualcomm, basın bültenlerinde ve ürün açılış notlarında başlık özelliklerinin çoğunu açıklarken, Şimdiye kadar tüketicilerin bu şeyleri yaratan düşük seviyeli ayrıntıların çoğunu bilme şansı olmadı. iş.
Bu nedenle XDA Developers olarak biz, Qualcomm Ürün Yönetimi Kıdemli Direktörü Judd Heape ile konuşma teklifini kabul etmekten mutluluk duyduk. XDA'nın Genel Yayın Yönetmeni Mishaal Rahman ve ben, Qualcomm'un akıllı telefon fotoğrafçılığı ve video kaydıyla hedef direklerini nasıl zorladığını öğrenmek ve görmek için Haziran 2020'de Judd ile bir röportaj yaptık. AI görüntü işleme, çok kareli gürültü azaltma (MFNR), AV1, Dolby Vision video kaydı, yüksek megapiksel kameralarda piksel gruplama ve çok daha fazlasını içeren konular hakkında konuştuk. Judd'un her konudaki görüşlerine tek tek bakalım:
Yapay zeka görüntü işleme iş yükleri
Mişaal Rahman: Idrees'in sahip olduğu ilginç ve benim de ilgimi çekenlerden biriyle başlayacağım. Peki Qualcomm'un Spectra ISP'de kullandığı yapay zeka görüntü işleme iş yüklerinin neler olduğunu ve bunların cihaz üreticileri tarafından ne ölçüde özelleştirilebildiğini merak ediyoruz.
Judd Heape: Evet, pek çok yapay zeka iş yüküne bakıyoruz ve ISP'nin kendisinde çalışabilen bazı yapay zekalar var örneğin yeni nesil 3A'mız gibi: otomatik pozlama, otomatik beyaz dengesi ve otomatik odaklama yapay zekadır temelli.
Ancak aynı zamanda ISP'nin dışında diğer bilgi işlem öğelerinden birinde çalışacak diğer birkaç AI iş yüküne de bakıyoruz. Dolayısıyla özellikle şu gibi şeylere bakıyoruz: Çipin AI motoru (AIE) kısmında, ISP'den harici olarak çalışan, AI tabanlı bir gürültü azaltma çekirdeğimiz var.
Ayrıca, AIE kompleksinde de çalışan, ancak elbette kameraya yardımcı olan tam bir derin öğrenme motoru olan yüz algılama gibi şeylerimiz de var. Yüz algılama ve gürültü giderme dışında üzerinde çalıştığımız başka şeyler de var; Ayrıca yapay zekayı kullanarak anlık görüntülerin otomatik olarak ayarlanması gibi şeyler yapmayı da düşünüyoruz. HDR içeriğine dayalı olarak sahne başına parametreler, gölgeyi, açıktonları, rengi ve bu tür şeyleri değiştirmeyi işleyeceğiz şey.
Ortaklarımızdan biri olan Morpho, bu yıl Gömülü Vizyon Zirvesi'nde büyük bir yapay zeka iş yükü ödülü kazandı. Bağımsız yazılım satıcısı iş ortakları ayrıca çok sayıda yoğun yapay zeka tabanlı algoritmaya sahiptir ve bunlar pürüzsüz kamera gibi her şeye kadar değişebilir. Arcsoft'un yaptığı gibi (bunu yapay zeka tabanlı son Snapdragon Teknoloji Zirvesi'nde belirtmiştim) Morpho'nun semantik segmentasyonuna geçiş motor. Morpho'nun çözümü, sahnenin farklı kısımlarını anlayan bir yapay zeka motorudur; bildiğiniz gibi, kumaş mı ten mi, gökyüzü ve çimen mi? bina ve bu tür şeyler ve daha sonra ISP bu bilgiyi alabilir ve bu pikselleri doku, gürültü ve renk açısından farklı şekilde işleyebilir. örnek.
Qualcomm'un açıklaması: ML ve AI için ayrıca yüz algılama ve "3A" (AE, AF ve AWB) özelliklerine yönelik yeni güncellemeleri de bugün duyurmuyoruz. Ancak Judd'un da söylediği gibi, bu iki özellik alanı da dahil olmak üzere kameraya daha fazla ML/AI yeteneği kazandırmaya kararlıyız.
Analiz ve bağlam: Akıllı telefonlardaki yapay zeka, ilk sinirsel işlem birimlerinin (NPU'lar) ve "AI tabanlı" özelliklerin Android telefonlara gelmeye başlamasından bu yana büyük ölçüde moda bir kelime olarak kabul edildi. Ancak bu yapay zekanın kendisinin anlamsız olduğu anlamına gelmiyor. Tam tersine, yapay zekanın mobil alanda büyük bir potansiyeli var; o kadar ki, çip satıcıları ve cihaz üreticileri, mümkün olanın yalnızca yüzeysel kısmını çiziyorlar.
Yapay zeka sayesinde akıllı telefon kameraları daha iyi hale geldi; bazen hızla, bazen acı verici derecede yavaş ama yine de o noktaya ulaşıyorlar. Akıllı telefon kameraları, nispeten daha küçük sensörler, sabit makine öğrenimi ile desteklenen akıllı hesaplamalı fotoğrafçılıkla odak uzunlukları ve daha zayıf optikler (ML). Otomatik pozlama, gürültü azaltma, yüz algılama ve segmentasyon, akıllı telefon fotoğrafçılığında yapay zekanın etki yaratabildiği alanlardan yalnızca birkaçıdır. Önümüzdeki beş yıl içinde, fotoğrafçılığın farklı yönlerini geliştiren bu yeni ortaya çıkan yapay zeka alanları oldukça olgunlaşacak.
Çok kareli gürültü azaltma
İdrees Patel: Qualcomm, çoklu çerçeve gürültü azaltma özelliğinden bahsediyor. Görüntü istiflemenin nasıl çalıştığı konusunda daha fazla ayrıntı bilmek istiyorum. Google'ın HDR+ teknolojisiyle yaptığı şeye herhangi bir şekilde benzer mi yoksa tamamen farklı mı?
Judd Heape: Benzer ama farklı. Kameranın seri çekim yaptığını ve hızlı bir şekilde art arda beş ila yedi kare yakaladığını hayal edin. Daha sonra ISP motoru bu çerçevelere bakar ve en iyi olanı ("bağlantı çerçevesi" olarak adlandırılır) seçer. Odaklanma ve netlik ve ardından o karenin her iki yanından 3-4 kare seçip hepsinin ortalamasını alabilir birlikte. Çok az hareket olacak şekilde birbirine yeterince yakın olan kareleri seçmeye çalışır.
Ve bu karelere karar verdiğinde, neyin farklı olduğunu (örneğin, gerçek görüntü verisi ile gürültü verisinin ne olduğunu) ayırt etmek için bunların ortalamasını alır. Yani, giderek daha fazla çerçeveden giderek daha fazla bilgiye sahip olduğunuzda, aslında çerçeveler arasındaki farklara bakmak gibi basit şeyler yapabilirsiniz. Farklılıklar muhtemelen gürültüden kaynaklanmaktadır, çerçevelerde eşit olan ise muhtemelen görüntü verisinden kaynaklanmaktadır.
Böylece gürültüyü azaltmak için gerçek zamanlı çerçeve birleştirmeyi yapabiliriz. Artık aynı şeyi düşük ışık ve HDR ile de yapabilirsiniz ve bu, Google'ın muhtemelen yaptığına çok benzer. Algoritmalarını bilmiyoruz. Ancak daha iyi "görebilmeniz" için hassasiyeti artırmak amacıyla çoklu çerçeve teknikleri kullanıyorlar; Gürültü tabanını düşürdüğünüzde, artık daha fazla yerel ton eşlemesi yapmayı veya daha fazla gürültü eklemeden görüntüye kazanç eklemeyi düşünebilirsiniz.
Demek HDR'nin yanı sıra düşük ışığı da bu şekilde ele alıyorlar. Çoklu çerçeve gürültü azaltma özelliğine yönelik geliştirmeler, düşük ışık ve HDR'yi de içerecek şekilde Qualcomm'dan gelecek. Ancak bu, kısa süre içinde kullanıma sunacağımız bir şey.
Mişaal Rahman: Bu özelliğin kısa süre içinde kullanıma sunulacağını söylemiştiniz. Bu, iş ortaklarına yönelik BSP'ye yönelik bir güncelleme gibi mi geliyor?
Judd Heape: Yeni nesil ürünlerimize, bir yazılım ilavesiyle, etkileşim kurma olanağına sahip olacağız - aslında bu şu anda oluyor, bir sonrakinde oluyor nesil ürünler - şu anda müşterilerle gürültü azaltmanın ötesinde daha fazla çoklu çerçeve tekniği uygulamak ve aynı zamanda HDR ve düşük ışıkla ilgilenmek için iletişim halindeyiz durumlar. Aynı temel ISP HW motorunu kullanıyor ancak gürültü azaltmanın ötesinde bu çoklu çerçeveleri işlemek için daha fazla yazılım ekliyoruz.
Yani bu ortaya çıkan bir şey değil, ancak bu özellikler konusunda bazı önemli lider müşterilerle iletişim halindeyiz.
Analiz ve bağlam: Her yeni Snapdragon SoC duyurusunda Qualcomm'un teknik özellikler tablosu, çoklu çerçeve gürültü azaltmayla ilgili özellikleri içerir. Örneğin Snapdragon 865, çift 14 bit CV-ISP'leriyle varsayımsal olarak 200 MP'ye kadar tek kamerayı destekler (Sony, Samsung ve OmniVision gibi kamera sensörü satıcıları henüz 108MP'nin üzerinde herhangi bir akıllı telefon kamera sensörünü piyasaya sürmemiş olsa da). Ancak MFNR'li tek kamera desteği, sıfır deklanşör gecikmesi (ZSL) ve 30 fps desteği söz konusu olduğunda, teknik özellik 64MP olarak değişir ve aynı özelliklere sahip çift kameralar için teknik özellik şu şekilde değişir: 25MP.
Qualcomm'un çoklu çerçeve gürültü azaltma özelliği HDR+'ya çok benzer ancak yukarıda Judd'un açıkladığı gibi tamamen aynı değildir. HDR+ bir dizi az pozlanmış pozlama alıp en iyi fotoğrafı elde etmek için bunların ortalamasını alırken, MFNR beş-yedi normal kare çeker. Qualcomm'un MFNR'si Google'ın çözümü kadar gelişmiş görünmüyor çünkü şu anda HDR ve düşük ışığın belirli öncelikler olduğundan bahsedilmiyor Spectra için iş akışı sağlarken, Google'ın HDR+ özelliği HDR'yi, düşük ışıkta fotoğrafçılığı ve gürültü azaltmayı aynı anda hedeflerken Gece Görüşü bu özelliği bir adım daha ileri taşıyor daha öte. Ancak MFNR'nin geliştirmeler aldığını ve Qualcomm'un bu geliştirmeleri "bazı önemli müşterilere" sunacağını öğrenmek cesaret verici. Gelecekte, Google Android olmayan akıllı telefon kameralarının tam potansiyeline ulaşmak için belki de resmi olmayan Google Kamera bağlantı noktalarına ihtiyacımız olmayacak.
Video için süper çözünürlük
Mişaal Rahman: Teknoloji Zirvesinde duyduğum bir şey. Aslında öyleydi sanırım ile yaptığı röportajda Android Otoritesi. Qualcomm, iş ortaklarına yönelik bir yazılım çözümü olarak süper çözünürlüğü videoya da genişletmeyi planlıyor ve görünüşe göre bu, bir güncellemeyle kullanıma sunulacak. Bu özellikle ilgili paylaşacağınız güncellemeler olup olmadığını merak ediyorum.
Judd Heape: Evet, bu bir süredir yapabildiğimiz bir özellik ve şimdi kullanıma sunuluyor. Bunun bir yazılım güncellemesinde olduğunu söyleyemem ama bunun mevcut çoklu çerçeve, düşük ışık özelliği yeteneğinin ek bir faydası olduğunu söyleyebilirim. Bu özellik hakkında bazı belirli lider müşterilerle iletişim halindeyiz. Yani evet, süper video çözünürlüğü başka bir nesilde olan bir şey, ya da öyle olacak [the] için yazılım kod tabanına gerçekten yerleşik olduğu bir kayıt planı özelliğini çağırın kamera. Ancak şu anda bu yeni özellik için daha çok belirli müşteri etkileşimleri düzeyinde.
Analiz ve bağlam: Video için süper çözünürlük, şimdiye kadar akıllı telefon kameralarında görünmeyen bir özelliktir. O kadar yeni bir alan ki Bu konuda hala araştırma makaleleri yazılıyor. Fotoğrafçılık için çoklu çerçeve tekniklerini kullanmak bir şeydir, ancak bunları video için videoyu daha yüksek bir çözünürlüğe yükseltmek amacıyla kullanmak tamamen farklı bir konudur. Qualcomm, bu özelliği tekrar "bazı önemli müşterilere" sunduğunu söylüyor ancak şu anda bu özellik, kameranın yazılım kodu tabanında yerleşik değil. Gelecekte herkesin kullanımına açık olabilir ancak şimdilik son tüketicilerin henüz kullanmaya bile ihtiyaç duymadığı bir özellik.
Yüksek megapiksel Quad Bayer sensörleri
İdrees Patel: Şimdi Quad Bayer sensörlerinden bahsedelim. 2019'dan bu yana pek çok telefonda artık 48MP, 64MP ve hatta 108MP sensörler bulunuyor. Bunlar Quad Bayer sensörleridir; aslında 48, 64 veya 108 MP'lik gerçek renk çözünürlüğünüz yok. Sormak istediğim bir şey, ISP'nin bu Quad Bayer veya Nona için görüntü işleme açısından nasıl farklılaştığıydı. Bayer Sensörleri (4'ü 1 arada veya 9'u 1 arada piksel gruplama), herhangi bir piksel içermeyen geleneksel sensörlerle karşılaştırıldığında binning.
Judd Heape: Evet, elbette bu dörtlü CFA (Dörtlü Renk Filtre Dizisi) sensörlerinin avantajı parlak ışıkta çalışabilme yeteneğidir bunları tam çözünürlükte işleyebilir ve daha sonra ISP bunları tam 108 megapiksel veya 64 megapiksel veya ne olursa olsun işleyebilir. mevcut.
Bununla birlikte, genellikle iç mekan veya karanlık gibi çoğu aydınlatma durumunda, sensör pikselleri o kadar küçük olduğundan, daha iyi ışık hassasiyeti elde etmek için pikselleri birleştirmeniz gerektiğinden, bölme yapmanız gerekir. Bu nedenle çoğu zaman, özellikle de video çekiyorsanız veya anlık fotoğraf çekmek için düşük ışıktaysanız, ikili modda çalıştığınızı söyleyebilirim.
Artık ISP, sensörü her iki şekilde de işleyebilir. Sensöre ikili modda bakabilirsiniz, bu durumda sadece normal bir Bayer görüntüsü gelir veya sensöre, gelen verilerin dörtlü CFA olduğu tam çözünürlük modunda bakabilirsiniz. Ve eğer bu moddaysa ISP onu Bayer'e dönüştürür.
Yani "yeniden mozaikleme" dediğimiz şeyi yapıyoruz. Bu, dörtlü CFA görüntüsünün yeniden tam çözünürlüklü Bayer gibi görünmesini sağlamak için bazı enterpolasyonlar yapıyor. Ve bu genellikle anlık görüntü için yazılımda yapılır, ancak sonunda bu özelliği videoyu desteklemek için donanıma da ekleyeceğiz.
Bugün ISP donanımında bulunan şey binning'tir. Böylece sensörü bindirebilirsiniz ve aslında sensörün tam mı yoksa çeyrek mi yoksa 1/9 çözünürlük mü üreteceğine karar vermesini sağlayabilirsiniz veya ISP'de bindirebilirsiniz. Bu da aslında Snapdragon 865'e eklediğimiz bir özellik. Dolayısıyla, ISP'de bindirirseniz ve ardından sensörü tam çözünürlükte çalıştırırsanız, bu, ISP'nin aynı anda hem tam çözünürlüklü görüntüye hem de ikili görüntüye sahip olma yeteneğine sahip olmasını sağlar. Bu nedenle, video (kamera) ve önizleme (vizör) için daha küçük çözünürlük veya "binlenmiş" görüntüyü kullanabilir ve aynı anda tam boyutlu anlık görüntü için tam çözünürlüklü görüntüyü kullanabilir.
Ancak yine, bu durum parlak aydınlatma koşulları durumunda geçerli olacaktır. Ancak en azından ISP'ye binerseniz, aynı anda hem büyük hem de küçük görüntüyü işleme olanağına sahip olursunuz. aynı anda ve dolayısıyla eş zamanlı video ve anlık görüntü alabilirsiniz, aynı zamanda tam çözünürlük de alabilirsiniz ZSL; Üstelik sensörü ileri geri hareket ettirmek zorunda kalmadan, bu da oldukça fazla zaman alıyor.
Bu gerçekten iyi bir özellik. Ve Quad CFA sensörleri olarak ve hatta sizin de bildiğiniz gibi, 9x sensörler ve belki daha da fazlası ortaya çıkıyor ve bu sensörler daha da yaygınlaştıkça her yerde - yalnızca gruplama için değil aynı zamanda donanımdaki bu sensörleri kullanmak için giderek daha fazla şey arıyoruz. yeniden mozaikleme.
Ve bunun faydası şu; eğer bunu yazılımda yapmak yerine donanımda yaparsanız, maliyeti azaltırsınız. müşterileriniz için gecikme ve dolayısıyla çekimden çekime süreleriniz ve patlama oranlarınız çok daha hızlı olacaktır. Yeni ISP'ler ve yeni çiplerle ilerledikçe, donanıma eklenen bu yeni sensör türleri için neler yaptığımızı çok daha fazla görmeye başlayacaksınız.
Analiz ve bağlam: Huawei, 40MP Quad Bayer sensörünü ilk kullanan oldu Huawei P20 Pro 2018'de Quad Bayer sensörlerinin popülaritesi o kadar yüksekti ki, artık Snapdragon/Exynos/MediaTek yongalarıyla desteklenen 150 dolarlık telefonlara kadar ulaştı. Özellikle akıllı telefon sektörünün 48MP ve 64MP kameralara en iyi nokta olarak ulaştığını, bazı telefonların ise 108MP'ye kadar çıktığını gördük. Quad Bayer ve Nona Bayer sensörleri, tam çözünürlükleri bazı uyarıları da beraberinde getirdiği için olumsuzluklar olmadan gelmiyor.
Bununla birlikte, pazarlama nedenleriyle, kullanıcı çoğu zaman 12MP piksel gruplu fotoğraflar çekse bile, 48MP sensör 12MP sensörden çok daha iyi ses çıkarır. 48MP'lik bir sensör teorik olarak düşük ışıkta geleneksel 12MP'ye göre daha iyi 12MP piksel gruplu fotoğraflarla sonuçlanmalıdır. sensör, ancak görüntü işlemenin buna ayak uydurması gerekiyor ve aşağıda da belirttiğim gibi bunun için gidilecek uzun bir yol var. olmak. Ne olursa olsun, Spectra ISP'nin Quad Bayer sensörlerini yeniden mozaikleme ile nasıl kullandığını görmek ilginçti. Bu sensörlerde ve OnePlus 8 Pro (büyük piksellere sahip Sony IMX689 Quad Bayer sensörünü kullanan) gibi telefonlarda çok fazla potansiyel var. şu anda akıllı telefon kameralarının zirvesindeler.
ML tabanlı yüz tanıma
Mişaal Rahman: Sanırım daha önce Spectra 480'de ML tabanlı yüz tanımanın desteklendiğinden bahsetmiştiniz. Bu aslında Teknoloji Zirvesinde duyduğum bir şey. [Bu] 380'den 480'e yapılan iyileştirmelerden biri; Bu, video analiz motorunda ileriye dönük olarak mekansal tanıma için kullanılan yeni bir hedef tespit bloğunun bir parçası.
Bunun yüz tanımayı ne kadar geliştirdiği ve satıcılar tarafından hangi potansiyel uygulamaların kullanıldığını gördüğünüz hakkında daha fazla konuşabilir misiniz?
Judd Heape: Evet aslında, yani Teknoloji Zirvesi'nde konuştuğumuz "EVA" bloğu olan gömülü bilgisayarlı görüş bloğundasınız. İçinde kamera çalışırken kullandığımız genel bir nesne algılama çekirdeği var, bunu yüzleri algılamak için kullanıyoruz. Bu bloktaki teknikler daha geleneksel tekniklerdir, dolayısıyla nesne tanıma geleneksel yöntemlerle yapılır. sınıflandırıcılar, ancak bunun da ötesinde, bunun doğruluğunu gerçekten geliştirmek için çalışan bir yazılım motorumuz var. engellemek.
Donanım sahnedeki yüzler gibi daha fazla şeyi algılayabileceğinden yanlış pozitifleri filtrelemek için ML tabanlı yazılım kullanıyoruz ve ardından ML yazılımı "tamam bu bir yüz" veya "bu gerçekten bir yüz değil" diyor ve bu nedenle, ML filtresini üstte çalıştırarak doğruluğu birkaç yüzde puan artırıyor. donanım.
Geleceğe dair birçok şeyden bahsettim. Gelecekte yapmayı planladığımız şey, yüz algılamanın tamamını makine öğreniminde veya yazılımda derin öğrenme modunda çalıştırmaktır. Özellikle bu daha düşük katmanlar için geçerli olacak, yani örneğin EVA donanım motorunun bulunmadığı bir katmanda derin öğrenmeyi aşamalandırmaya başlayacağız Çipin AI motorunda çalışan algılama olarak ve daha sonra 700-800 katmanlarının üst katmanlarında bunu yapacak EVA donanımına sahibiz...
Ancak genel olarak şunu söyleyebilirim ki, yüz algılama konusunda daha çok makine öğrenimi yaklaşımlarına doğru ilerleyeceğiz ve bu, orta vadede hem yazılımı, hem de ileri vadede donanımı içerecektir. Hangi ürünlerin buna sahip olacağını açıklamayacağım ama elbette ISP'yi geliştirme konusunda ilerledikçe, makine öğrenimi yapmak için elbette daha fazla donanım yeteneği ekleyeceğiz.
Mişaal Rahman: Mükemmel. Sanırım gittiğiniz yönün 800 serisinin makine öğrenimi iyileştirmelerini alt kademeye getirmek olduğu kesin, bu yüzden bunun genel olarak verilen bir şey olduğunu düşünüyorum. Ama tabii ki bu konuda bize verebileceğiniz hiçbir ayrıntı yok. Güncelleme için teşekkürler.
Judd Heape: Yüz algılama çok tutkulu olduğumuz bir konu. Bu doğrulukları, biliyorsunuz, 800'den 400'e kadar tüm kademelerde nesilden nesle geliştirmek istiyoruz. ML bunun büyük bir parçası.
Analiz ve bağlam: Bu özellikler, akıllı telefon fotoğrafçılığına en yeni aynasız kameralara göre bile çok daha fazla potansiyel kazandırıyor. Evet, aynasız kameralar düşük ışıkta daha iyi görüntü kalitesine sahip ve çok daha esnek, ancak akıllı telefon kameraları ustaca yöntemlerle sınırlarını aşıyor. ML tabanlı yüz algılama bunun yalnızca bir parçasıdır.
Görüntü işleme motorunda iyileştirmeler
Mişaal Rahman: Mükemmel. Snapdragon Teknoloji Zirvesi'nin ardından yapılan yuvarlak masa tartışmalarında kısaca duyduğum şeylerden biri, görüntü işleme motorunda yapılan iyileştirmeydi. Düşük orta frekanslı gürültü azaltmanın veya LEANR'ın iyileştirildiğini duydum. Ve dinamik bir ters kazanç haritası uyguladığınızı; Bu daha önce konuşmada bahsettiğiniz bir şey mi?
Judd Heape: Tamam. Yani iki şeyi birbirine karıştırdığınızı düşünüyorum. Evet, bir de LEANR çekirdeği var; bu çekirdek, daha kaba taneciklerde gürültüyü azaltmak için çalışıyor ve düşük ışıkta yardımcı oluyor. Bu, Snapdragon 865'e ISP'ye eklenen yeni bir bloktur ve bu bir şeydir.
Ters kazanç haritası başka bir şeydir. Bu, yuvarlak masalarda bahsettiğim başka bir şey ama bu, mercek gölgelemesinin etkilerini tersine çevirmek için. Bildiğiniz gibi, eğer bir cep telefonunuz varsa ve küçük bir merceği varsa; merceğin merkezi parlak olacak ve kenarları daha ayrıntılı olacak; yani daha koyu olacaklar.
Ve geçmiş yıllarda ISP'de bu karanlık kenarlardan kurtulmak için statik bir ters kazanç haritası uyguladık. Ve bu bir süredir ISP'de. Snapdragon 865'e eklediğimiz şey, bu kazanç haritasının belirli bir görüntü çerçevesine göre dinamik olarak değişebilmesidir, çünkü kenarlara çok fazla kazanç uygularsanız olan şu ki, kenarlar kırpılabilir, özellikle de dışarıda parlak ışıklı sahnelere bakıyorsanız, örneğin mavi gökyüzü bir nevi beyaza dönebilir veya çok fazla ışık nedeniyle kenarlar kırpılabilir. kazanmak.
Yani Snapdragon 865'te bu ters kazanç haritası statik değil; dinamiktir. Yani görüntüye bakıyoruz ve "tamam, görüntünün bu kısımları kırpılıyor ve olmaması gerekiyor" diyoruz, böylece yuvarlayabiliriz kazanç haritasından doğal olarak uzaklaşın, böylece merceğin düzeltilmesiyle parlak saçaklar veya hale efektleri veya bu tür şeyler elde edilmez gölgeleme. Yani bu gürültü azaltmadan farklı ve bunlar iki farklı çekirdek.
Düşük ışıkta fotoğrafçılık ve agresif gürültü azaltma
İdrees Patel: Sormak istediğim şeylerden biri düşük ışıkta fotoğrafçılıktı. Geçtiğimiz birkaç yılda olduğu gibi, pek çok [OEM uygulamalı] gece modu vardı, ancak fark ettiğim bir şey şu ki birçok cihaz üreticisi, ayrıntıları parlaklık gürültüsünün bile ortadan kalktığı noktaya kadar azaltan agresif gürültü azaltma yöntemini tercih ediyor kaldırıldı.
Yani benim sorum şu: Qualcomm herhangi bir cihaz üreticisine bunu yapmamalarını tavsiye ediyor ve bu onların işleme boru hatlarının yaptığı bir şey mi, yoksa SoC'deki ISP'den etkilenen bir şey mi?
Judd Heape: Bunların çoğu ayarlamayla ilgilidir ve eğer çoklu çerçeveniz yoksa veya yüksek hassasiyete veya düşük f sayılarına sahip optiklere sahip çok iyi bir görüntü sensörünün mevcut olmadığını söyleyebilirim. Özellikle düşük ışıkta gürültüden kurtulmanın bir yolu, daha fazla gürültü azaltma uygulamaktır, ancak daha fazla gürültü azaltma uyguladığınızda, ayrıntıları kaybedersiniz, dolayısıyla keskin kenarlar bulanıklaşır. Artık bu çoklu çerçeve tekniklerini uygularsanız bundan kurtulabilirsiniz. Veya nesnelerin ve yüzlerin kenarlarının nerede olduğunu ve bunun gibi şeyleri anlayabilen yapay zeka tekniklerini uygularsanız. Dolayısıyla bu çağda sadece kaba kuvvet gürültü azaltma uygulamak, bununla baş etmenin gerçekten bir yolu değildir çünkü sonuçta ayrıntıları kaybedersiniz.
Yapmak istediğiniz şey, gürültüyü uygulayabilmeniz için çoklu çerçeve teknikleri veya yapay zeka teknikleri kullanmaktır. Güzel temiz kenarları korurken veya keskin kenarları açık tutarken nesnelerin daha çok benzer iç alanlarına azaltma nesneler. Yani şunu söyleyebilirim: AI veya çoklu çerçeve kullanmak, gürültüyü azaltmanın ve düşük ışıkta görüntüyü iyileştirmenin yoludur.
İdrees Patel: Evet, duymak istediğim de tam olarak buydu. [Öyle] çünkü harika akıllı telefon kameralarını orta seviye veya bütçe seviyeli kameralardan ayıran ana şey budur.
Judd Heape: Evet.
İdrees Patel: Mükemmel akıllı telefon kameraları, gürültü azaltmanın ne zaman uygulanacağını ve ne zaman uygulanmayacağını bilir.
Judd Heape: Kesinlikle. Evet ve söylediğim gibi, kamera ayarlaması aslında müşterilerimiz veya OEM'ler tarafından yapılıyor ve bazı OEM'ler daha az gürültülü, daha yumuşak bir görüntüyü tercih ediyor. Bazıları belki biraz daha fazla gürültüyle daha fazla ayrıntıyı ortaya çıkarmayı tercih ediyor.
Ve bu bir değiş-tokuştur ve bu nedenle sınırlamalarınız vardır. Ve dediğim gibi yapılacak en iyi şey, daha yüksek hassasiyete sahip daha iyi bir görüntü sensörü elde etmektir. daha büyük pikseller veya daha düşük f-sayısı optikleri, çünkü o zaman başlangıçtan itibaren daha fazla ışık alırsınız, bu her zaman daha iyi. Ancak bunu yapamıyorsanız, gürültü azaltmayı hızlandırıp ayrıntıları kaybetmek yerine çoklu çerçeve veya yapay zeka tekniklerini kullanmak istersiniz.
Analiz ve bağlam: Bana göre şu anda akıllı telefon kameralarındaki en büyük sorun bu. Evet, 48MP veya 64MP ve hatta 108MP sensör kullanabilirsiniz. Bununla birlikte, MFNR veya AI teknikleriyle sınırlandırılmış gürültü azaltmayı kullanmayı tercih etmezseniz, tüm bu megapikseller, 4'ü 1 arada gruplama ve hatta 9'u 1 arada gruplama pek bir işe yaramaz. Galaxy S20 Ultra, 108 MP birincil kamerasıyla bunun en iyi örneğidir büyük ölçüde bir hayal kırıklığı olarak kabul edildi. Samsung, 2020 amiral gemilerinde gece modlarında son derece agresif gürültü azaltma kullanarak görüntü işlemede geriye giderken, 2019 Galaxy S10 serisi ironik bir şekilde daha iyi görüntü kalitesine sahipti.
Judd, bazı OEM'lerin aslında daha az gürültülü, daha yumuşak bir görüntüyü tercih ettiğini ve bunun temelde yanlış bir seçim olduğunu ortaya koyuyor. Ayarlama, cihaz üreticileri tarafından yapılır ve bu nedenle, aynı sensörü kullanan ve aynı SoC tarafından desteklenen iki telefon, çok ama çok farklı fotoğraflar üretebilir. Bu cihaz üreticilerinin gerçeği daha iyi performans gösteren rakiplerinden öğrenmeleri umulmalıdır. Samsung bu yıl görüntü işlemede yolunu kaybederken, OnePlus tam bir tezat oluşturdu. OnePlus 8 Pro, piyasadaki en iyi akıllı telefon kameralarından biridir; bu, OnePlus 5T'nin kamerasının 2017'deki çok zayıf çıkışı göz önüne alındığında dikkate değer bir başarıdır. Megapiksel savaşları ne kadar sürerse sürsün, fotoğrafların net çıkması için görüntü işleme zihniyetinin değişmesi gerekiyor.
AV1 kod çözme ve kodlama
Mişaal Rahman: Yani bu, kamera kalitesiyle ilgili yaptığımız diğer tartışmalardan biraz farklı. Açık kaynak medya kodlayıcı topluluğundaki bazı kişilerin merak ettiği şeylerden biri de Qualcomm'un ne zaman destekleyeceğidir. AV1 kod çözme ve muhtemelen kodlama. Bunun biraz abartılı olduğunu biliyorum ama Google, AV1 kod çözme ve Netflix'i desteklemek için Android 10'da 4K HDR ve 8K TV'lere ihtiyaç duyuyor. YoutubeAV1'de kodlanmış videoların dağıtımına başlıyorlar. Yani AV1 kodlu videoların yavaş bir artışı gibi görünüyor. Bu yüzden Spectra'da en azından kod çözme desteğinin ne zaman mevcut olacağını merak ediyoruz.
Qualcomm'un açıklaması: AV1'deki sorunuza göre, bugün açıklayacak bir şeyimiz yok. Ancak Snapdragon şu anda yazılım aracılığıyla AV1 oynatma yeteneğine sahip. Qualcomm, yazılım ve donanım üretimi yoluyla yeni nesil codec bileşenleri üzerinde her zaman iş ortaklarıyla birlikte çalışıyor HEIF, HLG, HDR10, HDR10+ ve Dolby'de yakalama ve oynatma dahil HDR codec'lerinde lider Snapdragon Görüş. Elbette müşterilerimize yüksek çözünürlük ve en düşük güç desteği de dahil olmak üzere en iyi CODEC deneyimlerini sunmak için bunların HW'de uygulanmasının arzu edildiğinin farkındayız.
Video kaydı - hareket telafisi
Mişaal Rahman: Idrees'in başka sorusu var mı bilmiyorum ama Snapdragon Teknoloji Zirvesi'nde okuduğum bir şey hakkında bir sorum vardı. Hareket telafili video çekirdeğiyle ilgili. Video kaydı sırasında gürültüyü azaltmak için hareket dengeleme motorunda benzer iyileştirmeler olduğunu duydum. Tam olarak neyin iyileştirildiğini ve ne yapıldığını genişletebilir misiniz diye merak ediyordum.
Judd Heape: EVA (Video Analiz Motoru) motoru daha yoğun bir hareket haritası çekirdeğiyle geliştirildi, böylece EVA Örneğin, motor her zaman gelen videoya bakıyor ve içinde hareket eden bir çekirdek var. Tahmin. Yaptığımız şey şu; çekirdeği çok daha doğru hale getirdik ve bunu daha çok piksel başına bir seviyede yapıyor. kaba blok seviyesi ve dolayısıyla Snapdragon 865'teki EVA motorundan öncekine göre çok daha fazla hareket vektörü elde ediyoruz nesiller. Bu da kodlama yapan video çekirdeğinin bu hareket vektörlerini daha fazla bilgi için kullanabileceği anlamına geliyor. Kodlama konusunda doğru, ancak kamera tarafındaki ISP de bu bilgiyi gürültü için kullanıyor kesinti.
Bildiğiniz gibi, nesiller boyunca hareket telafili zamansal filtrelemeye sahibiz; bu aslında video sırasındaki aktif gürültü azaltma işlemidir ve gürültüden kurtulmak için karelerin zaman içinde ortalamasını alır.
Ancak bu tekniğin sorunu, sahnede hareketin olup olmamasıdır. Hareket, kontrol edilemediği veya lekelendiği için gürültü azaltma tarafından reddediliyor ve hareket eden nesnelerin üzerinde bu çirkin izler ve yapılar oluşuyor. Yani, hareket halindeyken telafi edilmiş zamansal filtreleme, yerel için bu yoğun hareket haritasına sahip olmadığımız için geçmişte yaptığımız şeydi. hareket, biz sadece kamerayı hareket ettirdiğiniz durumları ele aldık, bu oldukça kolay çünkü her şey hareket ediyor küresel olarak.
Ancak bir şey çekiyorsanız ve sahnenin İÇİNDE hareket eden bir nesneniz varsa, daha önce yaptığımız şey şuydu: Bu pikselleri görmezden geldik çünkü onları gürültü açısından işleyemedik, çünkü yerel olarak hareket eden bir şeydi. nesne. Dolayısıyla, kare kare ortalamayı alırsanız, nesne her karede farklı bir yerdeydi, dolayısıyla onu gerçekten işleyemiyordunuz.
Ancak Snapdragon 865'te, çünkü daha yoğun bir hareket haritasına sahibiz ve hareket vektörlerine neredeyse bir piksel üzerinden bakma yeteneğine sahibiz. piksel bazında, gürültüyü azaltmak için yerel olarak taşınan pikselleri kare kare işleyebiliyoruz, oysa daha önce bunu yapamıyorduk. Sanırım konuşmada bir ölçümden bahsetmiştim. Numarayı hatırlamıyorum (%40'tı) ancak artık çoğu video için ortalama olarak büyük bir piksel yüzdesi gürültü için işlenebiliyordu, oysa önceki nesilde bu mümkün değildi. Ve bu aslında kısmen sadece küresel hareketi değil, yerel hareketi de anlama becerisine sahip olmakla ilgili.
Video kaydı - HDR
İdrees Patel: Bir diğer sorum da HDR videoyla ilgili. Bu yıl çok daha fazla cihaz üreticisinin HDR10 video kaydı sunduğunu görüyorum. Peki bu, Snapdragon 865 ile tanıtılan bir şey mi, yoksa birkaç nesilden beri orada mı?
Judd Heape: Evet, Tech Summit'te konuştuğumuz gibi, HDR10'umuz vardı, bu da HDR'nin video standardıdır. Sanırım Snapdragon 845'ten bu yana birkaç nesildir kamera kodlama tarafındayız ve sürekli olarak kendimizi geliştirdik. O.
Geçen yıl, 10 bit HDR kaydı olan HDR10+'dan bahsetmiştik, ancak statik meta veriler yerine dinamik meta veriler vardır, yani kamera tarafından yakalanan meta veriler Sahne sırasında aslında gerçek zamanlı olarak kaydedilir, böylece onu oynattığınızda oynatma motoru bunun karanlık bir oda mı yoksa aydınlık bir oda mı olduğunu anlar ve telafi edebilir. O.
Ayrıca geçen yıl Teknoloji Zirvesi'nde Dolby'nin HDR10+'a alternatifi olan Dolby Vision yakalamadan bahsetmiştik. Aslında dinamik meta verileri de ürettikleri yer çok benzer. Yani Snapdragon bugün şu üç formatı da destekleyebilir: HDR10, HDR10+ ve Dolby Vision yakalama. Yani aslında hiçbir kısıtlama yok; OEM'lerimiz tercih ettikleri yöntemi seçebilir. Bir süredir HDR10 kullanan müşterilerimiz var ve geçen yıl ve bu yıl HDR10+ kullanan giderek daha fazla müşterimiz var. Ve gelecekte Dolby Vision Capture'ın da benimsendiğini göreceksiniz.
Yani evet, bunu yoğun bir şekilde tanıtıyoruz. HDR bizim için hem anlık görüntü tarafında hem de video tarafında gerçekten önemli. Ve söylediğim gibi, HDR10 ve HDR10+'ya ve şimdi de Dolby Vision formatlarına bağlıyız, biliyorsunuz Snapdragon 845'ten bu yana ve hatta yakın zamanda Dolby Vision için Snapdragon 865.
Mişaal Rahman: Ayrıca herhangi bir satıcının henüz Dolby Vision kaydını uygulayıp uygulamadığından emin değildim ama sanırım bu, bu soruyu yanıtlıyor. [Bu] gelecekte göreceğimiz bir şey.
Judd Heape: Elbette - Hangi satıcıların ilgilendiği ve benzeri konularda yorum yapamam. Bu Dolby için bir sorudur; bu onların özelliğidir ve bu nedenle bu konuda daha fazla bilgi istiyorsanız Dolby ile iletişime geçmenizi öneririm. Ancak bugüne kadar bildiğim kadarıyla Dolby Vision Capture özelliğine sahip bir telefon çıkmadı.
İdrees Patel: Çünkü ekran desteğine de ihtiyacınız var. Akıllı telefon ekranlarının HDR10 ve HDR10+'ı desteklediğini ancak Dolby Vision'ı desteklemediğini fark ettim.
Judd Heape: Evet aslında ama Dolby Vision oynatma geçmişte Snapdragon'da destekleniyordu. Belirli bir ekranla çalışabilir ve ekranın Dolby Vision uyumlu olması için belirli kriterleri karşılaması gerekmez; bunun dışında Dolby ekranı derecelendirecek ve belirli bir renk gamına, gammaya, belirli bir bit derinliğine, belirli bir parlaklığa ve belirli bir kontrasta sahip olduğundan emin olacak oran.
Yani biliyorsunuz, bir HDR10 ekran satın alabileceğiniz gibi Dolby Vision'ı destekleyen bir telefon da satın alabilirsiniz. ancak Doby, bu ekranın kendi katı kurallarıyla uyumlu olduğundan emin olmak için bu ekranı nitelendirmiş olacaktır. Gereksinimler.
Yazılım satıcılarıyla işbirliği: Imint, Morpho ve Arcsoft
Mişaal Rahman: Sanırım takip etmem ve daha fazla araştırma yapmam gereken tek soru, yakın zamanda konuştuğumuz bir şirket. ima. Yakın zamanda yükseltme yaptılar Vidhance Stabilizasyon yazılımı ile Spectra 480 ile çalışın. Spectra 480'in işleme avantajından yararlanan birçok şirketle çalıştığınızı biliyorum. Bu teknolojilerin veya sahip olduğunuz ortakların daha fazla örneğini açıklayıp açıklayamayacağınızı merak ediyorum. takip edebileceğimiz bir şey olsun, Spectra 480'in sektörde nasıl kullanıldığı hakkında daha fazla bilgi edinin. alan.
Judd Heape: Birçok yazılım satıcısıyla çalışıyoruz. Daha önce de belirttiğimiz gibi Dolby de bunlardan biri. Bahsettiğiniz gibi başkaları da var, EIS (Elektronik Görüntü Sabitleme) için Imint/Vidhance. Morpho ve Arcsoft'tan da daha önce bahsetmiştik, onlarla da çok yakın çalışıyoruz.
Onlarla nasıl çalıştığımıza gelince, politikamız bu bağımsız yazılım satıcılarıyla gerçekten yakın çalışmak ve yazılımda ne yaparlarsa yapsınlar, en düşük güç tüketimini elde etmek için Snapdragon'daki donanımdan yararlanabileceklerinden eminler olası.
Bu tedarikçilerle yaptığımız şeylerden biri de onların HVX motoruna veya Hexagon DSP çekirdeğine gerçekten iyi erişime sahip olmalarını sağlamak. Ayrıca hareket vektörleri elde etmek ve donanımı kullanmak için EVA motorunu ve görüntü manipülasyonu için de EVA motorunu kullanıyorlar. GPU'yu kullanmak yerine, donanımda görüntü hareketi, çeviri ve düzeltme gibi işlemleri gerçekleştirebilirler. O.
Bu nedenle, bu ISV'lerle, özellikle de özellikle bahsettiğim ISV'lerle, her şeyi bir kenara koymadıklarından emin olmak için gerçekten yakın bir şekilde çalışıyoruz. ve CPU'daki yazılım ancak daha iyi performans ve daha düşük güç elde etmek için EVA'daki DSP ve donanım hızlandırıcıları gibi şeyleri kullanıyorlar tüketim. Bu bizim için de çok önemli çünkü müşterilerimize mümkün olan en iyi özellik ve güç tüketimi karışımını sunuyor.
[Judd'un Kapanış Yorumu]: Sadece şunu söylemek istedim, gerçekten güzel sorular için hepinize teşekkür ederim. Gerçekten çok detaylılar. Yaklaşık üç yıldır Qualcomm'dayım ve geçmişimize, hatta daha önce Spectra'da başladığımız buradaki görev süremin ötesine bakıyorum. Snapdragon 845 ile son birkaç yılda ISP'yi, kamerayı ve genel deneyimi önemli ölçüde iyileştirmek için gerçekten çok çalıştık. yıllar. Geleceğin getirecekleri konusunda bile gerçekten heyecanlıyım. Gelecekteki Teknoloji Zirvelerinde sizlerin sorup yazabileceğiniz neler açıklayacağımız konusunda heyecanlıyım. Bana göre [Spectra Camera] muhtemelen Qualcomm'un en heyecan verici teknolojilerinden biri.
Son düşünceler
Judd ile Qualcomm'un akıllı telefon fotoğrafçılığına katkıları hakkında tartışmak harikaydı. Şirket ve patent lisanslama sistemi hakkında karışık duygulara sahip olabiliriz, ancak Qualcomm'un akıllı telefon endüstrisindeki damgası, ister konuşun ister konuşun, herkes tarafından hissediliyor. patentler, 4G ve 5G, Wi-Fi, Adreno GPU'lar, Spectra ISP'ler ve Android akıllı telefonlarda büyük ölçüde altın standart olarak kabul edilen Snapdragon çipleri pazar.
Akıllı telefon fotoğrafçılığında hâlâ çözülmesi gereken birçok sorun var ancak gelecek Qualcomm'un, makine öğreniminin geniş ve büyüyen alanlarında daha fazla ilerleme kaydetmeyi vaat etmesi kadar parlak. AI. Bakalım bir sonraki Snapdragon Teknoloji Zirvesi'nde Qualcomm bu alanda neler duyuracak?