Judd Heape dari Qualcomm menjelaskan bagaimana Qualcomm meningkatkan pengalaman kamera di ponsel Android dengan fitur-fitur baru di ISP Spectra-nya.
Sebagai pembuat system-on-chip (SoCs) yang menggerakkan sebagian besar ponsel cerdas dan perangkat wearable di dunia, Qualcomm yang berbasis di AS tidak diragukan lagi merupakan salah satu raksasa industri pembuat chip. Jajaran SoC Snapdragon, misalnya, digunakan oleh hampir semua pembuat perangkat Android besar untuk ponsel pintar andalan, kelas menengah, dan murah. Qualcomm mendapat pujian setiap tahun di Tech Summit tahunan perusahaan atas kemajuan di bidang CPU, GPU, dan AI, karena menggabungkan mikroarsitektur CPU baru dari ARM. dan melengkapinya dengan peningkatan tahunan pada GPU kustomnya. Namun, kemajuannya di bidang kamera tidak terlalu diperhatikan, karena cenderung kurang radar.
Namun, ini tidak berarti bahwa pekerjaan Qualcomm pada kamera ponsel pintar tidak penting. Sebaliknya, ISP Spectra Qualcomm di SoC Snapdragon-nya membantu mewujudkan banyak kamera ponsel cerdas modern dengan peningkatan kekuatan pemrosesan komputasi, fitur seperti perekaman video 8K, video HDR10, dukungan untuk kamera QCFA megapiksel tinggi, dan masih banyak lagi lagi. Qualcomm telah mempromosikan Spectra 380 ISP di Snapdragon 855
Sementara Qualcomm menjelaskan sebagian besar fitur utama dalam siaran pers dan ceramah produknya, naik hingga saat ini, konsumen belum mempunyai kesempatan untuk mengetahui sebagian besar detail tingkat rendah yang membuat benda-benda tersebut bekerja.
Itu sebabnya kami di XDA Developers dengan senang hati menerima tawaran untuk berbicara dengan Judd Heape, Direktur Senior, Manajemen Produk di Qualcomm. Pemimpin Redaksi XDA, Mishaal Rahman, dan saya melakukan wawancara dengan Judd pada bulan Juni 2020 untuk mempelajari dan melihat bagaimana Qualcomm mendorong pencapaian tersebut dengan fotografi ponsel cerdas dan perekaman video. Kami berbicara tentang berbagai topik termasuk pemrosesan gambar AI, pengurangan kebisingan multi-frame (MFNR), AV1, perekaman video Dolby Vision, pixel binning pada kamera megapiksel tinggi, dan banyak lagi. Mari kita lihat wawasan Judd pada setiap topik satu per satu:
Beban kerja pemrosesan gambar AI
Mishal Rahman: Saya akan mulai dengan salah satu yang dimiliki Idrees, yang menarik dan juga membuat saya tertarik. Jadi kami bertanya-tanya apa saja beban kerja pemrosesan gambar AI yang digunakan Qualcomm di Spectra ISP dan sejauh mana beban tersebut dapat disesuaikan oleh pembuat perangkat?
Judd Heape: Ya, jadi kami melihat banyak beban kerja AI dan ada beberapa AI yang bisa berjalan di ISP itu sendiri seperti, misalnya, generasi 3A berikutnya: eksposur otomatis, white balance otomatis, dan fokus otomatis adalah AI berdasarkan.
Namun kami juga melihat beberapa beban kerja AI lainnya, yang akan dijalankan di luar ISP, di salah satu elemen komputasi lainnya. Jadi secara khusus kami melihat hal-hal seperti: kami memiliki inti pengurangan kebisingan berbasis AI yang dijalankan secara eksternal dari ISP, di bagian mesin AI (AIE) pada chip.
Selain itu, kami memiliki hal-hal seperti deteksi wajah, yang merupakan mesin pembelajaran mendalam lengkap yang juga berjalan di kompleks AIE, namun tentu saja membantu kamera. Dan ada hal lain yang sedang kami kerjakan selain deteksi wajah dan denoising; kami juga sedang mempertimbangkan untuk melakukan hal-hal seperti penyesuaian otomatis pada snapshot menggunakan AI yang akan disetel secara otomatis parameter per adegan berdasarkan konten HDR, kami akan memproses untuk memodifikasi bayangan dan sorotan serta warna dan semacamnya benda.
Salah satu mitra kami, Morpho, baru saja memenangkan penghargaan beban kerja AI yang sangat besar di Embedded Vision Summit tahun ini. Mitra vendor perangkat lunak independen juga memiliki banyak algoritme berbasis AI yang sangat kuat dan dapat berkisar dari apa pun seperti kamera halus transisi, seperti yang dilakukan Arcsoft, (saya sebutkan pada Snapdragon Tech Summit terakhir yang berbasis AI), ke segmentasi semantik Morpho mesin. Solusi Morpho adalah mesin AI yang memahami berbagai bagian pemandangan, seperti yang Anda tahu, kain versus kulit versus langit dan rumput, dan bangunan dan hal-hal semacam itu dan kemudian ISP dapat mengambil informasi tersebut dan memproses piksel tersebut secara berbeda untuk tekstur, noise, dan warna contoh.
pernyataan Qualcomm: Untuk ML & AI, kami juga tidak mengumumkan pembaruan baru apa pun untuk fitur deteksi wajah dan “3A” (AE, AF, dan AWB) hari ini. Namun, seperti yang dikatakan Judd, kami berkomitmen ke depannya untuk menghadirkan lebih banyak kemampuan ML/AI pada kamera, termasuk kedua area fitur ini.
Analisis dan konteks: AI di ponsel pintar telah menjadi kata kunci sejak unit pemrosesan saraf (NPU) pertama dan fitur "berbasis AI" mulai hadir di ponsel Android. Namun, bukan berarti AI itu sendiri tidak ada artinya. Sebaliknya, AI memiliki banyak potensi di bidang seluler, sampai-sampai vendor chip dan pembuat perangkat baru menggali potensi yang ada di permukaan.
Berkat AI, kamera ponsel pintar menjadi lebih baik - terkadang dengan cepat, terkadang sangat lambat, namun hal tersebut terus berlanjut. Kamera ponsel pintar mengatasi keterbatasan mendasar seperti sensor yang relatif lebih kecil dan tetap panjang fokus, dan optik yang lebih buruk dengan fotografi komputasi cerdas yang didukung oleh pembelajaran mesin (ML). Eksposur otomatis, pengurangan noise, deteksi wajah, dan segmentasi hanyalah beberapa bidang di mana AI dalam fotografi ponsel pintar dapat memberikan dampak. Dalam lima tahun ke depan, bidang AI baru yang meningkatkan berbagai aspek fotografi ini akan semakin matang.
Pengurangan noise multi-bingkai
Idrees Patel: Qualcomm telah menyebutkan pengurangan noise multi-frame sebagai sebuah fitur. Saya ingin mengetahui lebih detail tentang cara kerja penumpukan gambar. Apakah sama dengan apa yang dilakukan Google dengan teknologi HDR+ mereka atau justru berbeda sama sekali?
Judd Heape: Mirip tapi berbeda. Bayangkan kamera melakukan burst dan menangkap lima hingga tujuh frame secara berurutan. Kemudian mesin ISP melihat frame tersebut dan memilih yang terbaik (disebut "anchor frame"). fokus dan kejelasan, lalu ia dapat memilih 3-4 bingkai di kedua sisi bingkai itu dan kemudian menghitung rata-rata semuanya bersama. Ia mencoba memilih bingkai yang cukup berdekatan sehingga hanya ada sedikit pergerakan.
Dan ketika sudah ditetapkan pada frame-frame tersebut, kemudian dirata-ratakan untuk membedakan perbedaannya, misalnya, apa itu data gambar aktual dan apa itu data noise. Jadi ketika Anda memiliki lebih banyak informasi, dari lebih banyak frame, Anda sebenarnya dapat melakukan hal-hal sederhana seperti melihat perbedaan antar frame. Perbedaannya mungkin adalah noise, sedangkan yang setara dalam frame mungkin adalah data gambar.
Jadi kita bisa melakukan penggabungan frame real-time untuk mengurangi noise. Sekarang, Anda juga dapat melakukan hal yang sama dengan cahaya redup dan HDR dan kemungkinan besar hal tersebut mirip dengan apa yang dilakukan Google. Kami tidak mengetahui rahasia algoritma mereka. Namun mereka menggunakan teknik multi-frame untuk meningkatkan sensitivitas sehingga Anda dapat "melihat" dengan lebih baik; setelah Anda mengurangi tingkat kebisingan, kini Anda dapat melakukan lebih banyak pemetaan nada lokal, atau menambahkan penguatan pada gambar tanpa menambahkan lebih banyak noise.
Jadi begitulah cara mereka menangani cahaya redup, serta HDR. Peningkatan pada fitur pengurangan noise multi-frame akan datang dari Qualcomm, yang juga mencakup cahaya redup dan HDR. Tapi itu adalah sesuatu yang akan kami luncurkan segera.
Mishal Rahman: Jadi, Anda menyebutkan akan segera meluncurkan fitur ini. Apakah ini seperti pembaruan pada BSP untuk mitra?
Judd Heape: Pada produk generasi mendatang, melalui penambahan perangkat lunak, kami akan memiliki kemampuan untuk terlibat - sebenarnya hal ini sedang terjadi saat ini dan di masa mendatang. produk generasi - saat ini kami berinteraksi dengan pelanggan untuk melakukan lebih banyak teknik multi-frame selain pengurangan noise, tetapi juga untuk menangani HDR dan cahaya redup situasi. Ini menggunakan mesin ISP HW dasar yang sama, namun kami menambahkan lebih banyak perangkat lunak untuk menangani multi-frame ini untuk lebih dari sekadar pengurangan noise.
Jadi ini bukan sesuatu yang telah diluncurkan, namun kami berinteraksi dengan beberapa pelanggan utama mengenai fitur tersebut.
Analisis dan konteks: Dengan setiap pengumuman SoC Snapdragon baru, tabel spesifikasi Qualcomm mencakup spesifikasi yang terkait dengan pengurangan noise multi-frame. Snapdragon 865, misalnya, dengan CV-ISP ganda 14-bit mendukung hingga kamera tunggal hipotetis 200MP (padahal vendor sensor kamera seperti Sony, Samsung dan OmniVision belum merilis sensor kamera smartphone di atas 108MP). Namun, jika menyangkut dukungan kamera tunggal dengan MFNR, zero shutter lag (ZSL), dan dukungan 30fps, spesifikasinya berubah menjadi 64MP, dan untuk kamera ganda dengan spesifikasi yang sama, spesifikasinya berubah menjadi 25MP.
Pengurangan noise multi-frame Qualcomm sangat mirip dengan HDR+ tetapi tidak sepenuhnya sama, seperti yang dijelaskan Judd di atas. Sementara HDR+ mengambil serangkaian eksposur yang kurang terang dan membuat rata-ratanya untuk mendapatkan foto terbaik, MFNR mengambil lima-tujuh frame normal. Tampaknya MFNR Qualcomm tidak secanggih solusi Google karena HDR dan cahaya redup tidak disebutkan sebagai prioritas khusus saat ini. alur kerja untuk Spectra, sementara HDR+ Google menargetkan HDR, fotografi cahaya rendah, dan pengurangan noise pada saat yang bersamaan, dengan Night Sight bahkan meningkatkannya lebih jauh. Namun, sangat menggembirakan mengetahui bahwa MFNR menerima peningkatan dan Qualcomm akan meluncurkan peningkatan ini ke “beberapa pelanggan utama”. Di masa depan, mungkin kita tidak memerlukan port Google Kamera tidak resmi untuk mencapai potensi penuh dari kamera ponsel pintar Android non-Google.
Resolusi super untuk video
Mishal Rahman: Jadi, sesuatu yang saya dengar di Tech Summit. Sebenarnya, menurutku memang begitu dalam sebuah wawancara dengan Otoritas Android. Apakah Qualcomm berencana untuk memperluas resolusi super ke video sebagai solusi perangkat lunak untuk mitra dan tampaknya hal ini akan diluncurkan dalam pembaruan. Saya ingin tahu apakah Anda memiliki pembaruan untuk dibagikan tentang fitur ini.
Judd Heape: Ya, jadi itulah fitur yang sudah bisa kami lakukan selama beberapa waktu, dan baru saja diluncurkan. Saya tidak akan mengatakan itu dalam pembaruan perangkat lunak, tetapi menurut saya ini seperti manfaat tambahan dari kemampuan fitur multi-frame dan cahaya rendah yang ada. Kami berinteraksi dengan beberapa pelanggan utama tertentu pada fitur tersebut. Jadi ya, resolusi video super adalah sesuatu yang ada di generasi lain atau lebih, kita akan memilikinya seperti yang kita miliki memanggil fitur rencana pencatatan yang sebenarnya dibangun ke dalam basis kode perangkat lunak untuk [the] kamera. Namun saat ini, ini lebih pada tingkat keterlibatan pelanggan tertentu untuk fitur baru tersebut.
Analisis dan konteks: Resolusi super untuk video merupakan fitur yang hingga saat ini belum muncul di kamera smartphone. Ini adalah bidang yang baru makalah penelitian masih ditulis tentang hal itu. Menggunakan teknik multi-frame untuk fotografi adalah satu hal, namun menggunakannya pada video untuk meningkatkan video ke resolusi yang lebih tinggi adalah masalah yang sama sekali berbeda. Qualcomm mengatakan akan kembali meluncurkan fitur tersebut ke "beberapa pelanggan utama", tetapi saat ini, fitur tersebut belum dimasukkan ke dalam basis kode perangkat lunak untuk kamera. Di masa mendatang, fitur ini mungkin tersedia untuk semua orang, namun untuk saat ini, fitur ini masih belum dapat digunakan oleh konsumen akhir.
Sensor Quad Bayer megapiksel tinggi
Idrees Patel: Mari kita bicara tentang sensor Quad Bayer. Sejak 2019, banyak ponsel kini memiliki sensor 48MP, 64MP, dan bahkan 108MP. Ini adalah sensor Quad Bayer; Anda sebenarnya tidak memiliki resolusi warna sebenarnya sebesar 48 atau 64 atau 108MP. Satu hal yang ingin saya tanyakan adalah apa perbedaan ISP dalam hal pemrosesan gambar untuk Quad Bayer atau Nona ini Sensor Bayer (binning piksel 4-in-1 atau 9-in-1), jika dibandingkan dengan sensor tradisional, yang tidak memiliki piksel apa pun binning.
Judd Heape: Ya, jadi tentu saja keunggulan sensor quad CFA (Quad Color Filter Array) ini adalah kemampuannya untuk bekerja dalam cahaya terang mereka pada resolusi penuh, dan kemudian ISP dapat memprosesnya pada resolusi penuh 108 megapiksel atau 64 megapiksel atau apa pun tersedia.
Namun, biasanya di sebagian besar situasi pencahayaan, seperti di dalam ruangan atau gelap, Anda harus membuangnya karena piksel sensor sangat kecil sehingga Anda harus menggabungkan piksel untuk mendapatkan sensitivitas cahaya yang lebih baik. Jadi menurut saya sebagian besar waktu, terutama jika Anda merekam video atau jika Anda berada dalam kondisi cahaya redup untuk mengambil gambar, Anda menjalankan mode binned.
Sekarang, ISP dapat memproses sensor tersebut dengan cara apa pun. Anda dapat melihat sensor dalam mode binned dalam hal ini hanya gambar Bayer biasa yang masuk, atau dapat melihatnya dalam mode resolusi penuh di mana data yang masuk adalah quad CFA. Dan jika dalam mode itu ISP mengubahnya menjadi Bayer.
Jadi kami melakukan - apa yang kami sebut - "remosaicing". Ini melakukan beberapa interpolasi pada gambar quad CFA agar terlihat seperti Bayer resolusi penuh lagi. Dan hal ini biasanya dilakukan pada perangkat lunak untuk snapshot, meskipun pada akhirnya kami akan menambahkan kemampuan ini pada perangkat keras untuk mendukung video juga.
Yang ada di hardware ISP saat ini adalah binning. Jadi Anda dapat memasukkan sensor dan Anda benar-benar dapat membuat sensor memutuskan apakah itu akan menghasilkan resolusi penuh atau seperempat atau 1/9 atau Anda dapat membuangnya di ISP. Dan sebenarnya itulah fitur yang kami tambahkan di Snapdragon 865. Jadi, jika Anda melakukan bin di ISP dan kemudian menjalankan sensor pada resolusi penuh, maka ISP tersebut memiliki kemampuan untuk memiliki gambar beresolusi penuh dan gambar yang di-bin secara bersamaan. Oleh karena itu, ia dapat menggunakan gambar beresolusi lebih kecil atau gambar "binned" untuk video (camcorder) dan pratinjau (jendela bidik) dan secara bersamaan menggunakan gambar resolusi penuh untuk snapshot ukuran penuh.
Tapi sekali lagi, itu terjadi dalam kondisi pencahayaan yang terang. Tapi setidaknya jika Anda melakukan bin di ISP, Anda memiliki kemampuan untuk menangani gambar besar dan kecil di dalamnya pada saat yang sama, dan oleh karena itu, Anda bisa mendapatkan video dan snapshot secara bersamaan, Anda juga bisa mendapatkan resolusi penuh ZSL; semuanya tanpa harus mengganti sensor bolak-balik, yang memakan banyak waktu.
Ini adalah fitur yang sangat bagus. Dan sebagai sensor Quad CFA dan bahkan Anda tahu, sensor 9x dan mungkin lebih banyak lagi yang keluar, dan seiring dengan semakin banyaknya sensor ini ada di mana-mana - kami semakin berupaya untuk menangani sensor-sensor tersebut di perangkat keras, tidak hanya untuk binning tetapi juga untuk remosaicing.
Jadi manfaatnya adalah jika Anda melakukannya di perangkat keras dibandingkan melakukannya di perangkat lunak, Anda menguranginya latensi untuk pelanggan Anda dan oleh karena itu, waktu pengambilan gambar dan laju ledakan Anda akan jauh lebih cepat. Jadi saat kami melangkah maju dengan ISP baru dan chip baru, Anda akan mulai melihat lebih banyak lagi apa yang kami lakukan untuk jenis sensor baru yang dimasukkan ke dalam perangkat keras.
Analisis dan konteks: Huawei adalah yang pertama menggunakan sensor Quad Bayer 40MP dengan Huawei P20 Pro pada tahun 2018, dan popularitas sensor Quad Bayer begitu tinggi sehingga kini bahkan telah mencapai ponsel seharga $150 yang didukung oleh chip Snapdragon/Exynos/MediaTek. Secara khusus, kita telah melihat industri ponsel pintar hadir dengan kamera 48MP dan 64MP sebagai pilihan terbaik, sementara beberapa ponsel bahkan mencapai kamera 108MP. Sensor Quad Bayer dan Nona Bayer bukannya tanpa hal negatif, karena resolusi penuhnya disertai dengan peringatan.
Namun, untuk alasan pemasaran, sensor 48MP terdengar jauh lebih baik daripada sensor 12MP, meskipun pengguna sering mengambil foto binned piksel 12MP. Sensor 48MP secara teori akan menghasilkan foto binning piksel 12MP yang lebih baik dalam kondisi cahaya rendah dibandingkan sensor 12MP tradisional. sensor, namun pemrosesan gambar harus tetap berjalan, dan seperti yang saya sebutkan di bawah, jalan yang harus ditempuh masih panjang terjadi. Terlepas dari itu, menarik untuk melihat bagaimana Spectra ISP menangani sensor Quad Bayer dengan remosaicing. Ada banyak potensi dalam sensor ini, dan ponsel seperti OnePlus 8 Pro (yang menggunakan sensor Sony IMX689 Quad Bayer dengan piksel besar) saat ini berada di puncak kamera ponsel pintar.
Pengenalan wajah berbasis ML
Mishal Rahman: Jadi saya rasa sebelumnya Anda telah menyebutkan bahwa pengenalan wajah berbasis ML didukung di Spectra 480. Itu adalah sesuatu yang saya dengar di Tech Summit. [Bahwa ini] salah satu peningkatan dari 380 menjadi 480; bahwa ini adalah bagian dari - ada blok deteksi objektif baru di mesin analisis video yang digunakan untuk pengenalan spasial di masa mendatang.
Bisakah Anda menjelaskan lebih lanjut tentang seberapa besar hal ini meningkatkan pengenalan wajah dan aplikasi potensial apa yang menurut Anda digunakan oleh vendor?
Judd Heape: Ya sebenarnya, jadi Anda berada tepat di blok visi komputer tertanam, yaitu blok "EVA", yang kita bicarakan di Tech Summit. Itu memiliki inti deteksi objek umum di dalamnya yang kami gunakan saat kamera berjalan, kami menggunakannya untuk mendeteksi wajah. Teknik-teknik pada blok tersebut lebih merupakan teknik tradisional, sehingga pengenalan objek dilakukan dengan tradisional pengklasifikasi, namun yang lebih penting lagi, kami memiliki mesin perangkat lunak yang berjalan untuk benar-benar meningkatkan akurasinya memblokir.
Jadi kami menggunakan perangkat lunak berbasis ML untuk memfilter positif palsu, karena perangkat keras mungkin mendeteksi lebih banyak hal sebagai wajah dalam adegan, dan kemudian perangkat lunak ML akan mendeteksinya. mengatakan, "oke itu wajah", atau "itu benar-benar bukan wajah" sehingga akurasinya meningkat beberapa poin persentase dengan menjalankan filter ML tersebut di atas perangkat keras.
Saya menyebutkan banyak hal tentang masa depan. Kedepannya, apa yang juga kami rencanakan adalah menjalankan seluruh deteksi wajah itu sendiri dalam ML atau dalam mode pembelajaran mendalam di perangkat lunak. Terutama, hal ini berlaku pada tingkat yang lebih rendah, jadi misalnya pada tingkat di mana kami tidak memiliki mesin perangkat keras EVA, kami akan mulai melakukan pembelajaran mendalam secara bertahap. sebagai deteksi, yang berjalan di mesin AI chip dan kemudian, di tingkat atas di tingkat 700-800 kami memiliki perangkat keras EVA untuk melakukan ini...
Namun secara umum, kami akan beralih ke pendekatan ML untuk melakukan deteksi wajah dan hal ini akan mencakup perangkat lunak dalam jangka menengah dan perangkat keras dalam jangka waktu selanjutnya. Saya tidak akan mengungkapkan produk mana yang akan memilikinya, tetapi tentu saja seiring dengan kemajuan kami dalam meningkatkan ISP, kami pasti akan menambahkan lebih banyak lagi kemampuan perangkat keras untuk melakukan ML.
Mishal Rahman: Luar biasa. Ya, menurut saya sudah pasti bahwa arah yang Anda tuju adalah membawa peningkatan pembelajaran mesin seri 800 ke tingkat yang lebih rendah, jadi menurut saya hal itu secara umum sudah pasti. Tapi tentu saja, tidak ada rincian spesifik yang bisa Anda berikan kepada kami mengenai hal itu. Terima kasih atas pembaruannya.
Judd Heape: Deteksi wajah adalah sesuatu yang sangat kami sukai. Kami ingin meningkatkan akurasi ini, Anda tahu dari generasi ke generasi di semua tingkatan mulai dari tingkat 800 hingga tingkat 400. ML adalah bagian besar dari itu.
Analisis dan konteks: Aspek-aspek inilah yang memberikan potensi lebih besar pada fotografi ponsel pintar dibandingkan kamera mirrorless terbaru. Ya, kamera mirrorless memiliki kualitas gambar yang lebih baik dalam kondisi cahaya redup dan jauh lebih fleksibel, namun kamera ponsel cerdas mengatasi keterbatasannya melalui cara yang cerdik. Deteksi wajah berbasis ML hanyalah sebagian saja.
Perbaikan pada mesin pengolah gambar
Mishal Rahman: Luar biasa. Jadi salah satu hal yang sempat saya dengar selama diskusi meja bundar setelah Snapdragon Tech Summit adalah peningkatan pada mesin pengolah gambar. Saya mendengar bahwa ada peningkatan pengurangan kebisingan frekuensi menengah rendah atau LEANR. Dan Anda menerapkan peta penguatan terbalik dinamis; apakah itu sesuatu yang Anda sebutkan sebelumnya dalam percakapan.
Judd Heape: Oh baiklah. Jadi menurut saya Anda mencampurkan dua hal. Ya, jadi ada inti LEANR, yaitu inti yang bekerja pada pengurangan kebisingan pada butiran yang lebih kasar, yang membantu dalam cahaya redup. Itu adalah blok baru yang ditambahkan di Snapdragon 865 ke dalam ISP, dan itu satu hal.
Peta penguatan terbalik adalah sesuatu yang lain. Itu adalah hal lain yang saya sebutkan di meja bundar, tapi itu adalah membalikkan efek bayangan lensa. Jadi seperti yang Anda ketahui, jika Anda memiliki ponsel dan lensanya kecil; bagian tengah lensa akan menjadi cerah dan bagian tepinya akan menjadi lebih bervignet; artinya mereka akan menjadi lebih gelap.
Jadi pada tahun-tahun yang lalu di ISP, apa yang kami miliki adalah kami menerapkan peta penguatan terbalik statis untuk menghilangkan tepi gelap tersebut. Dan itu sudah ada di ISP selama beberapa waktu. Apa yang kami tambahkan di Snapdragon 865 adalah kemampuan peta perolehan tersebut untuk berubah secara dinamis berdasarkan bingkai gambar tertentu, karena jika Anda menerapkan banyak perolehan pada bagian tepinya, yang terjadi adalah bagian tepinya bisa terpotong, terutama jika Anda melihat pemandangan cahaya terang di luar, misalnya langit biru bisa berubah menjadi putih atau bagian tepinya akan terpotong karena banyak memperoleh.
Jadi di Snapdragon 865, peta penguatan terbalik tersebut tidak statis; itu dinamis. Jadi kita melihat gambarnya dan berkata, "oke bagian gambar ini terpotong dan seharusnya tidak begitu" sehingga kita bisa memutarnya keluar dari peta penguatan secara alami sehingga Anda tidak mendapatkan pinggiran terang atau efek halo atau hal-hal semacam itu dari koreksi lensa bayangan. Jadi ini berbeda dengan pengurangan kebisingan, dan keduanya merupakan inti yang berbeda.
Fotografi cahaya rendah dan pengurangan noise yang agresif
Idrees Patel: Jadi satu hal yang ingin saya tanyakan adalah fotografi low light. Seperti beberapa tahun terakhir, ada banyak mode malam [yang diterapkan OEM], tapi satu hal yang saya perhatikan adalah itu banyak pembuat perangkat melakukan pengurangan kebisingan secara agresif, yang mengurangi detail, hingga pada titik di mana kebisingan pencahayaan pun terjadi DIHAPUS.
Jadi pertanyaan saya adalah apakah Qualcomm menasihati pembuat perangkat mana pun untuk tidak melakukan hal itu dan apakah itu sesuatu yang dilakukan oleh jalur pemrosesan mereka, atau apakah itu sesuatu yang dipengaruhi oleh ISP di SoC.
Judd Heape: Banyak hal yang berkaitan dengan penyetelan, dan jika Anda tidak memiliki multi-frame, atau menurut saya sensor gambar yang sangat bagus tidak tersedia, dengan sensitivitas tinggi atau optik dengan angka f rendah. Salah satu cara untuk menghilangkan noise khususnya dalam cahaya redup adalah dengan menerapkan lebih banyak pengurangan noise, namun yang terjadi jika Anda menerapkan lebih banyak pengurangan noise adalah Anda kehilangan detail, sehingga tepi tajam menjadi buram. Sekarang, Anda dapat menghilangkannya jika menerapkan teknik multi-frame ini. Atau jika Anda menerapkan teknik AI, yang dapat mengetahui letak tepi objek dan wajah, dan hal-hal semacam itu. Jadi menerapkan pengurangan kebisingan secara brute force di zaman sekarang ini bukanlah cara yang tepat untuk menanganinya karena Anda akhirnya kehilangan detail.
Yang ingin dilakukan adalah melakukan teknik multi-frame atau teknik AI agar tetap bisa menerapkan noise pengurangan menjadi lebih mirip area interior objek sambil menjaga tepi tetap bersih atau menjaga tepi tajam tetap menyala objek. Jadi itulah yang ingin saya katakan: menggunakan AI atau multi-frame adalah cara untuk melakukan pengurangan noise dan meningkatkan citra dalam kondisi cahaya redup di masa mendatang.
Idrees Patel: Ya, dan itulah yang ingin saya dengar. [Itu] karena itulah hal utama yang membedakan kamera smartphone hebat dari kamera kelas menengah atau kamera anggaran.
Judd Heape: Ya.
Idrees Patel: Kamera ponsel cerdas yang hebat tahu kapan harus menerapkan pengurangan kebisingan dan kapan tidak.
Judd Heape: Tepat. Ya, dan seperti yang saya katakan, penyetelan kamera sebenarnya dilakukan oleh pelanggan atau OEM kami, dan beberapa OEM lebih menyukai gambar yang lebih lembut dengan lebih sedikit noise. Beberapa lebih suka mengungkapkan lebih banyak detail dengan sedikit lebih banyak noise.
Jadi ini adalah trade-off dan Anda memiliki keterbatasan. Dan seperti yang saya katakan, hal terbaik yang harus dilakukan adalah mendapatkan sensor gambar yang lebih baik dengan sensitivitas yang lebih tinggi, piksel yang lebih besar atau optik f-number yang lebih rendah, karena Anda akan mendapatkan lebih banyak cahaya sejak awal, hal ini selalu terjadi lebih baik. Namun jika Anda tidak bisa melakukannya, alih-alih hanya meningkatkan pengurangan noise dan kehilangan detail, yang ingin Anda lakukan adalah menggunakan teknik multi-frame atau AI.
Analisis dan konteks: Menurut pendapat saya, ini adalah masalah terbesar pada kamera ponsel pintar saat ini. Ya, Anda bisa menggunakan sensor 48MP atau 64MP atau bahkan 108MP. Namun, jika Anda tidak memilih untuk menggunakan pengurangan noise terbatas dengan teknik MFNR atau AI, semua megapiksel, binning 4-in-1, dan bahkan binning 9-in-1 tersebut tidak akan banyak berguna. Galaxy S20 Ultra adalah contoh utama di sini, dengan kamera utamanya 108MP sebagian besar dianggap mengecewakan. Samsung melakukan kemunduran dalam pemrosesan gambar dengan menggunakan pengurangan noise yang sangat agresif dalam mode malam di ponsel andalan tahun 2020, sedangkan seri Galaxy S10 2019 ironisnya memiliki kualitas gambar yang lebih baik.
Judd mengungkapkan bahwa beberapa OEM sebenarnya lebih menyukai gambar yang lebih lembut dengan lebih sedikit noise, yang pada dasarnya merupakan pilihan yang salah. Penyetelan dilakukan oleh pembuat perangkat dan karenanya, dua ponsel yang menggunakan sensor yang sama dan ditenagai oleh SoC yang sama dapat menghasilkan foto yang sangat, sangat berbeda. Para pembuat perangkat ini diharapkan dapat mempelajari kebenaran dari pesaing mereka yang memiliki kinerja lebih baik. Sementara Samsung kehilangan arah dalam pemrosesan gambar tahun ini, OnePlus sangat kontras. OnePlus 8 Pro adalah salah satu kamera ponsel cerdas terbaik di pasaran, yang merupakan pencapaian penting mengingat keluaran kamera OnePlus 5T yang sangat buruk pada tahun 2017. Pola pikir pemrosesan gambar harus diubah agar foto menjadi tajam, tidak peduli seberapa besar perang megapiksel yang terjadi.
Dekode dan pengkodean AV1
Mishal Rahman: Jadi ini agak terpisah dari diskusi lain yang kami lakukan tentang kualitas kamera. Salah satu hal yang membuat sebagian orang di komunitas codec media open source bertanya-tanya adalah kapan Qualcomm akan mendukungnya Penguraian kode AV1 dan mungkin pengkodean. Saya tahu ini agak sulit, tetapi Google memerlukan TV 4K HDR dan 8K di Android 10 untuk mendukung decoding AV1 dan Netflix, Youtube, mereka mulai meluncurkan video yang dikodekan dalam AV1. Jadi sepertinya peningkatan lambat pada video berkode AV1. Jadi kami bertanya-tanya kapan setidaknya dukungan decoding akan tersedia di Spectra.
pernyataan Qualcomm: Sesuai pertanyaan Anda tentang AV1 - tidak ada yang perlu kami umumkan hari ini. Namun, Snapdragon saat ini mampu memutar AV1 melalui perangkat lunak. Qualcomm selalu bekerja sama dengan mitra dalam pembuatan codec generasi berikutnya melalui pembuatan perangkat lunak dan perangkat keras Snapdragon pemimpin dalam codec HDR termasuk pengambilan dan pemutaran dalam HEIF, HLG, HDR10, HDR10+, dan Dolby Penglihatan. Tentu saja, kami menyadari untuk menghadirkan pengalaman CODEC terbaik kepada pelanggan kami, termasuk dukungan resolusi tinggi dan daya terendah, maka implementasi ini di HW adalah hal yang diinginkan.
Rekaman video - kompensasi gerak
Mishal Rahman: Jadi saya tidak tahu apakah Idrees punya pertanyaan lagi, tapi saya punya satu pertanyaan tentang sesuatu yang saya baca di Snapdragon Tech Summit. Ini tentang inti video kompensasi gerak. Saya dengar ada peningkatan pada mesin kompensasi gerak, untuk mengurangi kebisingan saat merekam video. Saya ingin tahu apakah Anda dapat memperluas apa sebenarnya yang telah ditingkatkan dan apa yang telah dilakukan.
Judd Heape: Mesin EVA (Engine for Video Analytics) telah ditingkatkan dengan inti peta gerak yang lebih padat sehingga menjadi EVA mesinnya lho, misalnya selalu melihat video yang masuk dan di dalamnya ada inti yang melakukan gerakan perkiraan. Apa yang telah kami lakukan adalah membuat inti tersebut jauh lebih akurat dengan melakukannya hampir pada tingkat per piksel dibandingkan dengan tingkat yang lebih tinggi. tingkat blok yang kasar sehingga kami mendapatkan lebih banyak vektor gerakan dari mesin EVA di Snapdragon 865 dibandingkan sebelumnya generasi. Artinya, inti video yang melakukan pengkodean dapat menggunakan vektor gerak tersebut lebih banyak akurat mengenai penyandian, namun ISP di sisi kamera juga menggunakan informasi tersebut untuk noise pengurangan.
Jadi seperti yang Anda ketahui, dari generasi ke generasi kita telah memiliki pemfilteran temporal dengan kompensasi gerakan, yang sebenarnya merupakan pengurangan kebisingan aktif selama video, yang rata-rata frame dari waktu ke waktu untuk menghilangkan kebisingan.
Masalah dengan teknik itu adalah jika Anda memiliki gerakan dalam adegan tersebut. Gerakan akhirnya hanya ditolak dari pengurangan kebisingan karena tidak dapat ditangani atau tercoreng, dan Anda mendapatkan jejak dan artefak jelek pada benda yang bergerak. Jadi, dalam pemfilteran temporal kompensasi gerak, apa yang telah kami lakukan di masa lalu karena kami tidak memiliki peta gerak padat untuk lokal gerak, yang kami miliki - hanya menangani kasus saat Anda menggerakkan kamera, ini cukup mudah karena semuanya bergerak secara global.
Namun jika Anda memotret sesuatu dan ada objek yang bergerak DALAM pemandangan, apa yang kami lakukan sebelumnya [adalah] kami mengabaikan piksel tersebut karena kami tidak dapat memprosesnya untuk menghasilkan noise, karena piksel tersebut bergerak secara lokal obyek. Oleh karena itu, jika Anda menghitung rata-rata frame demi frame, objek berada di tempat yang berbeda setiap frame sehingga Anda tidak dapat benar-benar memprosesnya.
Namun pada Snapdragon 865, karena kami memiliki peta gerakan yang lebih padat dan kami memiliki kemampuan untuk melihat vektor gerakan pada hampir satu piksel berdasarkan piksel, kami sebenarnya dapat memproses piksel yang dipindahkan secara lokal tersebut bingkai demi bingkai untuk pengurangan noise, sedangkan sebelumnya kami tidak dapat melakukannya. Saya rasa saya menyebutkan metrik dalam pembicaraan. Saya tidak ingat nomornya (itu 40%) namun persentase piksel rata-rata yang besar untuk sebagian besar video kini dapat diproses untuk menghasilkan noise, sedangkan pada generasi sebelumnya, hal tersebut tidak dapat diproses. Hal ini sebagian besar disebabkan oleh kemampuan memahami gerakan lokal dan bukan hanya gerakan global.
Perekaman video - HDR
Idrees Patel: Pertanyaan lain yang saya miliki adalah tentang video HDR. Tahun ini, saya melihat lebih banyak pembuat perangkat menawarkan perekaman video HDR10. Jadi apakah itu sesuatu yang dipromosikan dengan Snapdragon 865, atau sudah ada sejak beberapa generasi.
Judd Heape: Oh ya, jadi saat kita membicarakannya di Tech Summit, kami memiliki HDR10, yang merupakan standar video untuk HDR di sisi penyandian kamera selama beberapa generasi sekarang, sejak Snapdragon 845, saya yakin, dan kami terus meningkat itu.
Jadi tahun lalu, kita berbicara tentang HDR10+, yang merupakan perekaman HDR 10-bit, namun alih-alih menggunakan metadata statis, ia memiliki metadata dinamis, jadi metadata yang ditangkap oleh kamera selama adegan sebenarnya direkam dalam waktu nyata, sehingga ketika Anda memutarnya kembali, mesin pemutaran memahami apakah itu ruangan gelap atau ruangan terang, dan dapat mengimbanginya. itu.
Kami juga tahun lalu di Tech Summit membicarakan tentang pengambilan Dolby Vision, yang merupakan alternatif Dolby untuk HDR10+. Ini sangat mirip di mana mereka juga menghasilkan metadata dinamis. Jadi Snapdragon saat ini dapat mendukung ketiga format berikut: HDR10, HDR10+, dan Dolby Vision capture. Jadi tidak ada batasan, OEM kami dapat memilih metode mana pun yang mereka sukai. Kami sudah memiliki pelanggan yang menggunakan HDR10 selama beberapa waktu, dan tahun lalu dan tahun ini semakin banyak pelanggan yang menggunakan HDR10+. Dan menurut saya di masa depan, Anda juga akan melihat beberapa adopsi Dolby Vision Capture.
Jadi ya, kami telah melakukan promosi besar-besaran. HDR sangat penting bagi kami, baik di sisi snapshot maupun di sisi video. Dan seperti yang saya katakan, kami telah berkomitmen pada format HDR10 dan HDR10+ dan sekarang Dolby Vision, Anda tahu sejak Snapdragon 845 dan bahkan baru-baru ini Snapdragon 865 untuk Dolby Vision.
Mishal Rahman: Selain itu, saya sebenarnya tidak yakin apakah ada vendor yang menerapkan perekaman Dolby Vision, tapi saya rasa itu menjawab pertanyaan itu. [Itu] sesuatu yang akan kita lihat di masa depan.
Judd Heape: Tentu saja - Saya tidak bisa berkomentar vendor mana yang tertarik dan semacamnya. Itu akan menjadi pertanyaan bagi Dolby; itu fitur mereka dan jadi jika Anda ingin informasi lebih lanjut tentang itu, saya sarankan untuk menghubungi Dolby. Namun hingga saat ini, sejauh yang saya tahu, belum ada handset yang keluar dengan Dolby Vision Capture.
Idrees Patel: Karena Anda memerlukan dukungan tampilan juga. Saya memperhatikan bahwa tampilan ponsel cerdas mendukung HDR10 dan HDR10+ tetapi tidak mendukung Dolby Vision.
Judd Heape: Ya sebenarnya, tapi pemutaran Dolby Vision telah didukung pada Snapdragon di masa lalu. Ini dapat berfungsi dengan tampilan tertentu dan tampilan tersebut tidak harus memenuhi kriteria tertentu agar sesuai dengan Dolby Vision kecuali bahwa Dolby akan menilai tampilan dan memastikan bahwa tampilan tersebut memiliki gamut warna, gamma, kedalaman bit tertentu, kecerahan tertentu, dan kontras tertentu. perbandingan.
Jadi tahukah Anda, Anda bisa membeli layar HDR10, tapi Anda juga bisa membeli handset yang mendukung Dolby Vision pemutaran, tetapi Doby akan memenuhi syarat tampilan tersebut untuk memastikannya sesuai dengan ketatnya persyaratan.
Kolaborasi dengan vendor software: Imint, Morpho, dan Arcsoft
Mishal Rahman: Saya kira hanya satu pertanyaan yang harus saya tindak lanjuti, untuk melakukan penelitian lebih lanjut. Salah satu perusahaan yang kami ajak bicara baru-baru ini adalah segera. Mereka baru-baru ini meningkatkannya Perangkat lunak Stabilisasi Vidhance ke bekerja dengan Spectra 480. Saya tahu kalian bekerja dengan banyak perusahaan yang juga memanfaatkan Spectra 480, pemrosesannya. Saya ingin tahu apakah Anda dapat mengungkapkan lebih banyak contoh teknologi yang Anda miliki - atau mitra yang Anda miliki bekerja dengannya, supaya ini] sesuatu yang dapat kami tindak lanjuti, pelajari lebih lanjut tentang bagaimana Spectra 480 digunakan di bidang.
Judd Heape: Kami bekerja dengan banyak vendor perangkat lunak. Seperti yang kami sebutkan sebelumnya, Dolby adalah salah satunya. Ada yang lain seperti yang Anda sebutkan, Imint/Vidhance untuk EIS (Electronic Image Stabilization). Kami juga telah menyebutkan Morpho dan Arcsoft sebelumnya, kami juga bekerja sama dengan mereka dengan sangat erat.
Sejauh cara kami bekerja dengan mereka, kebijakan kami adalah kami benar-benar ingin bekerja sama dengan vendor perangkat lunak independen ini dan mewujudkannya. yakin bahwa apa pun yang mereka lakukan dalam perangkat lunak, mereka dapat memanfaatkan perangkat keras di Snapdragon untuk mendapatkan konsumsi daya terendah mungkin.
Jadi salah satu hal yang kami lakukan dengan vendor ini adalah kami memastikan mereka memiliki akses yang sangat baik ke mesin HVX, atau inti Hexagon DSP. Mereka juga menggunakan mesin EVA untuk mendapatkan vektor gerak dan menggunakan perangkat keras dan mesin EVA untuk manipulasi gambar mereka dapat melakukan pergerakan gambar, terjemahan dan penghilangan lengkungan dan hal-hal semacam itu di perangkat keras daripada menggunakan GPU untuk melakukannya itu.
Jadi, kami benar-benar bekerja sama dengan ISV ini, terutama yang saya sebutkan secara khusus, untuk memastikan bahwa mereka tidak hanya menyajikan segalanya. dan perangkat lunak di CPU tetapi mereka menggunakan hal-hal seperti DSP dan akselerator perangkat keras di EVA untuk mendapatkan kinerja yang lebih baik dan daya yang lebih rendah konsumsi. Jadi hal ini juga sangat penting bagi kami karena memberikan pelanggan kami perpaduan fitur dan konsumsi daya terbaik.
[Menutup Komentar dari Judd]: Saya hanya ingin mengucapkan, terima kasih teman-teman atas semua pertanyaan yang sangat bagus. Mereka sangat, sangat detail. Saya sudah berada di Qualcomm selama sekitar tiga tahun dan melihat masa lalu kami, bahkan melampaui masa jabatan saya di sini di mana kami memulai Spectra sebelumnya. Snapdragon 845, kami bekerja sangat keras untuk meningkatkan secara signifikan ISP, kamera, dan pengalaman keseluruhan selama beberapa waktu terakhir. bertahun-tahun. Saya sangat gembira dengan apa yang akan terjadi di masa depan. Dan saya sangat antusias dengan apa yang akan kami umumkan di Tech Summit mendatang yang dapat Anda tanyakan dan tulis. [Spectra Camera], mungkin, menurut saya, adalah salah satu teknologi paling menarik di Qualcomm.
Pikiran Terakhir
Senang sekali bisa berdiskusi dengan Judd tentang kontribusi Qualcomm pada fotografi ponsel pintar. Kita mungkin memiliki perasaan campur aduk mengenai perusahaan dan sistem lisensi paten mereka, namun pengaruh Qualcomm pada industri ponsel pintar dirasakan oleh semua orang, baik Anda berbicara tentang paten, 4G dan 5G, Wi-Fi, GPU Adreno, ISP Spectra, dan chip Snapdragon itu sendiri, yang sebagian besar dianggap sebagai standar emas di ponsel pintar Android pasar.
Masih banyak permasalahan yang harus diselesaikan dalam fotografi ponsel pintar, namun masa depan adalah solusinya secemerlang janji Qualcomm untuk membuat lebih banyak kemajuan di bidang ML yang luas dan terus berkembang, yang mendukungnya AI. Mari kita lihat apa yang diumumkan Qualcomm di bidang ini pada Snapdragon Tech Summit berikutnya.