Sony telah mengumumkan sensor gambar kamera pertama di dunia yang dilengkapi pemrosesan AI berupa IMX500 dan IMX501.
Sony adalah pemain terbesar dalam memasok sensor gambar kamera untuk ponsel pintar. Contoh sensor populer termasuk IMX586 48MP, yang digunakan oleh berbagai ponsel dengan kisaran harga yang membingungkan pada tahun 2019. Itu IMX586 digantikan oleh 64MP IMX686. Tentu saja, perusahaan tidak hanya berurusan dengan sensor gambar ponsel pintar. Ia memiliki jajaran kamera mirrorless premium yang sangat sukses dan sering dianggap sebagai standar emas. Kecepatan inovasinya yang tiada henti tidak menunjukkan tanda-tanda akan berhenti, karena kini mereka telah mengumumkan peluncuran sensor gambar pertamanya dengan pemrosesan AI, masing-masing IMX500 dan IMX501.
Sony IMX500 dan IMX501 adalah dua model sensor penglihatan cerdas yang akan datang. Sony mengklaim ini adalah sensor gambar pertama di dunia yang dilengkapi dengan fungsi pemrosesan AI. Perusahaan mengatakan bahwa memasukkan fungsi pemrosesan AI pada sensor gambar itu sendiri memungkinkan pemrosesan AI tepi berkecepatan tinggi dan ekstraksi hanya data yang diperlukan. Hal ini mengurangi latensi transmisi data, mengatasi masalah privasi, dan mengurangi konsumsi daya dan biaya komunikasi dibandingkan dengan menggunakan layanan cloud.
Penting untuk diperhatikan bahwa kedua sensor ini tidak ditujukan untuk kamera ponsel. Sebaliknya, aplikasinya berada di industri ritel dan peralatan industri serta berkontribusi dalam membangun “sistem optimal” yang terhubung dengan cloud.
Mengapa pemrosesan AI terintegrasi dengan sensor itu sendiri? Sony menjelaskan bahwa penyebaran IoT telah mengakibatkan semua jenis perangkat terhubung ke cloud, sehingga membuat banyak orang terkoneksi dengan cloud sistem pemrosesan informasi yang lazim, dimana informasi yang diperoleh dari perangkat tersebut diproses melalui AI di awan. Masalah yang terkait dengan pendekatan tersebut adalah peningkatan latensi transmisi data yang menghambat pemrosesan informasi secara real-time; masalah keamanan dari pengguna yang terkait dengan penyimpanan data identitas pribadi di cloud; dan masalah lain seperti peningkatan konsumsi daya dan biaya komunikasi yang timbul dari layanan cloud.
IMX500 dan IMX501 memiliki fitur konfigurasi bertumpuk, yang terdiri dari chip piksel dan chip logika. Fungsi analisis dan pemrosesan gambar AI dilengkapi pada chip logika. Sinyal yang diperoleh oleh chip piksel diproses melalui AI pada sensor, sehingga menghilangkan kebutuhan akan prosesor berkinerja tinggi atau memori eksternal. Hal ini, pada gilirannya, memungkinkan pengembangan sistem AI edge.
Sensor mengeluarkan metadata, bukan informasi gambar, sehingga mengurangi volume data dan mengatasi masalah privasi. Kemampuan AI memungkinkan aplikasi seperti pelacakan objek real-time dengan pemrosesan AI berkecepatan tinggi. Model AI yang berbeda dapat dipilih dengan menulis ulang memori internal sesuai dengan kebutuhan pengguna atau kondisi lokasi dimana sistem digunakan.
Chip piksel dari sensor ini memiliki BSI dan memiliki sekitar 12,3 MP efektif untuk menangkap informasi. Format optiknya adalah 1/2,3" (diagonal 7,857mm) dengan ukuran piksel 1,55 mikron. Mereka memiliki rangkaian filter warna Bayer. Sensornya mampu merekam video 4K pada 60fps tanpa pemrosesan AI dan perekaman video 4K pada 30fps dengan pemrosesan AI. Chip lokal tersebut juga melengkapi DSP asli Sony selain rangkaian operasi sensor gambar konvensional. DSP didedikasikan untuk pemrosesan sinyal AI serta memori untuk model AI. Dengan ini, prosesor berkinerja tinggi dan memori eksternal tidak diperlukan, sehingga menguntungkan sistem edge AI.
Alur kerja sensor gambar dijelaskan oleh Sony. Sinyal yang diperoleh oleh chip piksel dijalankan melalui ISP, dan pemrosesan AI dilakukan pada tahap proses di chip logika, dengan informasi yang diekstraksi dikeluarkan dalam bentuk metadata, yang mengurangi jumlah data ditangani. Informasi gambar sebenarnya tidak dikeluarkan, sehingga bermanfaat untuk keamanan dan privasi. Pengguna dapat memilih format keluaran data termasuk gambar berformat ISP (YUV/RGB) dan gambar ekstrak area tertentu ROI (Region of Interest).
Sony juga mempromosikan kecepatan. Dikatakan bahwa ketika video direkam menggunakan sensor gambar konvensional, maka perlu mengirimkan data untuk setiap individu bingkai keluaran untuk pemrosesan AI, yang menghasilkan peningkatan transmisi data dan mempersulit pencapaian waktu nyata pertunjukan. Sebaliknya, sensor IMX baru melakukan pemrosesan ISP dan pemrosesan AI berkecepatan tinggi (3,1 ms pemrosesan untuk MobileNet V1*2) pada chip logika, sehingga menyelesaikan seluruh proses dalam satu video bingkai. Hal ini, pada gilirannya, memungkinkan untuk memberikan "pelacakan objek secara real-time dan presisi tinggi saat merekam video", menurut Sony.
Terakhir, pengguna dapat menulis model AI pilihan mereka ke memori tertanam dan memperbaruinya sesuai dengan kebutuhan atau kondisi lokasi di mana sistem digunakan. Sony memberikan contoh beberapa kamera yang menggunakan produk ini dipasang di lokasi ritel, dan satu jenis kamera dapat digunakan dengan fleksibilitas di berbagai lokasi, waktu, dan tujuan. Jika kamera dipasang di pintu masuk fasilitas, kamera dapat digunakan untuk menghitung jumlah pengunjung yang memasuki fasilitas; bila dipasang di rak toko, dapat digunakan untuk mendeteksi kekurangan stok; bila di plafon bisa digunakan untuk pemetaan panas pengunjung toko, dan lain sebagainya. Model AI dalam kamera tertentu dapat ditulis ulang dari model yang digunakan untuk mendeteksi peta panas menjadi model untuk mengidentifikasi perilaku konsumen.
Tampaknya, pengumuman peluncuran sensor gambar mendatang memang merupakan pencapaian yang luar biasa. Namun, hal ini mempunyai implikasi tersendiri terhadap pengawasan. Saat ini, sensor tersebut ditujukan untuk solusi berdaya rendah seperti kamera keamanan. Kamera ponsel pintar mungkin akan menggunakan teknologi ini dalam beberapa tahun ke depan, tetapi teknologi ini belum tersedia untuk saat ini karena keterbatasan karena chip logika yang tertanam tidak dapat menandingi keserbagunaan yang ditawarkan oleh ISP modern (seperti spektrum ISP di SoC Qualcomm Snapdragon). Saat ini, fungsi kamera smartphone berbeda, dimana sensornya sendiri relatif bodoh dan berfungsi dengan ISP pintar yang ditemukan sebagai bagian dari SoC ponsel. ISP melakukan semua pekerjaan pemrosesan gambar, yang berarti peran sebenarnya dari sensor itu sendiri sangat terbatas dalam kamera ponsel cerdas modern (pemrosesan gambar lebih penting daripada memiliki perangkat keras kamera yang bagus untuk mengambil gambar kualitas). Fotografi komputasional adalah kata kunci baru, tetapi di dunia industri, IMX500 dan IMX501 berupaya menghadirkan keunggulan pemrosesan AI pada sensor itu sendiri.
IMX500 dan IMX501 rencananya akan diluncurkan pada produk tahun depan. Sony berencana merilis sampel produknya masing-masing pada bulan April dan Juni 2020. Untuk informasi lebih lanjut mengenai spesifikasinya, pembaca disarankan untuk membaca link sumbernya.
Sumber: Sony