Dalam postingan blog baru-baru ini, Google telah merinci teknologi di balik fitur Portrait Light baru yang memulai debutnya dengan Pixel 5 dan Pixel 4a 5G.
Setelah beberapa bocoran dan rumor, Google akhirnya meluncurkan Pixel 5 dan Pixel 4a 5G awal tahun ini pada bulan September. Seperti yang diharapkan, perangkat tersebut hadir dengan sejumlah fitur Google Kamera baru yang membedakannya dari ponsel Android lain di pasaran. Ini termasuk Cinematic Pan untuk menggeser video tanpa goyang, mode Terkunci dan Stabilisasi Aktif, Malam Dukungan penglihatan dalam Mode Potret, dan fitur Cahaya Potret untuk mengatur pencahayaan hasil jepretan potret secara otomatis. Beberapa minggu setelah peluncuran, Google merilis sebagian besar fitur ini untuk perangkat Pixel lama melalui pembaruan Google Foto. Dan kini, perusahaan telah membagikan beberapa detail mengenai teknologi di balik fitur Portrait Light.
Sesuai baru-baru ini postingan blog dari perusahaan, fitur Portrait Light terinspirasi dari lampu di luar kamera yang digunakan oleh fotografer potret. Ini menyempurnakan bidikan potret dengan memodelkan sumber cahaya yang dapat diubah posisinya dan dapat ditambahkan ke pemandangan. Ketika ditambahkan secara otomatis, sumber cahaya buatan secara otomatis menyesuaikan arah dan intensitas untuk melengkapi pencahayaan foto yang ada menggunakan pembelajaran mesin.
Seperti yang dijelaskan Google, fitur ini memanfaatkan model pembelajaran mesin baru yang dilatih menggunakan beragam kumpulan data foto yang diambil di dalamnya Panggung Cahaya sistem penerangan komputasi. Model ini mengaktifkan dua kemampuan algoritmik:
- Penempatan lampu arah otomatis: Berdasarkan algoritma pembelajaran mesin, fitur ini secara otomatis menempatkan lampu buatan sumber cahaya yang konsisten dengan cara fotografer profesional menempatkan sumber cahaya di luar kamera secara nyata dunia.
- Penerangan ulang pasca-penangkapan sintetik: Berdasarkan arah dan intensitas cahaya yang ada di a bidikan potret, algoritme pembelajaran mesin menambahkan cahaya sintetis yang terlihat realistis dan alami.
Untuk penempatan cahaya terarah otomatis, Google melatih model pembelajaran mesin untuk memperkirakan a rentang dinamis tinggi, profil iluminasi segala arah untuk pemandangan berdasarkan potret masukan. Ini baru model estimasi pencahayaan dapat menemukan arah, intensitas relatif, dan warna semua sumber cahaya dalam pemandangan yang datang dari segala arah, dengan menganggap wajah sebagai a pemeriksaan cahaya. Ini juga memperkirakan posisi kepala subjek menggunakan a Jaring Wajah MediaPipe. Berdasarkan data di atas, algoritma kemudian menentukan arah cahaya sintetis.
Setelah arah dan intensitas pencahayaan sintetis ditentukan, model pembelajaran mesin berikutnya menambahkan sumber cahaya sintetis ke foto asli. Model kedua dilatih menggunakan jutaan pasang potret, baik dengan atau tanpa lampu tambahan. Kumpulan data ini dihasilkan dengan memotret tujuh puluh orang berbeda menggunakan sistem pencahayaan komputasi Light Stage, yang merupakan perlengkapan pencahayaan berbentuk bola yang mencakup 64 kamera dengan sudut pandang berbeda dan 331 lampu LED yang dapat diprogram secara individual sumber.
Masing-masing dari tujuh puluh subjek ditangkap sambil diterangi satu cahaya pada satu waktu (OLAT) oleh masing-masing 331 LED. Hal ini menghasilkan mereka bidang reflektansi, yaitu penampakannya yang diterangi oleh bagian-bagian terpisah dari lingkungan bola. Bidang reflektansi mengkodekan warna unik dan sifat memantulkan cahaya pada kulit, rambut, dan pakaian subjek serta menentukan seberapa berkilau atau kusamnya setiap bahan yang tampak dalam foto.
Gambar-gambar OLAT ini kemudian ditambahkan secara linier untuk menghasilkan gambar subjek yang realistis seperti yang terlihat di gambar mana pun lingkungan pencahayaan berbasis gambar, dengan fenomena transportasi cahaya yang kompleks seperti hamburan bawah permukaan terwakili dengan benar.
Kemudian, alih-alih melatih algoritme pembelajaran mesin untuk memprediksi keluaran gambar relit secara langsung, Google melatih model tersebut untuk menghasilkan keluaran resolusi rendah gambar hasil bagi yang dapat diterapkan pada gambar masukan asli untuk menghasilkan keluaran yang diinginkan. Metode ini efisien secara komputasi dan hanya mendorong perubahan pencahayaan frekuensi rendah memengaruhi detail gambar berfrekuensi tinggi yang ditransfer langsung dari gambar masukan untuk dipertahankan kualitas.
Selain itu, Google melatih model pembelajaran mesin untuk meniru perilaku optik sumber cahaya yang dipantulkan pada permukaan yang relatif matte. Untuk melakukannya, perusahaan melatih model untuk memperkirakan normal permukaan dengan memasukkan foto dan kemudian menerapkannya hukum Lambert untuk menghitung "peta visibilitas cahaya" untuk arah pencahayaan yang diinginkan. Peta visibilitas cahaya ini kemudian diberikan sebagai masukan ke prediktor gambar hasil bagi untuk memastikan bahwa model dilatih menggunakan wawasan berbasis fisika.
Meskipun semua ini mungkin tampak seperti proses panjang yang memerlukan sedikit waktu untuk memproses perangkat keras kelas menengah Pixel 5, Google mengklaim bahwa fitur Portrait Light dioptimalkan untuk berjalan pada frame rate interaktif di perangkat seluler, dengan total ukuran model di bawah 10MB.