Yakın zamanda yayınlanan bir blog yazısında Google, Pixel 5 ve Pixel 4a 5G ile birlikte kullanıma sunulan yeni Portre Işığı özelliğinin arkasındaki teknolojiyi ayrıntılı olarak açıkladı.
Birkaç sızıntı ve söylentinin ardından Google nihayet bu yılın başlarında Eylül ayında Pixel 5 ve Pixel 4a 5G'yi tanıttı. Beklendiği gibi, cihazlar bir dizi özellik ile birlikte geldi. yeni Google Kamera özellikleri Bu onları piyasadaki diğer Android telefonlardan ayırıyor. Bunlar arasında videolarda sarsıntısız kaydırma için Sinematik Kaydırma, Kilitli ve Aktif Sabitleme modları, Gece Portre Modunda görüş desteği ve portre çekimlerinin aydınlatmasını ayarlamak için Portre Işığı özelliği otomatik olarak. Lansmandan birkaç hafta sonra Google, bu özelliklerin çoğunu daha eski Pixel cihazlar Google Foto güncellemesi aracılığıyla. Ve şimdi şirket, Portre Işığı özelliğinin arkasındaki teknolojiyle ilgili bazı ayrıntıları paylaştı.
Yakın tarihli bir habere göre Blog yazısı Şirketin Portre Işığı özelliği, portre fotoğrafçılarının kullandığı kamera dışı ışıklardan ilham aldı. Sahneye eklenebilen, konumu değiştirilebilen bir ışık kaynağını modelleyerek portre çekimlerini geliştirir. Otomatik olarak eklendiğinde yapay ışık kaynağı, makine öğrenimini kullanarak fotoğrafın mevcut aydınlatmasını tamamlayacak şekilde yönü ve yoğunluğu otomatik olarak ayarlar.
Google'ın açıkladığı gibi bu özellik, çekilen fotoğraflardan oluşan çeşitli veri kümeleri kullanılarak eğitilen yeni makine öğrenimi modellerinden yararlanıyor. Işık Sahnesi hesaplamalı aydınlatma sistemi Bu modeller iki algoritmik yeteneği mümkün kılar:
- Otomatik yönlü ışık yerleştirme: Makine öğrenimi algoritmasını temel alan bu özellik, otomatik olarak yapay bir ışık yerleştirir. profesyonel bir fotoğrafçının kamera dışındaki bir ışık kaynağını gerçek ortama nasıl yerleştireceğiyle tutarlı bir ışık kaynağı dünya.
- Sentetik yakalama sonrası yeniden aydınlatma: Bir görüntüdeki mevcut ışığın yönüne ve yoğunluğuna dayalıdır. Portre çekimine, makine öğrenimi algoritması gerçekçi görünen sentetik bir ışık ekler ve doğal.
Otomatik yönlü ışık yerleşimi için Google, bir makine öğrenimi modelini eğiterek bir yüksek dinamik aralık, giriş portresini temel alan bir sahne için çok yönlü aydınlatma profili. Bu yeni aydınlatma tahmin modeli Yüzü bir nesne olarak kabul ederek, sahnedeki tüm yönlerden gelen tüm ışık kaynaklarının yönünü, bağıl yoğunluğunu ve rengini bulabilir. ışık probu. Aynı zamanda bir nesnenin baş direğini de tahmin eder. MediaPipe Yüz Mesh. Algoritma daha sonra yukarıda belirtilen verilere dayanarak sentetik ışığın yönünü belirliyor.
Sentetik aydınlatmanın yönü ve yoğunluğu belirlendikten sonra sonraki makine öğrenimi modeli, sentetik ışık kaynağını orijinal fotoğrafa ekler. İkinci model, hem ekstra ışıklı hem de ekstra ışıksız milyonlarca portre çifti kullanılarak eğitildi. Bu veri seti, Light Stage hesaplamalı aydınlatma sistemi kullanılarak yetmiş farklı kişinin fotoğraflanmasıyla oluşturuldu. farklı bakış açılarına sahip 64 kamera ve 331 ayrı ayrı programlanabilir LED ışık içeren küresel bir aydınlatma donanımıdır kaynaklar.
Yetmiş deneğin her biri, 331 LED'in her biri tarafından her seferinde bir ışık (OLAT) aydınlatılırken yakalandı. Bu onların yarattığı yansıma alanıyani küresel ortamın ayrı bölümleri tarafından aydınlatılan görünümleri. Yansıma alanı, deneğin cildinin, saçının ve giysisinin benzersiz rengini ve ışığı yansıtma özelliklerini kodladı ve her bir malzemenin fotoğraflarda ne kadar parlak veya donuk göründüğünü belirledi.
Bu OLAT görüntüleri daha sonra nesnenin herhangi bir ortamda görünebileceği gibi gerçekçi görüntülerini oluşturmak için doğrusal olarak bir araya getirildi. görüntü tabanlı aydınlatma ortamıgibi karmaşık hafif aktarım olaylarıyla yeraltı saçılması doğru bir şekilde temsil edilmiştir.
Daha sonra Google, makine öğrenimi algoritmasını çıktı yeniden aydınlatılmış görüntüleri doğrudan tahmin edecek şekilde eğitmek yerine, modeli düşük çözünürlüklü çıktı verecek şekilde eğitti. bölüm resmi İstenilen çıktıyı üretmek için orijinal giriş görüntüsüne uygulanabilir. Bu yöntem hesaplama açısından verimlidir ve yalnızca düşük frekanslı aydınlatma değişikliklerini teşvik eder. korumak için doğrudan giriş görüntüsünden aktarılan yüksek frekanslı görüntü ayrıntılarını etkilemek kalite.
Ayrıca Google, nispeten mat yüzeylerden yansıyan ışık kaynaklarının optik davranışını taklit etmek için bir makine öğrenimi modeli eğitti. Bunu yapmak için şirket, modeli girdi fotoğrafı verilen yüzey normallerini tahmin edecek şekilde eğitti ve ardından uyguladı. Lambert yasası İstenilen aydınlatma yönü için bir "ışık görünürlük haritası" hesaplamak. Bu ışık görünürlük haritası daha sonra, modelin fizik tabanlı bilgiler kullanılarak eğitildiğinden emin olmak için bölüm görüntü tahmincisine girdi olarak sağlanır.
Tüm bunlar, Pixel 5'in orta sınıf donanımının işlenmesi oldukça zaman alacak uzun bir süreç gibi görünse de, Google Portre Işığı özelliğinin, toplam model boyutunun altında olacak şekilde mobil cihazlarda etkileşimli kare hızlarında çalışacak şekilde optimize edildiğini iddia ediyor 10MB.