Hiljutises ajaveebipostituses kirjeldas Google üksikasjalikult Pixel 5 ja Pixel 4a 5G-ga debüteerinud uue portreevalguse funktsiooni taga olevat tehnoloogiat.
Pärast mitmeid lekkeid ja kuulujutte avalikustas Google lõpuks selle aasta alguses septembris Pixel 5 ja Pixel 4a 5G. Nagu oodatud, oli seadmetega kaasas palju uued Google'i kaamera funktsioonid mis eristavad neid teistest turul olevatest Android-telefonidest. Nende hulka kuuluvad Cinematic Pan videote raputamisevabaks panoraamimiseks, lukustatud ja aktiivse stabiliseerimise režiimid, öö Portreerežiimis nägemistugi ja portreevalgustuse funktsioon portreepiltide valgustuse reguleerimiseks automaatselt. Mõni nädal pärast käivitamist andis Google välja enamiku nendest funktsioonidest vanemad Pixeli seadmed Google Photos värskenduse kaudu. Ja nüüd on ettevõte jaganud mõningaid üksikasju portreevalguse funktsiooni taga oleva tehnoloogia kohta.
Nagu hiljutine ajaveebi postitus ettevõtte portreevalgustuse funktsioon on inspireeritud portreefotograafide poolt kasutatavatest kaameravälistest valgustitest. See täiustab portreevõtteid, modelleerides ümberpaigutatavat valgusallikat, mida saab stseenile lisada. Kui kunstlik valgusallikas lisatakse automaatselt, reguleerib see automaatselt suunda ja intensiivsust, et täiendada foto olemasolevat valgustust, kasutades masinõpet.
Nagu Google selgitab, kasutab see funktsioon uudseid masinõppemudeleid, mida koolitati mitmekesist fotode andmestikku kasutades, mis on jäädvustatud Valguslava arvutuslik valgustussüsteem. Need mudelid võimaldavad kahte algoritmilist võimalust:
- Automaatne suunatud valguse paigutus: masinõppe algoritmi alusel asetab funktsioon automaatselt kunstliku valguse valgusallikas, mis on kooskõlas sellega, kuidas professionaalne fotograaf oleks paigutanud kaameravälise valgusallika tegelikkusse maailmas.
- Sünteetiline pildistamisjärgne taasvalgustus: põhineb olemasoleva valguse suunal ja intensiivsusel portreevõttel lisab masinõppe algoritm sünteetilise valguse, mis näeb välja realistlik ja loomulik.
Suunatud valguse automaatse paigutuse jaoks koolitas Google masinõppe mudelit, et hinnata a kõrge dünaamiline ulatus, sisendportreel põhineva stseeni mitmesuunaline valgustusprofiil. See uus valgustuse hinnanguline mudel suudab leida stseeni kõigist suundadest tulevate valgusallikate suuna, suhtelise intensiivsuse ja värvi, võttes nägu kui valgussond. Samuti hindab see subjekti peaposti, kasutades a MediaPipe näovõrk. Algoritm määrab seejärel eelnimetatud andmete põhjal sünteetilise valguse suuna.
Kui sünteetilise valgustuse suund ja intensiivsus on kindlaks määratud, lisab järgmine masinõppemudel algsele fotole sünteetilise valgusallika. Teise mudeli väljaõppeks kasutati miljoneid portreepaari, nii lisatuledega kui ka ilma. See andmestik loodi seitsmekümne erineva inimese pildistamisel Light Stage'i arvutusliku valgustussüsteemi abil, mis on sfääriline valgustusseade, mis sisaldab 64 erineva vaatenurgaga kaamerat ja 331 individuaalselt programmeeritavat LED-valgustit allikatest.
Kõik seitsekümmend objekti jäädvustati valgustatud üks valgus korraga (OLAT) iga 331 LED-iga. See tekitas nende peegeldusvälist nende välimust valgustatud sfäärilise keskkonna diskreetsete osade poolt. Peegeldusväli kodeeris subjekti naha, juuste ja riiete ainulaadsed värvi- ja valgustpeegeldavad omadused ning määras kindlaks, kui läikiv või tuhm iga materjal fotodel näis.
Need OLAT-kujutised liideti seejärel lineaarselt kokku, et muuta objektist realistlikud kujutised, nagu need igal juhul ilmuksid pildipõhine valguskeskkond, keeruliste kerge transpordi nähtustega nagu maa-alune hajumine õigesti esindatud.
Seejärel selle asemel, et õpetada masinõppe algoritmi väljundi taasvalgustatud kujutisi otse ennustama, õpetas Google mudelit väljastama madala eraldusvõimega jagatispilt mida saab soovitud väljundi saamiseks rakendada algsele sisendpildile. See meetod on arvutuslikult tõhus ja soodustab ainult madala sagedusega valgustuse muutusi ilma mõjutades kõrgsagedusliku kujutise detaile, mis edastatakse otse sisendpildilt, et säilitada kvaliteet.
Lisaks õpetas Google välja masinõppemudeli, et jäljendada suhteliselt mattidelt pindadelt peegelduvate valgusallikate optilist käitumist. Selleks koolitas ettevõte mudelit sisendfoto põhjal pinnanormaalide hindamiseks ja seejärel rakendas Lamberti seadus soovitud valgustussuuna "valguse nähtavuse kaardi" arvutamiseks. See valguse nähtavuse kaart antakse seejärel jagatiskujutise ennustajale sisendina, et tagada mudeli koolitamine füüsikapõhiste arusaamade abil.
Kuigi see kõik võib tunduda pika protsessina, mis võtab Pixel 5 keskklassi riistvara töötlemiseks üsna palju aega, Google väidab, et portreevalguse funktsioon on optimeeritud töötama interaktiivse kaadrisagedusega mobiilseadmetes, mudeli kogumahuga alla 10 MB.