V nedavni objavi v blogu je Google podrobno opisal tehnologijo za novo funkcijo Portrait Light, ki je debitirala s Pixel 5 in Pixel 4a 5G.
Po več uhajanjih informacij in govoricah je Google septembra letos končno predstavil Pixel 5 in Pixel 4a 5G. Kot je bilo pričakovano, so bile naprave opremljene z množico nove funkcije Google Camera ki jih ločijo od drugih telefonov Android na trgu. Ti vključujejo Cinematic Pan za premikanje videoposnetkov brez tresenja, načina zaklenjene in aktivne stabilizacije, noč Podpora za vid v portretnem načinu in funkcija portretne svetlobe za prilagoditev osvetlitve portretnih posnetkov samodejno. Nekaj tednov po predstavitvi je Google izdal večino teh funkcij za starejših napravah Pixel prek posodobitve Google Photos. In zdaj je podjetje delilo nekaj podrobnosti o tehnologiji, ki stoji za funkcijo Portrait Light.
Glede na nedavno blog objava iz podjetja je bila funkcija Portrait Light navdihnjena z lučmi zunaj kamere, ki jih uporabljajo portretni fotografi. Izboljša portretne posnetke z modeliranjem prestavljivega vira svetlobe, ki ga je mogoče dodati prizorišču. Ko je dodan samodejno, umetni vir svetlobe samodejno prilagodi smer in intenzivnost, da dopolni obstoječo osvetlitev fotografije s pomočjo strojnega učenja.
Kot pojasnjuje Google, funkcija uporablja nove modele strojnega učenja, ki so bili usposobljeni z uporabo raznolikega nabora podatkov fotografij, posnetih v Lahka faza računalniški sistem osvetlitve. Ti modeli omogočajo dve algoritemski zmogljivosti:
- Samodejna usmerjena postavitev svetlobe: Na podlagi algoritma strojnega učenja funkcija samodejno postavi umetno svetlobni vir, ki je skladen s tem, kako bi profesionalni fotograf postavil svetlobni vir zunaj kamere v realno svetu.
- Sintetična ponovna osvetlitev po zajemu: na podlagi smeri in jakosti obstoječe svetlobe v portretnem posnetku, algoritem strojnega učenja doda sintetično svetlobo, ki je videti realistična in naravno.
Za samodejno usmerjeno postavitev svetlobe je Google usposobil model strojnega učenja za oceno a visok dinamični razpon, profil vsesmerne osvetlitve za prizor, ki temelji na vhodnem portretu. To novo model ocenjevanja osvetlitve lahko najde smer, relativno intenzivnost in barvo vseh svetlobnih virov v prizoru, ki prihajajo iz vseh smeri, pri čemer upošteva obraz kot svetlobna sonda. Prav tako oceni glavno mesto subjekta z uporabo a Mreža za obraz MediaPipe. Na podlagi prej omenjenih podatkov algoritem nato določi smer za sintetično svetlobo.
Ko sta določena smer in intenzivnost sintetične osvetlitve, naslednji model strojnega učenja izvorni fotografiji doda sintetični vir svetlobe. Drugi model je bil usposobljen z uporabo milijonov parov portretov, tako z dodatnimi lučmi kot brez njih. Ta nabor podatkov je bil ustvarjen s fotografiranjem sedemdesetih različnih ljudi z uporabo računalniškega osvetlitvenega sistema Light Stage, ki je sferična razsvetljava, ki vključuje 64 kamer z različnimi zornimi koti in 331 individualno programljivih LED luči viri.
Vsak od sedemdesetih subjektov je bil zajet, medtem ko je bil osvetljen z eno svetlobo naenkrat (OLAT) z vsako od 331 LED. To je ustvarilo njihovo odbojno polje, tj. njihov videz, kot ga osvetljujejo diskretni odseki sferičnega okolja. Odbojno polje je kodiralo edinstveno barvo in lastnosti odboja svetlobe subjektove kože, las in oblačil ter določilo, kako sijoč ali moten je posamezen material videti na fotografijah.
Te slike OLAT so bile nato linearno seštete, da so bile prikazane realistične slike subjekta, kot bi se pojavile v kateri koli slikovno svetlobno okolje, s kompleksnimi pojavi prenosa svetlobe, kot je podpovršinsko razprševanje pravilno predstavljeno.
Potem, namesto da bi usposobil algoritem strojnega učenja za neposredno napovedovanje izhodnih ponovnih osvetlitev, je Google usposobil model za izpis nizke ločljivosti kvocient slike ki bi ga lahko uporabili za izvirno vhodno sliko, da bi ustvarili želeni rezultat. Ta metoda je računsko učinkovita in spodbuja samo nizkofrekvenčne spremembe osvetlitve brez vpliva na visokofrekvenčne podrobnosti slike, ki se neposredno prenesejo iz vhodne slike za vzdrževanje kakovosti.
Poleg tega je Google usposobil model strojnega učenja za posnemanje optičnega obnašanja svetlobnih virov, ki se odbijajo od relativno matiranih površin. Da bi to naredili, je podjetje usposobilo model za oceno normalnih površin glede na vhodno fotografijo in nato uporabilo Lambertov zakon za izračun "karte vidnosti svetlobe" za želeno smer svetlobe. Ta zemljevid vidnosti svetlobe je nato zagotovljen kot vhod v napovedovalec slike kvocienta, da se zagotovi, da se model usposobi z uporabo vpogledov, ki temeljijo na fiziki.
Čeprav se vse to morda zdi dolgotrajen proces, ki bi strojni opremi Pixel 5 srednjega razreda vzel kar nekaj časa za obdelavo, Google trdi, da je bila funkcija Portrait Light optimizirana za delovanje pri interaktivnih hitrostih sličic v mobilnih napravah, s skupno velikostjo modela pod 10 MB.