U nedavnom postu na blogu Google je detaljno opisao tehnologiju iza nove značajke Portrait Light koja je debitirala s Pixelom 5 i Pixelom 4a 5G.
Nakon nekoliko curenja informacija i glasina, Google je konačno predstavio Pixel 5 i Pixel 4a 5G ranije ove godine u rujnu. Kao što se i očekivalo, uređaji su došli s mnoštvom nove značajke Google kamere koji ih izdvajaju od ostalih Android telefona na tržištu. To uključuje Cinematic Pan za pomicanje videozapisa bez podrhtavanja, način rada zaključane i aktivne stabilizacije, noćni Podrška za vid u načinu portreta i značajka portretnog svjetla za podešavanje osvjetljenja portretnih snimaka automatski. Nekoliko tjedana nakon lansiranja, Google je objavio većinu ovih značajki za stariji Pixel uređaji putem ažuriranja Google fotografija. A sada je tvrtka podijelila neke detalje o tehnologiji iza značajke Portrait Light.
Prema nedavnom post na blogu iz tvrtke, značajka Portrait Light inspirirana je svjetlima izvan kamere koja koriste portretni fotografi. Poboljšava portretne snimke modeliranjem izvora svjetla koji se može mijenjati i koji se može dodati sceni. Kada se automatski doda, umjetni izvor svjetlosti automatski prilagođava smjer i intenzitet kako bi nadopunio postojeće osvjetljenje fotografije pomoću strojnog učenja.
Kako Google objašnjava, ova se značajka koristi novim modelima strojnog učenja koji su obučeni korištenjem različitih skupova podataka fotografija snimljenih u Lagana pozornica računalni sustav osvjetljenja. Ovi modeli omogućuju dvije algoritamske mogućnosti:
- Automatsko postavljanje usmjerenog svjetla: Na temelju algoritma strojnog učenja, značajka automatski postavlja umjetno izvor svjetla koji je u skladu s načinom na koji bi profesionalni fotograf postavio izvor svjetla izvan kamere u stvarnost svijet.
- Sintetičko ponovno osvjetljavanje nakon snimanja: Na temelju smjera i intenziteta postojećeg svjetla u portretnoj snimci, algoritam strojnog učenja dodaje sintetičko svjetlo koje izgleda realistično i prirodni.
Za automatsko postavljanje usmjerenog svjetla Google je uvježbao model strojnog učenja za procjenu a visok dinamički raspon, višesmjerni profil osvjetljenja za scenu temeljen na ulaznom portretu. Ovo novo model procjene rasvjete može pronaći smjer, relativni intenzitet i boju svih izvora svjetla u sceni koji dolaze iz svih smjerova, smatrajući lice svjetlosna sonda. Također procjenjuje položaj glave subjekta koristeći a MediaPipe mreža za lice. Na temelju gore navedenih podataka, algoritam zatim određuje smjer sintetičke svjetlosti.
Nakon što se uspostave smjer i intenzitet sintetičke rasvjete, sljedeći model strojnog učenja dodaje izvor sintetičke svjetlosti izvornoj fotografiji. Drugi model je treniran korištenjem milijuna parova portreta, sa i bez dodatnih svjetala. Ovaj skup podataka generiran je fotografiranjem sedamdeset različitih ljudi pomoću računalnog sustava osvjetljenja Light Stage, koji je sferična rasvjetna oprema koja uključuje 64 kamere s različitim točkama gledišta i 331 individualno programabilno LED svjetlo izvori.
Svaki od sedamdeset subjekata snimljen je dok je osvijetljen jednom svjetlom po jedno (OLAT) pomoću svake od 331 LED diode. Ovo je generiralo njihovu polje refleksije, tj. njihov izgled osvijetljen diskretnim dijelovima sferne okoline. Polje refleksije kodiralo je jedinstvenu boju i svojstva reflektiranja svjetlosti subjektove kože, kose i odjeće i odredilo koliko je svaki materijal sjajan ili bez sjaja na fotografijama.
Ove OLAT slike zatim su linearno zbrajane kako bi se prikazale realistične slike subjekta kakve bi se pojavile u bilo kojem svjetlosno okruženje temeljeno na slici, sa složenim fenomenima prijenosa svjetlosti poput podpovršinsko raspršivanje ispravno predstavljeno.
Zatim, umjesto da uvježba algoritam strojnog učenja da izravno predvidi izlazne osvijetljene slike, Google je uvježbao model da ispisuje nisku razlučivost kvocijentna slika koji se može primijeniti na izvornu ulaznu sliku kako bi se proizveo željeni izlaz. Ova je metoda računalno učinkovita i potiče samo promjene osvjetljenja niske frekvencije bez utjecaj na visokofrekventne detalje slike koji se izravno prenose s ulazne slike radi održavanja kvaliteta.
Nadalje, Google je uvježbao model strojnog učenja za oponašanje optičkog ponašanja izvora svjetlosti koji se reflektiraju na relativno mat površinama. Da bi to učinila, tvrtka je osposobila model za procjenu normalnih površina s obzirom na ulaznu fotografiju i zatim ga primijenila Lambertov zakon za izračunavanje "karte vidljivosti svjetla" za željeni smjer osvjetljenja. Ova mapa vidljivosti svjetla zatim se daje kao ulaz u kvocijentni prediktor slike kako bi se osiguralo da je model uvježban korištenjem uvida temeljenih na fizici.
Iako se sve ovo može činiti kao dugotrajan proces za koji bi hardveru srednje klase Pixela 5 trebalo dosta vremena da ga obradi, Google tvrdi da je značajka Portrait Light optimizirana za rad pri interaktivnoj brzini sličica u sekundi na mobilnim uređajima, s ukupnom veličinom modela ispod 10 MB.