V nedávném příspěvku na blogu Google podrobně popsal technologii, která stojí za novou funkcí Portrait Light, která debutovala s Pixel 5 a Pixel 4a 5G.
Po několika únikech a fámách Google konečně letos v září představil Pixel 5 a Pixel 4a 5G. Jak se dalo očekávat, zařízení přišla s řadou nové funkce Fotoaparátu Google které je odlišuje od ostatních telefonů Android na trhu. Patří mezi ně Cinematic Pan pro plynulé posouvání videí, režimy uzamčené a aktivní stabilizace, Noc Podpora zraku v režimu Portrét a funkce Portrétové světlo pro úpravu osvětlení portrétních snímků automaticky. Několik týdnů po spuštění Google uvolnil většinu těchto funkcí pro starší zařízení Pixel prostřednictvím aktualizace Fotek Google. A nyní společnost sdílela některé podrobnosti o technologii, která stojí za funkcí Portrait Light.
Podle nedávného blogový příspěvek od společnosti byla funkce Portrétní světlo inspirována světly mimo fotoaparát používanými portrétními fotografy. Vylepšuje portrétní snímky modelováním přemístitelného zdroje světla, který lze přidat do scény. Po automatickém přidání zdroj umělého světla automaticky upraví směr a intenzitu tak, aby doplnil stávající osvětlení fotografie pomocí strojového učení.
Jak vysvětluje Google, tato funkce využívá nové modely strojového učení, které byly trénovány pomocí různých datových souborů fotografií zachycených v Světelná scéna výpočetní osvětlovací systém. Tyto modely umožňují dvě možnosti algoritmu:
- Automatické umístění směrového světla: Na základě algoritmu strojového učení funkce automaticky umístí umělé světlo zdroj světla, který je v souladu s tím, jak by profesionální fotograf umístil zdroj světla mimo fotoaparát do skutečnosti svět.
- Syntetické přesvícení po zachycení: Na základě směru a intenzity stávajícího světla v a Při portrétním snímku přidává algoritmus strojového učení syntetické světlo, které vypadá realisticky a přírodní.
Pro automatické umístění směrového světla Google vycvičil model strojového učení, aby odhadl a s vysokým dynamickým rozsahem, všesměrový profil osvětlení pro scénu založený na vstupním portrétu. Tento nový model odhadu osvětlení dokáže najít směr, relativní intenzitu a barvu všech světelných zdrojů na scéně přicházejících ze všech směrů, přičemž obličej považuje za světelná sonda. Také odhaduje pozici hlavy subjektu pomocí a Síťovina na obličej MediaPipe. Na základě výše uvedených dat pak algoritmus určí směr pro syntetické světlo.
Jakmile je určen směr a intenzita syntetického osvětlení, další model strojového učení přidá syntetický zdroj světla k původní fotografii. Druhý model byl trénován pomocí milionů párů portrétů, a to jak s přídavnými světly, tak bez nich. Tato datová sada byla vytvořena fotografováním sedmdesáti různých lidí pomocí výpočetního osvětlovacího systému Light Stage, což je kulové osvětlovací zařízení, které obsahuje 64 kamer s různými úhly pohledu a 331 individuálně programovatelných LED světel Zdroje.
Každý ze sedmdesáti subjektů byl zachycen při osvícení jedním světlem za čas (OLAT) každou z 331 LED. To vytvořilo jejich odrazové pole, tj. jejich vzhled osvětlený diskrétními úseky sférického prostředí. Pole odrazivosti zakódovalo jedinečnou barvu a vlastnosti odrážející světlo pokožky, vlasů a oblečení subjektu a určilo, jak lesklý nebo matný se každý materiál na fotografiích jeví.
Tyto obrázky OLAT byly poté lineárně sčítány, aby se vykreslily realistické obrázky předmětu tak, jak by se objevily na kterémkoli jiném obrazové osvětlení prostředíse složitými jevy přenosu světla, jako je podpovrchový rozptyl správně zastoupena.
Místo toho, aby trénoval algoritmus strojového učení k přímému předpovídání výstupních relit obrázků, Google trénoval model tak, aby poskytoval výstup s nízkým rozlišením. podílový obrázek které by bylo možné použít na původní vstupní obraz a vytvořit požadovaný výstup. Tato metoda je výpočetně efektivní a podporuje pouze nízkofrekvenční změny osvětlení bez ovlivnění vysokofrekvenčních detailů obrazu, které jsou přímo přenášeny ze vstupního obrazu, aby se zachovaly kvalitní.
Kromě toho Google vycvičil model strojového učení, aby napodobil optické chování světelných zdrojů odrážejících se od relativně matných povrchů. Za tímto účelem společnost vycvičila model tak, aby odhadl normály povrchu dané vstupní fotografií, a poté jej použil Lambertův zákon pro výpočet "mapy viditelnosti světla" pro požadovaný směr osvětlení. Tato mapa viditelnosti světla je pak poskytnuta jako vstup do kvocientového obrazového prediktoru, aby bylo zajištěno, že model bude trénován pomocí fyzikálních poznatků.
I když se to všechno může zdát jako zdlouhavý proces, jehož zpracování by hardwaru střední třídy Pixelu 5 zabralo docela dost času, Google tvrdí, že funkce Portrait Light byla optimalizována tak, aby fungovala při interaktivních frekvencích snímků na mobilních zařízeních s celkovou velikostí modelu menší než 10 MB.