Egy nemrégiben megjelent blogbejegyzésben a Google részletezte a Pixel 5 és Pixel 4a 5G telefonokkal debütált új Portré Light funkció mögött meghúzódó technológiát.
Számos kiszivárogtatás és pletyka után a Google végül az év elején, szeptemberben bemutatta a Pixel 5-öt és a Pixel 4a 5G-t. Ahogy az várható volt, az eszközökhöz számos tartozék tartozott a Google Fényképezőgép új funkciói amelyek megkülönböztetik őket a piacon lévő többi Android telefontól. Ezek közé tartozik a Cinematic Pan a rázkódásmentes pásztázáshoz a videókon, a zárolt és az aktív stabilizációs mód, az éjszakai Látványtámogatás Portré módban, és Portréfény funkció a portréképek megvilágításának beállításához automatikusan. Néhány héttel az indulás után a Google kiadta a legtöbb ilyen funkciót régebbi Pixel eszközök a Google Fotók frissítésén keresztül. És most a cég megosztott néhány részletet a Portré Light funkció mögött meghúzódó technológiáról.
A közelmúlt szerint blog bejegyzés a cégtől a portréfény funkciót a portréfotósok által használt fényképezőgépen kívüli lámpák ihlették. Javítja a portréképeket egy áthelyezhető fényforrás modellezésével, amely hozzáadható a jelenethez. Ha automatikusan hozzáadódik, a mesterséges fényforrás automatikusan beállítja az irányt és az intenzitást, hogy a gépi tanulás segítségével kiegészítse a fénykép meglévő megvilágítását.
Amint a Google kifejti, a funkció új gépi tanulási modelleket használ, amelyeket a programban rögzített fényképek sokféle adatkészletével képeztek ki. Fényszínpad számítógépes megvilágítási rendszer. Ezek a modellek két algoritmikus képességet tesznek lehetővé:
- Automatikus irányított fényelhelyezés: A gépi tanulási algoritmus alapján a funkció automatikusan elhelyez egy mesterséges fényt fényforrás, amely összhangban van azzal, ahogy egy profi fotós a fényképezőgépen kívüli fényforrást a valóságban helyezte volna el világ.
- Szintetikus utólagos újravilágítás: a meglévő fény iránya és intenzitása alapján portré felvételnél a gépi tanulási algoritmus olyan szintetikus fényt ad hozzá, amely valósághűnek tűnik és természetes.
Az automatikus irányított fényelhelyezéshez a Google kiképzett egy gépi tanulási modellt az a nagy dinamikatartomány, mindenirányú megvilágítási profil egy bemeneti portrén alapuló jelenethez. Ez az új világításbecslési modell meg tudja találni a jelenet minden irányából érkező fényforrásának irányát, relatív intenzitását és színét, figyelembe véve az arcot fényszonda. Az alany fejoszlopát is megbecsüli a segítségével MediaPipe Face Mesh. A fent említett adatok alapján az algoritmus ezután meghatározza a szintetikus fény irányát.
A szintetikus világítás irányának és intenzitásának megállapítása után a következő gépi tanulási modell hozzáadja a szintetikus fényforrást az eredeti fényképhez. A második modell több millió portrépár felhasználásával készült, extra lámpákkal és anélkül is. Ezt az adatkészletet hetven különböző ember fényképezésével hozták létre a Light Stage számítógépes megvilágítási rendszerrel, amely egy gömb alakú világító berendezés, amely 64 különböző nézőpontú kamerát és 331 egyedileg programozható LED lámpát tartalmaz források.
Mind a hetven témát megörökítették, miközben a 331 LED mindegyike egy-egy fényt (OLAT) megvilágított. Ez generálta őket reflexiós mező, azaz a gömbkörnyezet diszkrét szakaszai által megvilágított megjelenésük. A reflexiós mező kódolta az alany bőrének, hajának és ruházatának egyedi színét és fényvisszaverő tulajdonságait, és meghatározta, hogy az egyes anyagok mennyire fényesek vagy fénytelenek a fényképeken.
Ezeket az OLAT-képeket azután lineárisan összeadták, hogy valósághű képet kapjanak a témáról, ahogyan azok bármelyikben megjelennének kép alapú világítási környezet, komplex fényszállítási jelenségekkel, mint felszín alatti szóródás helyesen ábrázolva.
Ezután ahelyett, hogy a gépi tanulási algoritmust betanította volna a kimeneti újravilágított képek közvetlen előrejelzésére, a Google arra tanította a modellt, hogy alacsony felbontást adjon ki. hányados kép amelyeket az eredeti bemeneti képre lehet alkalmazni a kívánt kimenet létrehozásához. Ez a módszer számítási szempontból hatékony, és csak alacsony frekvenciájú világítási változtatásokat ösztönöz anélkül befolyásolja a nagyfrekvenciás képrészleteket, amelyeket közvetlenül a bemeneti képről továbbítanak a karbantartás érdekében minőség.
Ezenkívül a Google kifejlesztett egy gépi tanulási modellt a viszonylag matt felületekről visszaverődő fényforrások optikai viselkedésének emulálására. Ennek érdekében a vállalat betanította a modellt, hogy megbecsülje a felületi normálértékeket a bemeneti fotó alapján, majd alkalmazta Lambert törvénye a kívánt világítási irány "fényláthatósági térképének" kiszámításához. Ezt a fényláthatósági térképet ezután bemenetként adjuk meg a hányados kép-előrejelzőhöz, így biztosítva, hogy a modell fizikai alapú betekintést használjon.
Bár mindez hosszadalmas folyamatnak tűnhet, aminek a feldolgozása a Pixel 5 középkategóriás hardverének elég sok időt vesz igénybe, a Google azt állítja, hogy a portréfény funkciót úgy optimalizálták, hogy interaktív képkockasebességgel futhasson mobileszközökön, a teljes modellméret alatt 10 MB.