Nesenā emuāra ziņojumā Google ir sīki aprakstījis tehnoloģiju, kas ir aiz jaunā portreta apgaismojuma funkcijas, kas debitēja ar Pixel 5 un Pixel 4a 5G.
Pēc vairākām noplūdēm un baumām Google beidzot šā gada septembrī atklāja Pixel 5 un Pixel 4a 5G. Kā gaidīts, ierīcēm tika piegādāts liels skaits jaunas Google kameras funkcijas kas tos atšķir no citiem Android tālruņiem tirgū. Tie ietver Cinematic Pan video panoramēšanai bez kratīšanas, bloķēšanas un aktīvās stabilizācijas režīmi, nakts Skatu atbalsts portreta režīmā un portreta apgaismojuma funkcija, lai pielāgotu portreta attēlu apgaismojumu automātiski. Dažas nedēļas pēc palaišanas Google izlaida lielāko daļu šo funkciju vecākas Pixel ierīces izmantojot Google fotoattēlu atjauninājumu. Un tagad uzņēmums ir dalījies ar dažām detaļām par portreta gaismas funkcijas tehnoloģiju.
Kā liecina nesen emuāra ieraksts no uzņēmuma Portrait Light funkcija tika iedvesmota no ārpuskameras gaismas, ko izmanto portretu fotogrāfi. Tas uzlabo portreta kadrus, modelējot maināmu gaismas avotu, ko var pievienot ainai. Kad mākslīgais gaismas avots tiek pievienots automātiski, tas automātiski pielāgo virzienu un intensitāti, lai papildinātu fotoattēlā esošo apgaismojumu, izmantojot mašīnmācīšanos.
Kā skaidro Google, funkcija izmanto jaunus mašīnmācīšanās modeļus, kas tika apmācīti, izmantojot daudzveidīgu fotogrāfiju datu kopu, kas uzņemtas Gaismas skatuve skaitļošanas apgaismojuma sistēma. Šie modeļi nodrošina divas algoritmiskās iespējas:
- Automātiska virziena gaismas izvietošana: pamatojoties uz mašīnmācīšanās algoritmu, funkcija automātiski izvieto mākslīgo gaismu gaismas avots, kas atbilst tam, kā profesionāls fotogrāfs būtu izvietojis gaismas avotu ārpus kameras pasaulē.
- Sintētiskais apgaismojums pēc uzņemšanas: pamatojoties uz esošās gaismas virzienu un intensitāti portreta kadrs, mašīnmācīšanās algoritms pievieno sintētisku gaismu, kas izskatās reālistisks un dabisks.
Automātiskajai virziena gaismas izvietošanai Google apmācīja mašīnmācīšanās modeli, lai novērtētu a augsts dinamiskais diapazons, daudzvirzienu apgaismojuma profils ainai, kuras pamatā ir ievades portrets. Šis jaunais apgaismojuma novērtējuma modelis var atrast visu ainas gaismas avotu virzienu, relatīvo intensitāti un krāsu, kas nāk no visiem virzieniem, ņemot vērā seju kā gaismas zonde. Tas arī novērtē subjekta galvas stabu, izmantojot a MediaPipe sejas siets. Pamatojoties uz iepriekšminētajiem datiem, algoritms nosaka sintētiskās gaismas virzienu.
Kad ir noteikts sintētiskā apgaismojuma virziens un intensitāte, nākamais mašīnmācīšanās modelis oriģinālajam fotoattēlam pievieno sintētisko gaismas avotu. Otrais modelis tika apmācīts, izmantojot miljoniem portretu pāru gan ar, gan bez papildu gaismām. Šī datu kopa tika izveidota, fotografējot septiņdesmit dažādus cilvēkus, izmantojot Light Stage skaitļošanas apgaismojuma sistēmu, kas ir sfēriska apgaismojuma iekārta, kas ietver 64 kameras ar dažādiem skata punktiem un 331 individuāli programmējamu LED gaismu avoti.
Katrs no septiņdesmit objektiem tika iemūžināts, vienlaikus apgaismojot vienu gaismu vienlaikus (OLAT) ar katru no 331 LED. Tas radīja viņu atstarošanas lauks, t.i., to izskats, ko apgaismo atsevišķas sfēriskās vides sadaļas. Atstarošanas lauks iekodēja subjekta ādas, matu un apģērba unikālās krāsas un gaismu atstarojošās īpašības un noteica, cik spīdīgs vai blāvs katrs materiāls izskatījās fotogrāfijās.
Pēc tam šie OLAT attēli tika lineāri pievienoti, lai attēlotu reālistiskus objekta attēlus, kā tie būtu redzami jebkurā uz attēlu balstīta apgaismojuma vide, ar sarežģītām vieglā transporta parādībām, piemēram pazemes izkliede pareizi attēlots.
Pēc tam tā vietā, lai apmācītu mašīnmācīšanās algoritmu, lai tieši paredzētu izejas atkārtoti izgaismotos attēlus, Google apmācīja modeli, lai tas izvadītu zemu izšķirtspēju. koeficienta attēls ko varētu lietot sākotnējam ievades attēlam, lai iegūtu vēlamo izvadi. Šī metode ir skaitļošanas ziņā efektīva un veicina tikai zemas frekvences apgaismojuma izmaiņas bez ietekmējot augstfrekvences attēla detaļas, kas tiek tieši pārsūtītas no ievades attēla, lai saglabātu kvalitāti.
Turklāt Google apmācīja mašīnmācīšanās modeli, lai atdarinātu gaismas avotu optisko uzvedību, kas atstaro relatīvi matētas virsmas. Lai to izdarītu, uzņēmums apmācīja modeli, lai novērtētu virsmas normālus, ņemot vērā ievades fotoattēlu, un pēc tam tos piemēroja Lamberta likums lai aprēķinātu "gaismas redzamības karti" vēlamajam apgaismojuma virzienam. Šī gaismas redzamības karte pēc tam tiek nodrošināta kā ievade koeficienta attēla prognozētājam, lai nodrošinātu, ka modelis tiek apmācīts, izmantojot uz fiziku balstītus ieskatus.
Lai gan tas viss var šķist ilgstošs process, kura apstrādei Pixel 5 vidējās klases aparatūras apstrāde prasīs diezgan daudz laika, Google apgalvo, ka portreta gaismas funkcija tika optimizēta, lai darbotos ar interaktīvu kadru nomaiņas ātrumu mobilajās ierīcēs, un kopējais modeļa izmērs ir mazāks par 10 MB.