Neseniai paskelbtame tinklaraščio įraše „Google“ išsamiai išdėstė naujosios „Portrait Light“ funkcijos, kuri debiutavo su „Pixel 5“ ir „Pixel 4a 5G“, technologiją.
Po kelių nutekėjimų ir gandų „Google“ pagaliau pristatė „Pixel 5“ ir „Pixel 4a 5G“ šių metų pradžioje, rugsėjį. Kaip ir tikėtasi, įrenginiai buvo su daugybe naujos „Google“ fotoaparato funkcijos kurie išskiria juos iš kitų rinkoje esančių Android telefonų. Tai apima „Cinematic Pan“, skirtą vaizdo įrašų panoramavimui be drebėjimo, užrakto ir aktyvaus stabilizavimo režimai, naktinis Vaizdo palaikymas portreto režimu ir portreto apšvietimo funkcija, skirta reguliuoti portretų kadrų apšvietimą automatiškai. Praėjus kelioms savaitėms po paleidimo, „Google“ išleido daugumą šių funkcijų senesnius Pixel įrenginius naudojant „Google“ nuotraukų naujinį. O dabar bendrovė pasidalijo kai kuriomis detalėmis apie Portreto šviesos funkcijos technologiją.
Kaip ir neseniai tinklaraščio straipsnis iš įmonės, portreto šviesos funkcija buvo įkvėpta portretų fotografų naudojamų ne fotoaparato šviesų. Jis pagerina portretų kadrus, modeliuodamas keičiamą šviesos šaltinį, kurį galima pridėti prie scenos. Pridėjus automatiškai, dirbtinis šviesos šaltinis automatiškai koreguoja kryptį ir intensyvumą, kad papildytų esamą nuotraukos apšvietimą, naudodamas mašininį mokymąsi.
Kaip paaiškina Google, ši funkcija naudoja naujus mašininio mokymosi modelius, kurie buvo mokomi naudojant įvairius nuotraukų, užfiksuotų Šviesos scena kompiuterinė apšvietimo sistema. Šie modeliai įgalina dvi algoritmines galimybes:
- Automatinis krypties šviesos išdėstymas: remdamasi mašininio mokymosi algoritmu, funkcija automatiškai įdeda dirbtinę šviesą šviesos šaltinis, atitinkantis tai, kaip profesionalus fotografas būtų įdėjęs ne fotoaparato šviesos šaltinį realybėje pasaulis.
- Sintetinis apšvietimas po fiksavimo: pagrįstas esamos šviesos kryptimi ir intensyvumu portretinis kadras, mašininio mokymosi algoritmas prideda sintetinės šviesos, kuri atrodo tikroviška ir natūralus.
Automatiniam krypties šviesos išdėstymui „Google“ parengė mašininio mokymosi modelį, kad įvertintų a didelis dinaminis diapazonas, įvairiakryptis apšvietimo profilis scenai pagal įvestą portretą. Šis naujas apšvietimo įvertinimo modelis gali rasti visų scenos šviesos šaltinių kryptį, santykinį intensyvumą ir spalvas, sklindančias iš visų krypčių, laikydamas veidą šviesos zondas. Jis taip pat įvertina tiriamojo galvos postą naudojant a MediaPipe veido tinklelis. Remdamasis anksčiau minėtais duomenimis, algoritmas nustato sintetinės šviesos kryptį.
Nustačius sintetinio apšvietimo kryptį ir intensyvumą, kitas mašininio mokymosi modelis prideda sintetinį šviesos šaltinį prie originalios nuotraukos. Antrasis modelis buvo apmokytas naudojant milijonus portretų porų, tiek su papildomais žibintais, tiek be jų. Šis duomenų rinkinys buvo sukurtas fotografuojant septyniasdešimt skirtingų žmonių naudojant Light Stage kompiuterinę apšvietimo sistemą, Tai sferinis apšvietimo įrenginys, kurį sudaro 64 kameros su skirtingais požiūriais ir 331 individualiai programuojama LED lemputė. šaltiniai.
Kiekvienas iš septyniasdešimties objektų buvo užfiksuotas apšviečiant vieną šviesą vienu metu (OLAT) kiekvienam iš 331 šviesos diodų. Tai sukėlė jų atspindžio laukas, ty jų išvaizda, apšviesta atskirų sferinės aplinkos dalių. Atspindėjimo laukas užkodavo unikalias tiriamojo odos, plaukų ir drabužių spalvas bei šviesą atspindinčias savybes ir lėmė, kaip nuotraukose kiekviena medžiaga atrodo blizgi ar blanki.
Tada šie OLAT vaizdai buvo tiesiškai sujungti, kad būtų pateikti tikroviški objekto vaizdai, kokie jie atrodytų bet kuriame vaizdu pagrįsta apšvietimo aplinka, su sudėtingais lengvojo transporto reiškiniais kaip požeminė sklaida teisingai pavaizduotas.
Tada, užuot mokęs mašininio mokymosi algoritmą tiesiogiai numatyti išvesties iš naujo apšviestus vaizdus, „Google“ išmokė modelį išvesti žemos skyros vaizdą koeficiento vaizdas kuriuos būtų galima pritaikyti pradiniam įvesties vaizdui, kad būtų gauta norima išvestis. Šis metodas yra efektyvus skaičiavimo požiūriu ir skatina tik žemo dažnio apšvietimo pokyčius be turi įtakos aukšto dažnio vaizdo detalėms, kurios tiesiogiai perduodamos iš įvesties vaizdo, kad būtų išlaikytos kokybės.
Be to, „Google“ parengė mašininio mokymosi modelį, kuris imituotų šviesos šaltinių, atspindinčių santykinai matinius paviršius, optinį elgesį. Norėdami tai padaryti, bendrovė apmokė modelį įvertinti paviršiaus normas pagal įvesties nuotrauką ir tada pritaikyti Lamberto dėsnis norint apskaičiuoti norimos apšvietimo krypties „šviesos matomumo žemėlapį“. Tada šis šviesos matomumo žemėlapis pateikiamas kaip koeficiento vaizdo prognozės įvestis, siekiant užtikrinti, kad modelis būtų apmokytas naudojant fizikos įžvalgas.
Nors visa tai gali atrodyti kaip ilgas procesas, kuriam apdoroti „Pixel 5“ vidutinės klasės aparatinę įrangą prireiks nemažai laiko, „Google“ teigia, kad portreto apšvietimo funkcija buvo optimizuota veikti interaktyviu kadrų dažniu mobiliuosiuose įrenginiuose, o bendras modelio dydis yra mažesnis 10 MB.