Într-o postare recentă pe blog, Google a detaliat tehnologia din spatele noii funcții Portret Light care a debutat cu Pixel 5 și Pixel 4a 5G.
După mai multe scurgeri și zvonuri, Google a dezvăluit în sfârșit Pixel 5 și Pixel 4a 5G la începutul acestui an, în septembrie. După cum era de așteptat, dispozitivele au venit cu o serie de noi funcții Google Camera care le diferențiază de alte telefoane Android de pe piață. Acestea includ Panorare cinematografică pentru o panoramă fără vibrații pe videoclipuri, modurile Blocat și Stabilizare activă, Noapte Suport de vedere în modul Portret și o funcție Portret Light pentru a regla fotografiile cu iluminare portret automat. La câteva săptămâni după lansare, Google a lansat majoritatea acestor funcții pentru dispozitive Pixel mai vechi printr-o actualizare Google Foto. Și acum, compania a împărtășit câteva detalii despre tehnologia din spatele caracteristicii Portret Light.
Conform unui recent postare pe blog de la companie, caracteristica Portret Light a fost inspirată de luminile off-camera folosite de fotografi portreti. Îmbunătățește fotografiile portret prin modelarea unei surse de lumină repoziționabilă care poate fi adăugată scenei. Când este adăugată automat, sursa de lumină artificială ajustează automat direcția și intensitatea pentru a completa iluminarea existentă a fotografiei folosind învățarea automată.
După cum explică Google, funcția folosește modele noi de învățare automată care au fost antrenate folosind un set de date divers de fotografii capturate în Etapa de lumină sistem de iluminare computațional. Aceste modele permit două capabilități algoritmice:
- Plasarea automată a luminii direcționale: Pe baza algoritmului de învățare automată, funcția plasează automat un artificial sursă de lumină care este în concordanță cu modul în care un fotograf profesionist ar fi plasat o sursă de lumină în afara camerei în real lume.
- Reiluminare sintetică post-captură: Pe baza direcției și intensității luminii existente în a portret, algoritmul de învățare automată adaugă o lumină sintetică care pare realistă și natural.
Pentru plasarea automată a luminii direcționale, Google a antrenat un model de învățare automată pentru a estima a interval dinamic ridicat, profil de iluminare omnidirecțional pentru o scenă bazată pe un portret de intrare. Acest nou model de estimare a luminii poate găsi direcția, intensitatea relativă și culoarea tuturor surselor de lumină din scenă provenind din toate direcțiile, considerând fața ca un sonda de lumină. De asemenea, estimează postul principal al subiectului folosind a MediaPipe Face Mesh. Pe baza datelor menționate mai sus, algoritmul determină apoi direcția luminii sintetice.
Odată ce direcția și intensitatea luminii sintetice sunt stabilite, următorul model de învățare automată adaugă sursa de lumină sintetică la fotografia originală. Al doilea model a fost antrenat folosind milioane de perechi de portrete, atât cu cât și fără lumini suplimentare. Acest set de date a fost generat prin fotografiarea a șaptezeci de persoane diferite folosind sistemul de iluminare computațional Light Stage, care este o instalație de iluminat sferică care include 64 de camere cu diferite puncte de vedere și 331 de lumini LED programabile individual surse.
Fiecare dintre cei șaptezeci de subiecți a fost surprins în timp ce era iluminat cu o lumină la un moment dat (OLAT) de către fiecare dintre cele 331 de LED-uri. Acest lucru le-a generat câmp de reflexie, adică aspectul lor ca fiind iluminat de secțiunile discrete ale mediului sferic. Câmpul de reflectare a codificat culoarea unică și proprietățile de reflectare a luminii ale pielii, părului și îmbrăcămintei subiectului și a determinat cât de strălucitor sau plictisitor a apărut fiecare material în fotografii.
Aceste imagini OLAT au fost apoi adăugate liniar împreună pentru a reda imagini realiste ale subiectului așa cum ar apărea în oricare mediu de iluminare bazat pe imagini, cu fenomene complexe de transport al luminii ca împrăștiere subterană corect reprezentat.
Apoi, în loc să antreneze algoritmul de învățare automată pentru a prezice imaginile reluate în mod direct, Google a antrenat modelul pentru a scoate o rezoluție joasă. imagine coeficient care ar putea fi aplicat la imaginea de intrare originală pentru a produce rezultatul dorit. Această metodă este eficientă din punct de vedere computațional și încurajează doar schimbările de iluminare cu frecvență joasă fără care afectează detaliile imaginii de înaltă frecvență care sunt transferate direct din imaginea de intrare pentru a le menține calitate.
În plus, Google a antrenat un model de învățare automată pentru a emula comportamentul optic al surselor de lumină care se reflectă pe suprafețe relativ mate. Pentru a face acest lucru, compania a instruit modelul pentru a estima valorile normale ale suprafeței având în vedere fotografia de intrare și apoi aplicate legea lui Lambert pentru a calcula o „hartă de vizibilitate a luminii” pentru direcția de iluminare dorită. Această hartă de vizibilitate luminoasă este apoi furnizată ca intrare la predictorul de imagine coeficient pentru a se asigura că modelul este antrenat folosind informații bazate pe fizică.
În timp ce toate acestea pot părea un proces îndelungat, care ar necesita un timp suficient de procesare a hardware-ului de gamă medie a lui Pixel 5, Google susține că caracteristica Portret Light a fost optimizată pentru a rula la rate interactive de cadre pe dispozitive mobile, cu o dimensiune totală a modelului de sub 10 MB.