Dans un récent article de blog, Google a détaillé la technologie derrière la nouvelle fonctionnalité Portrait Light qui a fait ses débuts avec les Pixel 5 et Pixel 4a 5G.
Après plusieurs fuites et rumeurs, Google a finalement dévoilé les Pixel 5 et Pixel 4a 5G plus tôt cette année en septembre. Comme prévu, les appareils étaient livrés avec une multitude de nouvelles fonctionnalités de l'appareil photo Google ce qui les distingue des autres téléphones Android du marché. Ceux-ci incluent Cinematic Pan pour un panoramique sans tremblement sur les vidéos, les modes de stabilisation verrouillé et actif, Nuit Prise en charge de la vue en mode Portrait et fonction Portrait Light pour ajuster l'éclairage des portraits automatiquement. Quelques semaines après le lancement, Google a publié la plupart de ces fonctionnalités pour anciens appareils Pixel via une mise à jour de Google Photos. Et maintenant, la société a partagé quelques détails sur la technologie derrière la fonction Portrait Light.
Selon un récent
Comme Google l'explique, cette fonctionnalité utilise de nouveaux modèles d'apprentissage automatique qui ont été formés à l'aide d'un ensemble de données diversifiées de photographies capturées dans le Scène lumineuse système d'éclairage informatique. Ces modèles permettent deux capacités algorithmiques :
- Placement automatique de la lumière directionnelle: basée sur l'algorithme d'apprentissage automatique, la fonctionnalité place automatiquement une lumière artificielle. source de lumière qui correspond à la façon dont un photographe professionnel aurait placé une source de lumière hors caméra dans le réel monde.
- Rééclairage synthétique post-capture: basé sur la direction et l'intensité de la lumière existante dans un portrait, l'algorithme d'apprentissage automatique ajoute une lumière synthétique qui semble réaliste et naturel.
Pour le placement automatique de la lumière directionnelle, Google a formé un modèle d'apprentissage automatique pour estimer un plage dynamique élevée, profil d'éclairage omnidirectionnel pour une scène basée sur un portrait d'entrée. Ce nouveau modèle d'estimation de l'éclairage peut trouver la direction, l'intensité relative et la couleur de toutes les sources de lumière de la scène venant de toutes les directions, en considérant le visage comme un sonde lumineuse. Il estime également le poste principal du sujet à l'aide d'un Maille faciale MediaPipe. Sur la base des données susmentionnées, l’algorithme détermine ensuite la direction de la lumière synthétique.
Une fois la direction et l’intensité de l’éclairage synthétique établies, le modèle d’apprentissage automatique suivant ajoute la source de lumière synthétique à la photo originale. Le deuxième modèle a été formé à l’aide de millions de paires de portraits, avec et sans lumières supplémentaires. Cet ensemble de données a été généré en photographiant soixante-dix personnes différentes à l'aide du système d'éclairage informatique Light Stage, qui est une plate-forme d'éclairage sphérique comprenant 64 caméras avec différents points de vue et 331 lumières LED programmables individuellement sources.
Chacun des soixante-dix sujets a été capturé alors qu’il était éclairé une lumière à la fois (OLAT) par chacune des 331 LED. Cela a généré leur champ de réflectance, c'est-à-dire leur apparence éclairée par les sections discrètes de l'environnement sphérique. Le champ de réflectance codait la couleur unique et les propriétés de réflexion de la lumière de la peau, des cheveux et des vêtements du sujet et déterminait le degré de brillance ou de matité de chaque matériau sur les photos.
Ces images OLAT ont ensuite été additionnées linéairement pour rendre des images réalistes du sujet telles qu'elles apparaîtraient dans n'importe quel environnement. environnement d'éclairage basé sur l'image, avec des phénomènes complexes de transport léger comme diffusion souterraine correctement représenté.
Ensuite, au lieu d'entraîner l'algorithme d'apprentissage automatique pour prédire directement les images ré-éclairées en sortie, Google a entraîné le modèle pour produire une image basse résolution. image quotiente qui pourrait être appliqué à l’image d’entrée originale pour produire la sortie souhaitée. Cette méthode est efficace sur le plan informatique et encourage uniquement les changements d'éclairage à basse fréquence sans impactant les détails de l'image haute fréquence qui sont directement transférés de l'image d'entrée pour maintenir qualité.
De plus, Google a formé un modèle d'apprentissage automatique pour émuler le comportement optique des sources lumineuses se reflétant sur des surfaces relativement mates. Pour ce faire, l'entreprise a entraîné le modèle pour estimer les normales de surface à partir de la photo d'entrée, puis a appliqué la loi de Lambert pour calculer une "carte de visibilité de la lumière" pour la direction d'éclairage souhaitée. Cette carte de visibilité lumineuse est ensuite fournie en entrée du prédicteur d'image quotient pour garantir que le modèle est entraîné à l'aide d'informations basées sur la physique.
Bien que tout cela puisse sembler un long processus qui prendrait beaucoup de temps au matériel de milieu de gamme du Pixel 5, Google affirme que la fonction Portrait Light a été optimisée pour fonctionner à des fréquences d'images interactives sur les appareils mobiles, avec une taille totale de modèle inférieure à 10 Mo.