בפוסט האחרון בבלוג, גוגל פירטה את הטכנולוגיה מאחורי התכונה החדשה של Portrait Light שהופיעה לראשונה עם ה-Pixel 5 ו-Pixel 4a 5G.
לאחר מספר הדלפות ושמועות, גוגל סוף סוף חשפה את Pixel 5 ו-Pixel 4a 5G מוקדם יותר השנה בספטמבר. כצפוי, המכשירים הגיעו עם שלל של תכונות חדשות של מצלמת Google שמבדילים אותם משאר טלפונים אנדרואיד בשוק. אלה כוללים פאן קולנועי להזזה ללא רעידות בסרטונים, מצבי ייצוב נעול ופעיל, לילה תמיכה בראייה במצב דיוקן, ותכונה של אור דיוקן כדי להתאים את צילומי הפורטרט בתאורה באופן אוטומטי. כמה שבועות לאחר ההשקה, גוגל שחררה את רוב התכונות הללו עבור מכשירי Pixel ישנים יותר באמצעות עדכון Google Photos. ועכשיו, החברה שיתפה כמה פרטים על הטכנולוגיה שמאחורי תכונת ה-Portrait Light.
לפי מה שפורסם לאחרונה פוסט בבלוג מהחברה, תכונת ה-Portrait Light נוצרה בהשראת האורות מחוץ למצלמה המשמשים את צלמי הפורטרטים. זה משפר את צילומי הפורטרט על ידי יצירת מודל של מקור אור שניתן למקם מחדש שניתן להוסיף לסצנה. כאשר מוסיפים אותו אוטומטית, מקור האור המלאכותי מתאים אוטומטית את הכיוון והעוצמה כדי להשלים את התאורה הקיימת של התמונה באמצעות למידת מכונה.
כפי שגוגל מסבירה, התכונה עושה שימוש במודלים חדשים של למידת מכונה שהוכשרו באמצעות מערך נתונים מגוון של תמונות שצולמו ב- שלב אור מערכת תאורה חישובית. מודלים אלה מאפשרים שתי יכולות אלגוריתמיות:
- מיקום אור כיווני אוטומטי: בהתבסס על אלגוריתם למידת מכונה, התכונה ממקמת אוטומטית מלאכותי מקור אור שעולה בקנה אחד עם האופן שבו צלם מקצועי היה מציב מקור אור מחוץ למצלמה במציאות עוֹלָם.
- תאורה מחודשת שלאחר לכידה סינתטית: מבוססת על כיוון ועוצמת האור הקיים בא צילום דיוקן, אלגוריתם למידת מכונה מוסיף אור סינתטי שנראה ריאליסטי ו טִבעִי.
עבור מיקום אור כיווני אוטומטי, גוגל הכשירה מודל למידת מכונה כדי להעריך א טווח דינמי גבוה, פרופיל תאורה בכל כיווני עבור סצנה המבוססת על דיוקן קלט. זה חדש מודל הערכת תאורה יכול למצוא את הכיוון, העוצמה היחסית והצבע של כל מקורות האור בסצנה המגיעים מכל הכיוונים, בהתחשב בפנים כאל בדיקת אור. זה גם מעריך את הפוסט הראשי של הנושא באמצעות א MediaPipe Face Mesh. בהתבסס על הנתונים שהוזכרו לעיל, האלגוריתם קובע את כיוון האור הסינטטי.
ברגע שהכיוון והעוצמה של התאורה הסינתטית נקבעים, מודל למידת המכונה הבא מוסיף את מקור האור הסינטטי לתמונה המקורית. הדגם השני הוכשר באמצעות מיליוני זוגות של דיוקנאות, גם עם ובלי אורות נוספים. מערך הנתונים הזה נוצר על ידי צילום של שבעים אנשים שונים באמצעות מערכת תאורה חישובית Light Stage, שהוא מתקן תאורה כדורי הכולל 64 מצלמות עם נקודות מבט שונות ו-331 נורות LED הניתנות לתכנות בנפרד מקורות.
כל אחד משבעים הנבדקים נלכד בעודו מואר באור אחד בכל פעם (OLAT) על ידי כל אחת מ-331 נוריות הלד. זה יצר את שלהם שדה השתקפות, כלומר, המראה שלהם כמואר על ידי החלקים הבדידים של הסביבה הכדורית. שדה ההשתקפות קידד את המאפיינים הייחודיים של הצבע והחזרת האור של העור, שערו ובגדיו של הנבדק וקבע עד כמה כל חומר נראה מבריק או עמום בתמונות.
תמונות OLAT אלו נוספו לאחר מכן באופן ליניארי כדי להציג תמונות ריאליסטיות של הנושא כפי שהן יופיעו בכל סביבת תאורה מבוססת תמונה, עם תופעות תחבורה אור מורכבות כמו פיזור תת קרקעי מיוצג נכון.
לאחר מכן, במקום לאמן את אלגוריתם למידת המכונה לחזות את התמונות המוארות מחדש ישירות, גוגל אימנה את המודל להפיק רזולוציה נמוכה תמונת מנה שניתן להחיל על תמונת הקלט המקורית כדי לייצר את הפלט הרצוי. שיטה זו יעילה מבחינה חישובית ומעודדת רק שינויי תאורה בתדר נמוך ללא משפיעים על פרטי תמונה בתדר גבוה המועברים ישירות מתמונת הקלט לשמירה איכות.
יתר על כן, גוגל הכשירה מודל למידת מכונה כדי לחקות את ההתנהגות האופטית של מקורות אור המשקפים משטחים מאט יחסית. לשם כך, החברה הכשירה את המודל להעריך את נורמלי השטח בהתחשב בתמונת הקלט ולאחר מכן יישמה חוק למברט לחישוב "מפת נראות אור" עבור כיוון התאורה הרצוי. מפת נראות האור הזו מסופקת לאחר מכן כקלט למנבא התמונה כדי להבטיח שהמודל מאומן באמצעות תובנות מבוססות פיזיקה.
למרות שכל זה עשוי להיראות כמו תהליך ממושך שייקח לחומרה הבינונית של ה-Pixel 5 מעט זמן לעיבוד, גוגל טוען שתכונת ה-Portrait Light עברה אופטימיזציה לפעולה בקצבי פריימים אינטראקטיביים במכשירים ניידים, עם גודל דגם כולל של מתחת 10MB.