في منشور مدونة حديث، قامت Google بتفصيل التكنولوجيا الكامنة وراء ميزة Portrait Light الجديدة التي ظهرت لأول مرة مع Pixel 5 وPixel 4a 5G.
بعد العديد من التسريبات والشائعات، كشفت Google أخيرًا عن هاتفي Pixel 5 وPixel 4a 5G في وقت سابق من هذا العام في شهر سبتمبر. وكما هو متوقع، جاءت الأجهزة مع مجموعة من ميزات كاميرا جوجل الجديدة مما يميزها عن هواتف Android الأخرى الموجودة في السوق. يتضمن ذلك خاصية التحريك السينمائي لتحريك مقاطع الفيديو بدون اهتزاز، وأوضاع التثبيت المقفل والنشط، والليل دعم البصر في الوضع الرأسي، وميزة Portrait Light لضبط لقطات الإضاءة الشخصية تلقائيا. وبعد بضعة أسابيع من الإطلاق، أصدرت Google معظم هذه الميزات لـ أجهزة Pixel الأقدم عبر تحديث صور جوجل. والآن، شاركت الشركة بعض التفاصيل حول التقنية الكامنة وراء ميزة Portrait Light.
حسب حديث مشاركة مدونة من الشركة، ميزة Portrait Light مستوحاة من الأضواء الموجودة خارج الكاميرا التي يستخدمها مصورو الصور الشخصية. إنه يعزز اللقطات الشخصية من خلال تصميم مصدر ضوء يمكن تغيير موضعه والذي يمكن إضافته إلى المشهد. عند إضافته تلقائيًا، يقوم مصدر الضوء الاصطناعي تلقائيًا بضبط الاتجاه والكثافة لاستكمال الإضاءة الموجودة في الصورة باستخدام التعلم الآلي.
وكما توضح جوجل، فإن الميزة تستفيد من نماذج التعلم الآلي الجديدة التي تم تدريبها باستخدام مجموعة بيانات متنوعة من الصور الملتقطة في مرحلة الضوء نظام الإضاءة الحسابية. تتيح هذه النماذج قدرتين خوارزميتين:
- وضع الضوء الاتجاهي تلقائيًا: استنادًا إلى خوارزمية التعلم الآلي، تقوم الميزة تلقائيًا بوضع الضوء الاصطناعي مصدر ضوء يتوافق مع كيفية قيام المصور المحترف بوضع مصدر ضوء خارج الكاميرا في الواقع عالم.
- إعادة الإضاءة الاصطناعية بعد الالتقاط: بناءً على اتجاه وشدة الضوء الموجود في أ لقطة شخصية، تضيف خوارزمية التعلم الآلي ضوءًا اصطناعيًا يبدو واقعيًا وواقعيًا طبيعي.
بالنسبة لوضع الضوء الاتجاهي التلقائي، قامت Google بتدريب نموذج التعلم الآلي لتقدير أ نطاق ديناميكي عالي، ملف تعريف الإضاءة متعدد الاتجاهات للمشهد بناءً على صورة الإدخال. هذا الجديد نموذج تقدير الإضاءة يمكن العثور على الاتجاه والشدة النسبية واللون لجميع مصادر الضوء في المشهد القادمة من جميع الاتجاهات، مع اعتبار الوجه بمثابة مسبار الضوء. كما يقوم أيضًا بتقدير المنصب الرئيسي للموضوع باستخدام أ شبكة الوجه MediaPipe. بناءً على البيانات المذكورة أعلاه، تحدد الخوارزمية بعد ذلك اتجاه الضوء الاصطناعي.
بمجرد تحديد اتجاه وشدة الإضاءة الاصطناعية، يضيف نموذج التعلم الآلي التالي مصدر الضوء الاصطناعي إلى الصورة الأصلية. تم تدريب النموذج الثاني باستخدام ملايين الأزواج من الصور، مع أو بدون أضواء إضافية. تم إنشاء مجموعة البيانات هذه من خلال تصوير سبعين شخصًا مختلفًا باستخدام نظام الإضاءة الحسابي Light Stage، وهو عبارة عن جهاز إضاءة كروي يتضمن 64 كاميرا ذات وجهات نظر مختلفة و331 مصباح LED قابل للبرمجة بشكل فردي مصادر.
تم التقاط كل موضوع من الموضوعات السبعين أثناء إضاءته بضوء واحد في كل مرة (OLAT) بواسطة كل من مصابيح LED البالغ عددها 331. هذا ولّدهم مجال الانعكاسأي مظهرها مضاء بالأجزاء المنفصلة من البيئة الكروية. يقوم مجال الانعكاس بتشفير اللون الفريد والخصائص العاكسة للضوء لجلد الشخص وشعره وملابسه وتحديد مدى ظهور كل مادة لامعة أو باهتة في الصور.
تمت بعد ذلك إضافة صور OLAT هذه معًا خطيًا لتقديم صور واقعية للموضوع كما تظهر في أي مكان بيئة الإضاءة القائمة على الصور، مع ظواهر النقل الخفيف المعقدة مثل تشتت تحت السطح ممثلة بشكل صحيح.
بعد ذلك، بدلًا من تدريب خوارزمية التعلم الآلي على التنبؤ بالصور الناتجة مباشرة، قامت جوجل بتدريب النموذج على إخراج صور منخفضة الدقة صورة حاصلة التي يمكن تطبيقها على صورة الإدخال الأصلية لإنتاج الإخراج المطلوب. هذه الطريقة فعالة من الناحية الحسابية وتشجع فقط على تغيير الإضاءة ذات التردد المنخفض دون الحاجة إلى ذلك التأثير على تفاصيل الصورة عالية التردد التي يتم نقلها مباشرة من صورة الإدخال للمحافظة عليها جودة.
علاوة على ذلك، قامت جوجل بتدريب نموذج التعلم الآلي لمحاكاة السلوك البصري لمصادر الضوء المنعكسة عن الأسطح غير اللامعة نسبيًا. وللقيام بذلك، قامت الشركة بتدريب النموذج على تقدير القيم الطبيعية للسطح بالنظر إلى الصورة المدخلة ومن ثم تطبيقه قانون لامبرت لحساب "خريطة رؤية الضوء" لاتجاه الإضاءة المطلوب. يتم بعد ذلك توفير خريطة رؤية الضوء هذه كمدخل لأداة التنبؤ بالصورة الحاصلة لضمان تدريب النموذج باستخدام الرؤى المستندة إلى الفيزياء.
على الرغم من أن كل هذا قد يبدو وكأنه عملية طويلة من شأنها أن تستغرق وقتًا طويلاً للمعالجة على أجهزة Pixel 5 متوسطة المدى، إلا أن Google تدعي أن ميزة Portrait Light قد تم تحسينها لتعمل بمعدلات إطارات تفاعلية على الأجهزة المحمولة، مع حجم إجمالي للطراز أقل من 10 ميجابايت.