हालिया ब्लॉग पोस्ट में, Google ने Pixel 5 और Pixel 4a 5G के साथ शुरू हुए नए पोर्ट्रेट लाइट फीचर के पीछे की तकनीक के बारे में विस्तार से बताया है।
कई लीक और अफवाहों के बाद, Google ने आखिरकार इस साल की शुरुआत में सितंबर में Pixel 5 और Pixel 4a 5G का अनावरण किया। जैसी कि उम्मीद थी, ये उपकरण ढेर सारे के साथ आये नई Google कैमरा सुविधाएँ जो उन्हें बाजार में मौजूद अन्य एंड्रॉइड फोन से अलग करता है। इनमें वीडियो पर शेक-फ्री पैनिंग के लिए सिनेमैटिक पैन, लॉक्ड और एक्टिव स्टेबिलाइजेशन मोड, नाइट शामिल हैं पोर्ट्रेट मोड में दृष्टि समर्थन, और प्रकाश पोर्ट्रेट शॉट्स को समायोजित करने के लिए पोर्ट्रेट लाइट सुविधा खुद ब खुद। लॉन्च के कुछ सप्ताह बाद, Google ने इनमें से अधिकांश सुविधाएँ जारी कर दीं पुराने पिक्सेल डिवाइस Google फ़ोटो अपडेट के माध्यम से। और अब, कंपनी ने पोर्ट्रेट लाइट फीचर के पीछे की तकनीक के बारे में कुछ विवरण साझा किए हैं।
हाल ही में आई एक खबर के अनुसार ब्लॉग भेजा कंपनी का पोर्ट्रेट लाइट फीचर पोर्ट्रेट फोटोग्राफरों द्वारा उपयोग की जाने वाली ऑफ-कैमरा लाइट से प्रेरित था। यह एक पुनर्स्थापन योग्य प्रकाश स्रोत का मॉडलिंग करके पोर्ट्रेट शॉट्स को बढ़ाता है जिसे दृश्य में जोड़ा जा सकता है। जब स्वचालित रूप से जोड़ा जाता है, तो कृत्रिम प्रकाश स्रोत मशीन लर्निंग का उपयोग करके फोटो की मौजूदा रोशनी को पूरक करने के लिए दिशा और तीव्रता को स्वचालित रूप से समायोजित करता है।
जैसा कि Google बताता है, यह सुविधा उपन्यास मशीन लर्निंग मॉडल का उपयोग करती है जिन्हें कैप्चर की गई तस्वीरों के विविध डेटासेट का उपयोग करके प्रशिक्षित किया गया था प्रकाश मंच कम्प्यूटेशनल रोशनी प्रणाली. ये मॉडल दो एल्गोरिथम क्षमताओं को सक्षम करते हैं:
- स्वचालित दिशात्मक प्रकाश प्लेसमेंट: मशीन लर्निंग एल्गोरिदम के आधार पर, सुविधा स्वचालित रूप से एक कृत्रिम स्थान रखती है प्रकाश स्रोत जो कि एक पेशेवर फोटोग्राफर द्वारा वास्तविक रूप से ऑफ-कैमरा प्रकाश स्रोत लगाने के तरीके के अनुरूप है दुनिया।
- सिंथेटिक पोस्ट-कैप्चर रीलाइटिंग: मौजूदा प्रकाश की दिशा और तीव्रता के आधार पर पोर्ट्रेट शॉट, मशीन लर्निंग एल्गोरिदम एक सिंथेटिक प्रकाश जोड़ता है जो यथार्थवादी दिखता है और प्राकृतिक।
स्वचालित दिशात्मक प्रकाश प्लेसमेंट के लिए, Google ने अनुमान लगाने के लिए एक मशीन लर्निंग मॉडल को प्रशिक्षित किया उच्च गतिशील रेंज, इनपुट पोर्ट्रेट के आधार पर किसी दृश्य के लिए सर्वदिशात्मक रोशनी प्रोफ़ाइल। यह नई प्रकाश आकलन मॉडल चेहरे को मानकर दृश्य में सभी दिशाओं से आने वाले सभी प्रकाश स्रोतों की दिशा, सापेक्ष तीव्रता और रंग का पता लगा सकते हैं प्रकाश जांच. यह a का उपयोग करके विषय के प्रमुख पद का भी अनुमान लगाता है मीडियापाइप फेस मेश. उपरोक्त डेटा के आधार पर, एल्गोरिदम सिंथेटिक प्रकाश की दिशा निर्धारित करता है।
एक बार जब सिंथेटिक प्रकाश की दिशा और तीव्रता स्थापित हो जाती है, तो अगला मशीन लर्निंग मॉडल मूल फोटो में सिंथेटिक प्रकाश स्रोत जोड़ता है। दूसरे मॉडल को लाखों जोड़ी पोर्ट्रेट का उपयोग करके प्रशिक्षित किया गया था, अतिरिक्त रोशनी के साथ और बिना अतिरिक्त रोशनी के। यह डेटासेट लाइट स्टेज कम्प्यूटेशनल रोशनी प्रणाली का उपयोग करके सत्तर अलग-अलग लोगों की तस्वीरें खींचकर तैयार किया गया था, जो एक गोलाकार प्रकाश रिग है जिसमें विभिन्न दृष्टिकोण वाले 64 कैमरे और 331 व्यक्तिगत रूप से प्रोग्राम करने योग्य एलईडी लाइट शामिल हैं स्रोत.
सत्तर विषयों में से प्रत्येक को 331 एलईडी में से प्रत्येक द्वारा वन-लाइट-ए-टाइम (ओएलएटी) प्रकाशित करते समय कैप्चर किया गया था। इससे उनकी उत्पत्ति हुई परावर्तन क्षेत्र, यानी, गोलाकार वातावरण के अलग-अलग वर्गों द्वारा प्रकाशित उनकी उपस्थिति। परावर्तन क्षेत्र ने विषय की त्वचा, बाल और कपड़ों के अद्वितीय रंग और प्रकाश-प्रतिबिंबित गुणों को एन्कोड किया और यह निर्धारित किया कि तस्वीरों में प्रत्येक सामग्री कितनी चमकदार या सुस्त दिखाई देती है।
फिर इन OLAT छवियों को विषय की यथार्थवादी छवियों को प्रस्तुत करने के लिए रैखिक रूप से एक साथ जोड़ा गया, जैसा कि वे किसी में भी दिखाई देंगे छवि-आधारित प्रकाश वातावरण, जैसी जटिल प्रकाश परिवहन घटना के साथ उपसतह प्रकीर्णन सही ढंग से प्रस्तुत किया गया।
फिर, आउटपुट रीलिट छवियों की सीधे भविष्यवाणी करने के लिए मशीन लर्निंग एल्गोरिदम को प्रशिक्षित करने के बजाय, Google ने मॉडल को कम-रिज़ॉल्यूशन आउटपुट करने के लिए प्रशिक्षित किया भागफल छवि जिसे वांछित आउटपुट उत्पन्न करने के लिए मूल इनपुट छवि पर लागू किया जा सकता है। यह विधि कम्प्यूटेशनल रूप से कुशल है और बिना केवल कम-आवृत्ति प्रकाश परिवर्तन को प्रोत्साहित करती है उच्च-आवृत्ति छवि विवरणों को प्रभावित करना जिन्हें बनाए रखने के लिए सीधे इनपुट छवि से स्थानांतरित किया जाता है गुणवत्ता।
इसके अलावा, Google ने अपेक्षाकृत मैट सतहों से परावर्तित होने वाले प्रकाश स्रोतों के ऑप्टिकल व्यवहार का अनुकरण करने के लिए एक मशीन लर्निंग मॉडल को प्रशिक्षित किया। ऐसा करने के लिए, कंपनी ने मॉडल को इनपुट फोटो को देखते हुए सतह के मानदंडों का अनुमान लगाने के लिए प्रशिक्षित किया और फिर लागू किया लैम्बर्ट का नियम वांछित प्रकाश दिशा के लिए "प्रकाश दृश्यता मानचित्र" की गणना करना। यह प्रकाश दृश्यता मानचित्र तब भागफल छवि भविष्यवक्ता को इनपुट के रूप में प्रदान किया जाता है ताकि यह सुनिश्चित किया जा सके कि मॉडल को भौतिकी-आधारित अंतर्दृष्टि का उपयोग करके प्रशिक्षित किया गया है।
हालाँकि यह सब एक लंबी प्रक्रिया की तरह लग सकता है जिसे संसाधित करने में Pixel 5 के मध्य-श्रेणी के हार्डवेयर को काफी समय लगेगा, Google दावा है कि पोर्ट्रेट लाइट सुविधा को मोबाइल उपकरणों पर इंटरैक्टिव फ्रेम-दर पर चलाने के लिए अनुकूलित किया गया था, जिसका कुल मॉडल आकार कम था 10एमबी.