क्वालकॉम के जूड हीप बताते हैं कि कैसे क्वालकॉम अपने स्पेक्ट्रा आईएसपी में नई सुविधाओं के साथ एंड्रॉइड फोन पर कैमरा अनुभव को बेहतर बना रहा है।
सिस्टम-ऑन-चिप्स (एसओसी) के निर्माता के रूप में, जो दुनिया के अधिकांश स्मार्टफोन और पहनने योग्य उपकरणों को शक्ति प्रदान करता है, यूएस-आधारित क्वालकॉम निस्संदेह चिप निर्माता उद्योग के दिग्गजों में से एक है। उदाहरण के लिए, SoCs की स्नैपड्रैगन लाइन का उपयोग लगभग हर प्रमुख एंड्रॉइड डिवाइस निर्माता द्वारा फ्लैगशिप, मिड-रेंज और बजट स्मार्टफोन के लिए किया जाता है। सीपीयू, जीपीयू और एआई क्षेत्रों में प्रगति के लिए क्वालकॉम को हर साल कंपनी के वार्षिक टेक शिखर सम्मेलन में प्रशंसा मिलती है, क्योंकि इसमें एआरएम के नए सीपीयू माइक्रोआर्किटेक्चर शामिल होते हैं। और अपने कस्टम जीपीयू में वार्षिक सुधार के साथ उन्हें पूरक बनाता है। हालाँकि, कैमरे के क्षेत्र में इसकी प्रगति पर उतना ध्यान नहीं दिया जाता है, जितना कि इसके तहत जाना जाता है रडार.
हालाँकि, इसका मतलब यह नहीं है कि स्मार्टफोन कैमरों में क्वालकॉम का काम महत्वहीन है। इसके विपरीत, क्वालकॉम के स्नैपड्रैगन एसओसी में स्पेक्ट्रा आईएसपी आधुनिक स्मार्टफोन कैमरों को बेहतर बनाने में मदद करते हैं। कम्प्यूटेशनल प्रसंस्करण शक्ति, 8K वीडियो रिकॉर्डिंग, HDR10 वीडियो, उच्च-मेगापिक्सेल QCFA कैमरों के लिए समर्थन और बहुत कुछ जैसी सुविधाएँ अधिक। क्वालकॉम ने स्नैपड्रैगन 855 में स्पेक्ट्रा 380 आईएसपी का प्रचार किया है
दुनिया का पहला CV-ISP था, और इसने दुनिया की पहली 4K HDR वीडियो रिकॉर्डिंग सुविधाओं को बढ़ावा दिया है, जिसे अब दूसरी पीढ़ी 4K HDR10+ वीडियो रिकॉर्डिंग द्वारा पूरक किया गया है। नवीनतम पीढ़ी में स्पेक्ट्रा 480 आईएसपी स्नैपड्रैगन 865 अत्यधिक सक्षम है - यह प्रति सेकंड दो गीगापिक्सेल संसाधित कर सकता है, जो अपने पूर्ववर्ती की तुलना में 40% अधिक है। यह एक बौद्धिक संपदा (आईपी) है जो क्वालकॉम को मोबाइल चिप विक्रेता क्षेत्र में अपने प्रतिस्पर्धियों से अलग करती है।जबकि क्वालकॉम अपनी प्रेस विज्ञप्तियों और उत्पाद कीनोट्स में अधिकांश मुख्य विशेषताओं के बारे में बताता है अब तक, उपभोक्ताओं को इन चीजों को बनाने वाले अधिकांश निम्न-स्तरीय विवरणों को जानने का मौका नहीं मिला है काम।
यही कारण है कि XDA डेवलपर्स में हम क्वालकॉम में उत्पाद प्रबंधन के वरिष्ठ निदेशक जड हीप के साथ बात करने के प्रस्ताव को स्वीकार करने में प्रसन्न थे। XDA के एडिटर-इन-चीफ, मिशाल रहमान और मैंने जून 2020 में जड के साथ एक साक्षात्कार लिया, यह जानने और देखने के लिए कि क्वालकॉम स्मार्टफोन फोटोग्राफी और वीडियो रिकॉर्डिंग के साथ गोलपोस्ट को कैसे आगे बढ़ा रहा है। हमने एआई इमेज प्रोसेसिंग, मल्टी-फ्रेम नॉइज़ रिडक्शन (एमएफएनआर), एवी1, डॉल्बी विज़न वीडियो रिकॉर्डिंग, हाई-मेगापिक्सेल कैमरों में पिक्सेल बिनिंग और बहुत कुछ सहित विषयों पर बात की। आइए प्रत्येक विषय पर एक-एक करके जड की अंतर्दृष्टि पर नज़र डालें:
एआई छवि प्रसंस्करण कार्यभार
मिशाल रहमान: मैं इदरीस के पास से एक से शुरुआत करूंगा, जो दिलचस्प है और जिसमें मेरी भी रुचि थी। तो हम सोच रहे हैं कि स्पेक्ट्रा आईएसपी में क्वालकॉम द्वारा उपयोग किए जाने वाले एआई इमेज प्रोसेसिंग वर्कलोड क्या हैं और वे डिवाइस निर्माताओं द्वारा किस हद तक अनुकूलन योग्य हैं?
जड हीप: हाँ, इसलिए हम बहुत सारे AI वर्कलोड को देखते हैं और कुछ AI हैं जो ISP में ही चल सकते हैं जैसे, उदाहरण के लिए, हमारी अगली पीढ़ी 3ए: ऑटो एक्सपोज़र, ऑटो व्हाइट बैलेंस और ऑटो फोकस एआई हैं आधारित।
लेकिन हम कुछ अन्य एआई वर्कलोड को भी देखते हैं, जो अन्य कंप्यूटिंग तत्वों में से एक में आईएसपी के बाहर चलेंगे। इसलिए विशेष रूप से हम इस तरह की चीजों को देखते हैं: हमारे पास एक एआई आधारित शोर कम करने वाला कोर है जो चिप के एआई इंजन (एआईई) हिस्से में आईएसपी से बाहरी रूप से चलता है।
इसके अलावा, हमारे पास फेस डिटेक्शन जैसी चीजें हैं, जो एक पूर्ण गहन शिक्षण इंजन है जो एआईई कॉम्प्लेक्स में भी चलता है, लेकिन निश्चित रूप से कैमरे की सहायता करता है। और चेहरे का पता लगाने और निंदा करने के अलावा हम अन्य चीजों पर भी काम कर रहे हैं; हम एआई का उपयोग करके स्नैपशॉट के स्वचालित समायोजन जैसी चीजें करने पर भी विचार कर रहे हैं जो स्वचालित रूप से सेट हो जाएंगी एचडीआर सामग्री के आधार पर प्रति दृश्य पैरामीटर, हम छाया और हाइलाइट्स और रंग और उस तरह को संशोधित करने की प्रक्रिया करेंगे चीज़।
हमारे साझेदारों में से एक, मॉर्फो ने इस वर्ष एंबेडेड विज़न शिखर सम्मेलन में एक बड़ा एआई वर्कलोड पुरस्कार जीता। स्वतंत्र सॉफ़्टवेयर विक्रेता साझेदारों के पास भी बहुत सारे गहन एआई-आधारित एल्गोरिदम हैं और वे स्मूथ कैमरा जैसी किसी भी चीज़ तक हो सकते हैं संक्रमण, जैसा कि आर्कसॉफ्ट करता है, (मैंने पिछले स्नैपड्रैगन टेक शिखर सम्मेलन में इसका उल्लेख किया था जो एआई-आधारित है), मॉर्फो के सिमेंटिक विभाजन के लिए इंजन। मॉर्फो का समाधान एक एआई इंजन है जो दृश्य के विभिन्न हिस्सों को समझता है, जैसे कि आप क्या जानते हैं, कपड़ा बनाम त्वचा बनाम आकाश और घास और निर्माण और उस तरह की चीज़ और फिर आईएसपी उस जानकारी को ले सकता है और उन पिक्सल को बनावट, शोर और रंग के लिए अलग-अलग तरीके से संसाधित कर सकता है उदाहरण।
क्वालकॉम का बयान: एमएल और एआई के लिए हम आज फेस डिटेक्शन और "3ए" (एई, एएफ और एडब्ल्यूबी) की सुविधाओं के लिए किसी नए अपडेट की घोषणा नहीं कर रहे हैं। हालाँकि, जैसा कि जुड ने कहा, हम इन दो फीचर क्षेत्रों सहित कैमरे में अधिक एमएल/एआई क्षमता लाने के लिए आगे बढ़ते हुए प्रतिबद्ध हैं।
विश्लेषण और संदर्भ: पहली न्यूरल प्रोसेसिंग यूनिट (एनपीयू) और एंड्रॉइड फोन में "एआई-आधारित" फीचर्स आने के बाद से ही स्मार्टफोन में एआई को काफी हद तक चर्चा का विषय माना जाता रहा है। हालाँकि, इसका मतलब यह नहीं है कि AI स्वयं निरर्थक है। इसके विपरीत, एआई में मोबाइल में बहुत अधिक संभावनाएं हैं, इस हद तक कि चिप विक्रेता और डिवाइस निर्माता समान रूप से अब तक केवल सतह को खरोंच रहे हैं जो संभव है।
एआई की बदौलत, स्मार्टफोन के कैमरे बेहतर हो गए हैं - कभी जल्दी, कभी बहुत धीरे-धीरे, लेकिन वे वहां पहुंच रहे हैं। स्मार्टफोन के कैमरे अपेक्षाकृत छोटे सेंसर जैसी मूलभूत सीमाओं को पार कर रहे हैं मशीन लर्निंग द्वारा संचालित स्मार्ट कम्प्यूटेशनल फोटोग्राफी के साथ फोकल लंबाई और खराब ऑप्टिक्स (एमएल)। ऑटो एक्सपोज़र, शोर में कमी, चेहरे का पता लगाना और सेगमेंटेशन ऐसे कुछ क्षेत्र हैं जहां स्मार्टफोन फोटोग्राफी में एआई प्रभाव डालने में सक्षम है। अगले पांच वर्षों में, फोटोग्राफी के विभिन्न पहलुओं में सुधार करने वाले एआई के ये उभरते क्षेत्र काफी परिपक्व हो जाएंगे।
मल्टी-फ़्रेम शोर में कमी
इदरीस पटेल: क्वालकॉम एक फीचर के तौर पर मल्टी-फ्रेम नॉइज़ रिडक्शन का जिक्र करता रहा है। मैं इसके बारे में अधिक विस्तार से जानना चाहूंगा कि इमेज स्टैकिंग कैसे काम करती है। क्या यह किसी भी तरह से वैसा ही है जैसा Google अपनी HDR+ तकनीक के साथ कर रहा है या यह पूरी तरह से अलग है?
जड हीप: यह समान है लेकिन अलग है। कल्पना कीजिए कि कैमरा तेजी से फट रहा है और तेजी से पांच से सात फ्रेम कैप्चर कर रहा है। फिर आईएसपी इंजन उन फ़्रेमों पर एक नज़र डालता है और उनमें से सर्वश्रेष्ठ को चुनता है (जिसे "एंकर फ़्रेम" कहा जाता है) फोकस और स्पष्टता और फिर यह उस फ्रेम के दोनों तरफ 3-4 फ्रेम चुन सकता है और फिर उन सभी को औसत कर सकता है एक साथ। यह उन फ़्रेमों को चुनने का प्रयास करता है जो एक-दूसरे के काफी करीब हों ताकि बहुत कम हलचल हो।
और जब यह उन फ़्रेमों पर स्थिर हो जाता है, तो यह उन्हें एक साथ औसत करता है ताकि यह समझ सके कि क्या अलग है, उदाहरण के लिए, वास्तविक छवि डेटा क्या है बनाम शोर डेटा क्या है। इसलिए जब आपके पास अधिक से अधिक फ़्रेमों के बारे में अधिक से अधिक जानकारी होगी, तो आप वास्तव में सरल कार्य कर सकते हैं जैसे फ़्रेमों के बीच के अंतर को देखना। अंतर संभवतः शोर हैं, जबकि फ़्रेम में जो बराबर है वह संभवतः छवि डेटा है।
इसलिए हम शोर को कम करने के लिए वास्तविक समय सीमा का संयोजन कर सकते हैं। अब, आप यही काम कम रोशनी और एचडीआर के साथ भी कर सकते हैं और यह काफी हद तक वैसा ही है जैसा Google शायद कर रहा है। हमें उनके एल्गोरिदम की जानकारी नहीं है। लेकिन वे संवेदनशीलता बढ़ाने के लिए मल्टी-फ़्रेम तकनीकों का उपयोग कर रहे हैं ताकि आप बेहतर ढंग से "देख" सकें; एक बार जब आप शोर स्तर को कम कर लेते हैं, तो अब आप अधिक स्थानीय टोन मैपिंग करने, या अधिक शोर जोड़े बिना छवि में लाभ जोड़ने पर विचार कर सकते हैं।
तो इस तरह वे कम रोशनी के साथ-साथ एचडीआर को भी संभालते हैं। क्वालकॉम की ओर से मल्टी-फ्रेम नॉइज़ रिडक्शन फ़ीचर में संवर्द्धन आएगा, जिसमें कम रोशनी और एचडीआर भी शामिल होंगे। लेकिन यह एक ऐसी चीज़ है जिसे हम शीघ्र ही लागू करेंगे।
मिशाल रहमान: तो आपने शीघ्र ही इस सुविधा को शुरू करने का उल्लेख किया। क्या यह साझेदारों के लिए बीएसपी के लिए एक अपडेट की तरह आ रहा है?
जड हीप: हमारे अगली पीढ़ी के उत्पादों में, एक सॉफ्टवेयर जोड़ के माध्यम से, हमारे पास जुड़ने की क्षमता होगी - वास्तव में यह अभी अगले पर हो रहा है पीढ़ी के उत्पाद - हम अभी ग्राहकों के साथ शोर कम करने के अलावा और अधिक मल्टी-फ्रेम तकनीक करने के लिए, बल्कि एचडीआर और कम रोशनी को संभालने के लिए भी काम कर रहे हैं। स्थितियाँ. यह समान आधार ISP HW इंजन का उपयोग कर रहा है, लेकिन हम शोर में कमी के अलावा इन मल्टी-फ़्रेमों को संभालने के लिए और अधिक सॉफ़्टवेयर जोड़ रहे हैं।
इसलिए यह कोई ऐसी चीज़ नहीं है जिसे लॉन्च कर दिया गया है, बल्कि हम उन सुविधाओं पर कुछ प्रमुख ग्राहकों के साथ बातचीत कर रहे हैं।
विश्लेषण और संदर्भ: प्रत्येक नए स्नैपड्रैगन SoC घोषणा के साथ, क्वालकॉम की विनिर्देश तालिका में मल्टी-फ्रेम शोर में कमी से संबंधित विनिर्देश शामिल होते हैं। उदाहरण के लिए, स्नैपड्रैगन 865, अपने दोहरे 14-बिट सीवी-आईएसपी के साथ एक काल्पनिक 200MP एकल कैमरे तक का समर्थन करता है (भले ही सोनी, सैमसंग और ओमनीविज़न जैसे कैमरा सेंसर विक्रेताओं ने अभी तक 108MP से ऊपर कोई स्मार्टफोन कैमरा सेंसर जारी नहीं किया है)। हालाँकि, जब MFNR, जीरो शटर लैग (ZSL), और 30fps सपोर्ट के साथ सिंगल कैमरा सपोर्ट की बात आती है, विशिष्टता 64MP में बदल जाती है, और समान विशिष्टताओं वाले दोहरे कैमरों के लिए, विशिष्टता बदल जाती है 25MP.
क्वालकॉम का मल्टी-फ्रेम शोर कटौती एचडीआर + के समान है लेकिन पूरी तरह से समान नहीं है, जैसा कि ऊपर जड द्वारा बताया गया है। जबकि HDR+ अंडरएक्सपोज़्ड एक्सपोज़र की एक श्रृंखला लेता है और सर्वोत्तम फ़ोटो प्राप्त करने के लिए उनका औसत लेता है, MFNR पाँच-सात सामान्य फ़्रेम लेता है। ऐसा नहीं लगता कि क्वालकॉम का एमएफएनआर गूगल के समाधान जितना उन्नत है क्योंकि वर्तमान में एचडीआर और कम रोशनी को विशिष्ट प्राथमिकता नहीं बताया गया है। स्पेक्ट्रा के लिए वर्कफ़्लो, जबकि Google का HDR+ एक ही समय में HDR, कम रोशनी वाली फोटोग्राफी और शोर में कमी को लक्षित करता है, नाइट साइट इसे एक पायदान ऊपर ले जाती है आगे। हालाँकि, यह जानना उत्साहजनक है कि एमएफएनआर को संवर्द्धन प्राप्त हो रहा है और क्वालकॉम इन संवर्द्धन को "कुछ प्रमुख ग्राहकों" तक पहुंचाएगा। भविष्य में, शायद हमें गैर-Google एंड्रॉइड स्मार्टफोन कैमरों की पूरी क्षमता हासिल करने के लिए अनौपचारिक Google कैमरा पोर्ट की आवश्यकता नहीं होगी।
वीडियो के लिए सुपर रिज़ॉल्यूशन
मिशाल रहमान: तो, कुछ ऐसा जो मैंने टेक समिट में सुना। असल में, मुझे लगता है कि यह था के साथ एक साक्षात्कार में एंड्रॉइड अथॉरिटी. क्या क्वालकॉम भागीदारों के लिए एक सॉफ्टवेयर समाधान के रूप में वीडियो में सुपर रिज़ॉल्यूशन का विस्तार करने की योजना बना रहा है और यह स्पष्ट रूप से एक अपडेट में जारी किया जाएगा। मुझे आश्चर्य है कि क्या आपके पास इस सुविधा पर साझा करने के लिए कोई अपडेट है।
जड हीप: हाँ, तो यह एक ऐसी सुविधा है जिसे हम कुछ समय से करने में सक्षम थे, और यह अभी शुरू हो रही है। मैं यह नहीं कहूंगा कि यह सॉफ़्टवेयर अपडेट में है, लेकिन मैं कहूंगा कि यह मौजूदा मल्टी-फ़्रेम, कम-रोशनी सुविधा क्षमता के अतिरिक्त लाभ की तरह है। हम उस सुविधा पर कुछ विशिष्ट लीड ग्राहकों से जुड़ रहे हैं। तो हाँ, वीडियो सुपर रिज़ॉल्यूशन किसी अन्य पीढ़ी में कुछ है या इसलिए हमारे पास यह वैसा ही होगा जैसा हम करते हैं रिकॉर्ड सुविधा की एक योजना को कॉल करें जहां यह वास्तव में [द] के लिए सॉफ़्टवेयर कोड बेस में बनाया गया है कैमरा। लेकिन अभी, यह उस नई सुविधा के लिए विशिष्ट ग्राहक सहभागिता के स्तर पर अधिक है।
विश्लेषण और संदर्भ: वीडियो के लिए सुपर रिज़ॉल्यूशन एक ऐसी सुविधा है, जो अब तक स्मार्टफ़ोन कैमरों में दिखाई नहीं देती है। यह एक ऐसा नया क्षेत्र है इसके बारे में अभी भी शोध पत्र लिखे जा रहे हैं. फोटोग्राफी के लिए मल्टी-फ्रेम तकनीकों का उपयोग करना एक बात है, लेकिन वीडियो को उच्च रिज़ॉल्यूशन तक बढ़ाने के लिए वीडियो के लिए उनका उपयोग करना पूरी तरह से अलग मामला है। क्वालकॉम का कहना है कि वह इस सुविधा को "कुछ प्रमुख ग्राहकों" के लिए फिर से शुरू कर रहा है, लेकिन अभी, यह कैमरे के लिए सॉफ्टवेयर कोड बेस में नहीं बनाया गया है। भविष्य में, यह सभी के लिए उपलब्ध हो सकता है, लेकिन अभी के लिए, यह एक ऐसी सुविधा है जिसका अंतिम उपभोक्ता अभी तक उपयोग नहीं कर पाए हैं।
हाई-मेगापिक्सल क्वाड बायर सेंसर
इदरीस पटेल: आइए क्वाड बायर सेंसर के बारे में बात करते हैं। 2019 के बाद से, कई फोन में अब 48MP, 64MP और अब 108MP सेंसर भी हैं। ये क्वाड बायर सेंसर हैं; वास्तव में आपके पास 48 या 64 या 108MP का वास्तविक रंग रिज़ॉल्यूशन नहीं है। एक बात जो मैं पूछना चाहता था वह यह थी कि आईएसपी इन क्वाड बायर या नोना के लिए इमेज प्रोसेसिंग के मामले में कैसे भिन्न है बायर सेंसर (4-इन-1 या 9-इन-1 पिक्सेल बिनिंग), पारंपरिक सेंसर की तुलना में, जिनमें कोई पिक्सेल नहीं होता है बिनिंग.
जड हीप: हाँ, तो निश्चित रूप से इन क्वाड सीएफए (क्वाड कलर फिल्टर एरे) सेंसर का लाभ तेज रोशनी में चलने की क्षमता है उन्हें पूर्ण रिज़ॉल्यूशन पर, और फिर आईएसपी उन्हें पूर्ण 108 मेगापिक्सेल या 64 मेगापिक्सेल या जो भी हो, पर संसाधित कर सकता है उपलब्ध।
हालाँकि, आम तौर पर अधिकांश प्रकाश स्थितियों में, जैसे कि इनडोर या अंधेरे में, आपको बिन करना पड़ता है क्योंकि सेंसर पिक्सेल इतने छोटे होते हैं कि बेहतर प्रकाश संवेदनशीलता प्राप्त करने के लिए आपको पिक्सेल को संयोजित करना पड़ता है। तो मैं कहूंगा कि अधिकांश समय, खासकर यदि आप वीडियो शूट कर रहे हैं या यदि आप स्नैपशॉट के लिए कम रोशनी में हैं, तो आप बिन्ड मोड में चल रहे हैं।
अब, आईएसपी किसी भी तरह से सेंसर को प्रोसेस कर सकता है। आप सेंसर को बिन्ड मोड में देख सकते हैं, इस स्थिति में यह सिर्फ एक नियमित बायर छवि आ रही है, या यह इसे पूर्ण रिज़ॉल्यूशन मोड में देख सकता है जिसमें आने वाला डेटा क्वाड सीएफए है। और यदि यह उस मोड में है तो आईएसपी इसे बायर में परिवर्तित कर देता है।
तो हम कर रहे हैं - जिसे हम कहते हैं - "रीमोसैसिंग"। यह क्वाड सीएफए छवि का कुछ प्रक्षेप कर रहा है ताकि इसे फिर से पूर्ण रिज़ॉल्यूशन बायर जैसा बनाया जा सके। और यह आम तौर पर स्नैपशॉट के लिए सॉफ्टवेयर में किया जाता है, हालांकि हम अंततः वीडियो का समर्थन करने के लिए हार्डवेयर में भी इस क्षमता को जोड़ने जा रहे हैं।
आज आईएसपी हार्डवेयर में जो है वह बिनिंग है। तो आप सेंसर में बिन कर सकते हैं और आप वास्तव में सेंसर से यह तय कर सकते हैं कि यह पूर्ण या चौथाई या 1/9वें रिज़ॉल्यूशन में आउटपुट देगा या आप आईएसपी में बिन कर सकते हैं। और यह एक ऐसी सुविधा है जिसे हमने वास्तव में स्नैपड्रैगन 865 में जोड़ा है। इसलिए यदि आप आईएसपी में बिन करते हैं और फिर सेंसर को पूर्ण रिज़ॉल्यूशन पर चलाते हैं तो आईएसपी को एक ही समय में पूर्ण रिज़ॉल्यूशन छवि और बिन की गई छवि दोनों की क्षमता मिलती है। इसलिए, यह वीडियो (कैमकॉर्डर) और पूर्वावलोकन (व्यूफ़ाइंडर) के लिए छोटे रिज़ॉल्यूशन या "बिन्ड" छवि का उपयोग कर सकता है और साथ ही पूर्ण आकार के स्नैपशॉट के लिए पूर्ण रिज़ॉल्यूशन छवि का उपयोग कर सकता है।
लेकिन फिर, यह चमकदार रोशनी की स्थिति के मामले में होगा। लेकिन कम से कम यदि आप आईएसपी में हैं, तो आपके पास बड़ी और छोटी दोनों छवियों को संभालने की क्षमता है एक ही समय में, और इसलिए, आप एक साथ वीडियो और स्नैपशॉट प्राप्त कर सकते हैं, आप पूर्ण रिज़ॉल्यूशन भी प्राप्त कर सकते हैं जेडएसएल; यह सब सेंसर को आगे-पीछे स्विच किए बिना किया जा सकता है, जिसमें काफी समय लगता है।
यह वाकई एक अच्छी सुविधा है. और जैसा कि क्वाड सीएफए सेंसर और यहां तक कि आप जानते हैं, 9x सेंसर और शायद इससे भी अधिक सामने आते हैं, और जैसे-जैसे ये सेंसर अधिक होते जाते हैं सर्वव्यापी - हम हार्डवेयर में उन सेंसरों को संभालने के लिए अधिक से अधिक प्रयास कर रहे हैं, न केवल बिनिंग के लिए बल्कि इसके लिए भी पुनर्निर्माण
और इसलिए इसका लाभ यह है कि यदि आप इसे हार्डवेयर में करते हैं बनाम सॉफ़्टवेयर में करते हैं तो आप इसे कम कर देते हैं आपके ग्राहकों के लिए विलंबता और इसलिए, आपके शॉट से शॉट का समय और आपकी बर्स्ट दरें बहुत तेज़ होंगी। इसलिए जैसे-जैसे हम नए आईएसपी और नए चिप्स के साथ आगे बढ़ते हैं, आप हार्डवेयर में लगाए गए इन नए प्रकार के सेंसर के लिए हम क्या कर रहे हैं, यह देखना शुरू कर देंगे।
विश्लेषण और संदर्भ: Huawei 40MP क्वाड बायर सेंसर का उपयोग करने वाला पहला था हुआवेई P20 प्रो 2018 में, और क्वाड बायर सेंसर की लोकप्रियता इतनी अधिक थी कि अब इसने स्नैपड्रैगन/एक्सिनोस/मीडियाटेक चिप्स द्वारा संचालित 150 डॉलर के फोन तक भी अपनी जगह बना ली है। विशेष रूप से, हमने देखा है कि स्मार्टफोन उद्योग में 48MP और 64MP कैमरे सबसे पसंदीदा कैमरे के रूप में आते हैं, जबकि कुछ फोन 108MP तक भी जाते हैं। क्वाड बायर और नोना बायर सेंसर नकारात्मकताओं के बिना नहीं आते हैं, क्योंकि उनका पूरा रिज़ॉल्यूशन चेतावनियों के साथ आता है।
हालाँकि, मार्केटिंग कारणों से, 48MP सेंसर 12MP सेंसर की तुलना में बहुत बेहतर लगता है, भले ही उपयोगकर्ता वैसे भी ज्यादातर समय 12MP पिक्सेल बिन्ड तस्वीरें ले रहा हो। सैद्धांतिक रूप से 48MP सेंसर का परिणाम पारंपरिक 12MP की तुलना में कम रोशनी में बेहतर 12MP पिक्सेल वाली तस्वीरें आना चाहिए। सेंसर, लेकिन छवि प्रसंस्करण जारी रखना होगा, और जैसा कि मैंने नीचे उल्लेख किया है, इसके लिए अभी एक लंबा रास्ता तय करना है होना। बहरहाल, यह देखना दिलचस्प था कि स्पेक्ट्रा आईएसपी रीमोसैसिंग के साथ क्वाड बायर सेंसर को कैसे संभालता है। इन सेंसरों और वनप्लस 8 प्रो (जो बड़े पिक्सल के साथ सोनी IMX689 क्वाड बायर सेंसर का उपयोग करता है) जैसे फोन में बहुत संभावनाएं हैं। वर्तमान में स्मार्टफोन कैमरे के शिखर पर हैं.
एमएल-आधारित चेहरे की पहचान
मिशाल रहमान: तो मुझे लगता है कि पहले आपने उल्लेख किया था कि एमएल-आधारित चेहरे की पहचान स्पेक्ट्रा 480 में समर्थित है। यह कुछ ऐसा है जो मैंने वास्तव में टेक शिखर सम्मेलन में सुना था। [कि यह] 380 से 480 तक के सुधारों में से एक है; यह इसका हिस्सा है - वीडियो एनालिटिक्स इंजन में एक नया ऑब्जेक्टिव डिटेक्शन ब्लॉक है जिसका उपयोग आगे चलकर स्थानिक पहचान के लिए किया जाता है।
क्या आप इस बारे में अधिक बता सकते हैं कि इससे चेहरे की पहचान में कितना सुधार होता है और आप इसे विक्रेताओं द्वारा किन संभावित अनुप्रयोगों में उपयोग करते हुए देखते हैं?
जड हीप: हाँ वास्तव में, तो आप एम्बेडेड कंप्यूटर विज़न ब्लॉक में सही हैं, जो कि "ईवीए" ब्लॉक है, जिसके बारे में हमने टेक समिट में बात की थी। इसमें एक सामान्य ऑब्जेक्ट डिटेक्शन कोर है जिसका उपयोग हम तब कर रहे हैं जब कैमरा चल रहा है, हम इसका उपयोग चेहरों का पता लगाने के लिए कर रहे हैं। उस ब्लॉक की तकनीकें अधिक पारंपरिक तकनीकें हैं, इसलिए वस्तु की पहचान पारंपरिक के साथ की जाती है क्लासिफायर, लेकिन उसके शीर्ष पर हमारे पास वास्तव में उसकी सटीकता में सुधार करने के लिए एक सॉफ्टवेयर इंजन चल रहा है अवरोध पैदा करना।
इसलिए हम झूठी सकारात्मकताओं को फ़िल्टर करने के लिए एमएल-आधारित सॉफ़्टवेयर का उपयोग कर रहे हैं, क्योंकि हार्डवेयर दृश्य में चेहरों के रूप में अधिक चीज़ों का पता लगा सकता है, और फिर एमएल सॉफ़्टवेयर है कह रहा है, "ठीक है वह एक चेहरा है", या "वह वास्तव में एक चेहरा नहीं है" और इसलिए यह उस एमएल फ़िल्टर को शीर्ष पर चलाकर सटीकता को कुछ प्रतिशत अंक बढ़ा रहा है हार्डवेयर.
मैंने भविष्य के बारे में बहुत सी बातें बताईं। भविष्य में आगे बढ़ते हुए, हम जो करने की योजना बना रहे हैं वह वास्तविक संपूर्ण चेहरे की पहचान को एमएल में या सॉफ्टवेयर में डीप लर्निंग मोड में चलाना है। विशेष रूप से, यह निचले स्तरों पर सच होगा, उदाहरण के लिए उस स्तर पर जहां हमारे पास ईवीए हार्डवेयर इंजन नहीं है, हम गहन शिक्षण चरण शुरू करेंगे पता लगाने के रूप में, जो चिप के एआई इंजन में चल रहा है और फिर बाद में, 700-800 स्तरों में ऊपरी स्तरों पर हमारे पास ऐसा करने के लिए ईवीए हार्डवेयर है...
हालाँकि, मैं सामान्य तौर पर कहूंगा, हम चेहरे का पता लगाने के लिए एमएल दृष्टिकोण की ओर अधिक बढ़ेंगे और इसमें मध्यम अवधि में सॉफ्टवेयर और बाद की अवधि में हार्डवेयर दोनों शामिल होंगे। मैं यह खुलासा नहीं करने जा रहा हूं कि किन उत्पादों में यह होगा, लेकिन निश्चित रूप से जैसे-जैसे हम आईएसपी में सुधार करने के लिए आगे बढ़ेंगे, हम निश्चित रूप से एमएल करने के लिए अधिक से अधिक हार्डवेयर क्षमता जोड़ेंगे।
मिशाल रहमान: बहुत बढ़िया। ठीक है, मुझे लगता है कि यह एक दी हुई बात है कि आप जिस दिशा में जा रहे हैं, वह 800 सीरीज़ की मशीन लर्निंग में सुधार को निचले स्तर तक ला रही है, इसलिए मुझे लगता है कि यह आम तौर पर एक दी हुई बात है। लेकिन निश्चित रूप से, आप हमें इस पर कोई विशेष जानकारी नहीं दे सकते। अद्यतन करने के लिए धन्यवाद।
जड हीप: चेहरा पहचानना एक ऐसी चीज़ है जिसके प्रति हम बहुत जुनूनी हैं। हम इन सटीकताओं में सुधार करना चाहते हैं, आप 800 स्तर से लेकर 400 स्तर तक सभी स्तरों पर पीढ़ी दर पीढ़ी जानते हैं। एमएल उसका एक बड़ा हिस्सा है।
विश्लेषण और संदर्भ: ये पहलू स्मार्टफोन की फोटोग्राफी को नवीनतम मिररलेस कैमरों की तुलना में कहीं अधिक क्षमता प्रदान करते हैं। हां, मिररलेस कैमरों की कम रोशनी में छवि गुणवत्ता बेहतर होती है और वे अधिक लचीले होते हैं, लेकिन स्मार्टफोन कैमरे सरल तरीकों से अपनी सीमाओं को पार कर रहे हैं। एमएल-आधारित चेहरे का पता लगाना उसी का एक हिस्सा है।
इमेज प्रोसेसिंग इंजन में सुधार
मिशाल रहमान: बहुत बढ़िया। इसलिए स्नैपड्रैगन टेक शिखर सम्मेलन के बाद गोलमेज चर्चा के दौरान मैंने जो बातें संक्षेप में सुनीं उनमें से एक इमेज प्रोसेसिंग इंजन में सुधार था। मैंने सुना है कि निम्न मध्यम आवृत्ति शोर कटौती या LEANR में सुधार किया गया है। और यह कि आप एक गतिशील रिवर्स गेन मैप लागू कर रहे हैं; क्या यह कुछ ऐसा है जिसका आपने पहले बातचीत में उल्लेख किया था।
जड हीप: ओह ठीक है। तो मुझे लगता है कि आप दो चीज़ों को एक साथ मिला रहे हैं। हाँ, तो LEANR कोर है, जो वह कोर है जो अधिक मोटे अनाज पर शोर कम करने पर काम करता है, जो कम रोशनी में मदद करता है। यह एक नया ब्लॉक है जिसे स्नैपड्रैगन 865 में आईएसपी में जोड़ा गया था, और यह एक बात है।
रिवर्स गेन मैप कुछ और है. यह कुछ और है जिसका मैंने गोल मेज पर उल्लेख किया था, लेकिन वह लेंस शेडिंग के प्रभावों को उलटना है। तो जैसा कि आप जानते हैं, यदि आपके पास एक हैंडसेट है और उसमें एक छोटा लेंस है; लेंस का केंद्र चमकीला होगा और किनारे अधिक चमकीले होंगे; मतलब वे गहरे हो जायेंगे।
और इसलिए आईएसपी में पिछले वर्षों में, हमने उन अंधेरे किनारों से छुटकारा पाने के लिए एक स्थिर रिवर्स गेन मैप लागू किया है। और इसलिए वह काफी समय से आईएसपी में है। हालाँकि, हमने स्नैपड्रैगन 865 में जो जोड़ा है, वह विशेष छवि फ्रेम को देखते हुए उस लाभ मानचित्र को गतिशील रूप से बदलने की क्षमता है, क्योंकि यदि आप किनारों पर बहुत अधिक लाभ लागू करते हैं क्या होता है कि किनारे कट सकते हैं, खासकर यदि आप बाहर चमकदार रोशनी वाले दृश्य देख रहे हैं, जैसे नीला आकाश सफेद हो सकता है या बहुत सी चीजों के कारण किनारे कट सकते हैं। पाना।
तो स्नैपड्रैगन 865 में, वह रिवर्स गेन मैप स्थिर नहीं है; यह गतिशील है. तो हम छवि को देख रहे हैं और हम कहते हैं, "ठीक है छवि के इन हिस्सों को क्लिप किया जा रहा है और उन्हें नहीं किया जाना चाहिए" ताकि हम रोल कर सकें लाभ मानचित्र को स्वाभाविक रूप से हटा दें ताकि आपको लेंस को सही करने से चमकदार फ्रिंज या हेलो प्रभाव या इस प्रकार की कोई चीज़ न मिले छायांकन. तो यह शोर में कमी से अलग है, और वे दो अलग-अलग कोर हैं।
कम रोशनी में फोटोग्राफी और आक्रामक शोर में कमी
इदरीस पटेल: तो एक चीज़ जिसके बारे में मैं पूछना चाहता था वह कम रोशनी वाली फोटोग्राफी थी। पिछले कुछ वर्षों की तरह, बहुत सारे [ओईएम-कार्यान्वित] रात्रि मोड आए हैं, लेकिन एक चीज जो मैं नोटिस कर रहा हूं वह यह है कई डिवाइस निर्माता आक्रामक शोर में कमी लाते हैं, जो विस्तार को कम कर देता है, उस बिंदु तक जहां चमकदार शोर भी कम हो जाता है निकाला गया।
तो मेरा सवाल यह है कि क्या क्वालकॉम किसी भी डिवाइस निर्माता को ऐसा न करने की सलाह दे रहा है और क्या यह कुछ ऐसा है जो उनकी प्रोसेसिंग पाइपलाइन करती है, या क्या यह एसओसी में आईएसपी से प्रभावित है।
जड हीप: इसमें से बहुत कुछ ट्यूनिंग से संबंधित है, और यदि आपके पास मल्टी-फ्रेम नहीं है, या मैं कहूंगा कि उच्च संवेदनशीलता या कम एफ संख्या वाले ऑप्टिक्स के साथ एक बहुत अच्छा छवि सेंसर उपलब्ध नहीं है। विशेष रूप से कम रोशनी में शोर से छुटकारा पाने का एक तरीका अधिक शोर कटौती लागू करना है, लेकिन जब आप अधिक शोर कटौती लागू करते हैं तो क्या होता है कि आप विवरण खो देते हैं, इसलिए तेज किनारे धुंधले हो जाते हैं। अब, यदि आप इन मल्टी-फ़्रेम तकनीकों को लागू करते हैं तो आप इससे छुटकारा पा सकते हैं। या यदि आप एआई तकनीक लागू करते हैं, जो यह पता लगा सकता है कि वस्तुओं और चेहरों के किनारे कहाँ हैं, और उस तरह की चीज़। इसलिए इस दिन और उम्र में केवल क्रूर बल शोर में कमी लागू करना वास्तव में इसे संभालने का तरीका नहीं है क्योंकि आप विवरण खो देते हैं।
आप जो करना चाहते हैं वह मल्टी-फ़्रेम तकनीक या एआई तकनीक करना है ताकि आप अभी भी शोर लागू कर सकें अच्छे साफ़ किनारों को रखते हुए या नुकीले किनारों को चालू रखते हुए वस्तुओं के आंतरिक क्षेत्रों को और अधिक समान बनाना वस्तुएं. तो मैं यही कहूंगा: एआई या मल्टी-फ्रेम का उपयोग शोर को कम करने और कम रोशनी में इमेजरी को बेहतर बनाने का तरीका है।
इदरीस पटेल: हाँ, और यही वही है जो मैं सुनना चाहता था। [यह] क्योंकि यही वह मुख्य चीज़ है जो शानदार स्मार्टफोन कैमरों को मध्य-स्तरीय या बजट-स्तरीय कैमरों से अलग करती है।
जड हीप: हाँ।
इदरीस पटेल: बढ़िया स्मार्टफोन कैमरे जानते हैं कि कब शोर कम करना है और कब नहीं।
जड हीप: बिल्कुल। हाँ, और जैसा कि मैंने कहा, कैमरा ट्यूनिंग वास्तव में हमारे ग्राहकों या ओईएम द्वारा की जाती है, और कुछ ओईएम कम शोर वाली नरम छवि पसंद करते हैं। कुछ लोग शायद थोड़े अधिक शोर के साथ अधिक विवरण प्रकट करना पसंद करते हैं।
और इसलिए यह एक समझौता है और इसलिए आपकी सीमाएं हैं। और यह ऐसा है जैसे मैंने कहा कि सबसे अच्छी बात यह है कि उच्च संवेदनशीलता वाला एक बेहतर छवि सेंसर प्राप्त किया जाए, बड़े पिक्सेल या कम एफ-नंबर ऑप्टिक्स, क्योंकि तब आपको शुरू से ही अधिक रोशनी मिलती है, ऐसा हमेशा होता है बेहतर। लेकिन यदि आप ऐसा नहीं कर सकते हैं, तो केवल शोर कम करने और विवरण खोने के बजाय, आप जो करना चाहते हैं वह मल्टी-फ्रेम या एआई तकनीकों का उपयोग करना है।
विश्लेषण और संदर्भ: मेरी राय में, यह वर्तमान में स्मार्टफोन कैमरों के साथ सबसे बड़ा मुद्दा है। हां, आप 48MP या 64MP या यहां तक कि 108MP सेंसर का उपयोग कर सकते हैं। हालाँकि, यदि आप एमएफएनआर या एआई तकनीकों के साथ नियंत्रित शोर में कमी का उपयोग करने का विकल्प नहीं चुनते हैं, तो वे सभी मेगापिक्सेल, 4-इन-1 बिनिंग और यहां तक कि 9-इन-1 बिनिंग भी बहुत उपयोगी नहीं हैं। गैलेक्सी S20 अल्ट्रा इसका प्रमुख उदाहरण है, इसका 108MP प्राइमरी कैमरा है इसे काफी हद तक निराशाजनक माना गया. सैमसंग अपने 2020 फ्लैगशिप में नाइट मोड में बेहद आक्रामक शोर कटौती का उपयोग करके इमेज प्रोसेसिंग में पीछे चला गया, जबकि 2019 गैलेक्सी एस 10 श्रृंखला में विडंबना यह है कि छवि गुणवत्ता बेहतर थी।
जुड ने खुलासा किया कि कुछ ओईएम वास्तव में कम शोर वाली नरम छवि पसंद करते हैं, जो मूल रूप से गलत विकल्प है। ट्यूनिंग डिवाइस निर्माताओं द्वारा बनाई जाती है और इसलिए, एक ही सेंसर का उपयोग करने वाले और एक ही SoC द्वारा संचालित होने वाले दो फोन बहुत, बहुत अलग तस्वीरें आउटपुट कर सकते हैं। आशा की जानी चाहिए कि ये उपकरण निर्माता अपने बेहतर प्रदर्शन करने वाले प्रतिस्पर्धियों से सच्चाई सीखेंगे। जबकि सैमसंग ने इस साल इमेज प्रोसेसिंग में अपना रास्ता खो दिया है, वनप्लस इसके बिल्कुल विपरीत रहा है। वनप्लस 8 प्रो बाजार में सबसे अच्छे स्मार्टफोन कैमरों में से एक है, जो 2017 में वनप्लस 5T के कैमरे के बहुत खराब आउटपुट को देखते हुए एक उल्लेखनीय उपलब्धि है। तस्वीरों को बेहतर बनाने के लिए इमेज प्रोसेसिंग मानसिकता को बदलना होगा, भले ही मेगापिक्सेल युद्ध कितना भी चल रहा हो।
AV1 डिकोडिंग और एन्कोडिंग
मिशाल रहमान: तो यह कैमरा गुणवत्ता के बारे में हमारे द्वारा की जा रही अन्य चर्चाओं से थोड़ा अलग है। ओपन सोर्स मीडिया कोडेक समुदाय में कुछ लोग जिन चीजों के बारे में सोच रहे हैं उनमें से एक यह है कि क्वालकॉम कब समर्थन करेगा AV1 डिकोडिंग और संभवतः एन्कोडिंग। मुझे पता है कि यह थोड़ा कठिन है लेकिन Google को AV1 डिकोडिंग और नेटफ्लिक्स का समर्थन करने के लिए एंड्रॉइड 10 पर 4K HDR और 8K टीवी की आवश्यकता है, यूट्यूब, वे AV1 में एन्कोड किए गए वीडियो का रोलआउट शुरू कर रहे हैं। तो ऐसा लगता है कि AV1 एन्कोडेड वीडियो की गति धीमी है। इसलिए हम सोच रहे हैं कि स्पेक्ट्रा में कम से कम डिकोडिंग समर्थन कब उपलब्ध होगा।
क्वालकॉम का बयान: AV1 पर आपके प्रश्न के अनुसार - आज हमारे पास घोषणा करने के लिए कुछ नहीं है। हालाँकि, स्नैपड्रैगन वर्तमान में सॉफ़्टवेयर के माध्यम से AV1 प्लेबैक करने में सक्षम है। क्वालकॉम हमेशा सॉफ्टवेयर और हार्डवेयर निर्माण के माध्यम से अगली पीढ़ी के कोडेक्स पर भागीदारों के साथ काम कर रहा है एचईआईएफ, एचएलजी, एचडीआर10, एचडीआर10+ और डॉल्बी में कैप्चर और प्लेबैक सहित एचडीआर कोडेक्स में स्नैपड्रैगन अग्रणी है। दृष्टि। बेशक, हम अपने ग्राहकों के लिए सर्वोत्तम कोडेक अनुभव लाने का एहसास करते हैं, जिसमें उच्च रिज़ॉल्यूशन और न्यूनतम शक्ति का समर्थन शामिल है, जिसे एचडब्ल्यू में लागू करना वांछित है।
वीडियो रिकॉर्डिंग - गति मुआवजा
मिशाल रहमान: तो मुझे नहीं पता कि इदरीस के पास कोई और प्रश्न है या नहीं, लेकिन मेरे पास स्नैपड्रैगन टेक शिखर सम्मेलन में पढ़ी गई किसी चीज़ के बारे में एक प्रश्न था। यह गति क्षतिपूर्ति वीडियो कोर के बारे में है। मैंने सुना है कि वीडियो रिकॉर्डिंग के दौरान शोर को कम करने के लिए मोशन कंपंसेशन इंजन में कुछ सुधार किए गए हैं। मैं सोच रहा था कि क्या आप इस पर विस्तार कर सकते हैं कि इसमें वास्तव में क्या सुधार किया गया है और क्या किया गया है।
जड हीप: ईवीए (वीडियो एनालिटिक्स के लिए इंजन) इंजन को अधिक सघन मोशन मैप कोर के साथ बेहतर बनाया गया है ताकि ईवीए उदाहरण के लिए, इंजन हमेशा आने वाले वीडियो को देखता रहता है और इसमें एक कोर होता है जो गति करता है अनुमान। हमने जो किया है वह यह है कि हमने उस कोर को बहुत अधिक सटीक बना दिया है जहां यह इसे अधिक की तरह करने के बजाय लगभग प्रति पिक्सेल स्तर पर करता है मोटे ब्लॉक स्तर और इसलिए हमें स्नैपड्रैगन 865 में ईवीए इंजन से पहले की तुलना में बहुत अधिक मोशन वैक्टर मिल रहे हैं पीढ़ियों. और इसका मतलब यह है कि एन्कोडिंग करने वाला वीडियो कोर उन मोशन वैक्टरों का अधिक उपयोग कर सकता है एनकोड के बारे में सटीक है, लेकिन कैमरे की तरफ आईएसपी उस जानकारी का उपयोग शोर के लिए भी करता है कमी।
तो जैसा कि आप जानते हैं, पीढ़ियों से हमारे पास गति क्षतिपूर्ति अस्थायी फ़िल्टरिंग है, जो वास्तव में वीडियो के दौरान सक्रिय शोर में कमी है, जो शोर से छुटकारा पाने के लिए समय के साथ फ्रेम का औसत करती है।
हालाँकि, उस तकनीक के साथ समस्या यह है कि क्या आपके पास दृश्य में गति है। आंदोलन केवल शोर में कमी से खारिज कर दिया जाता है क्योंकि इसे संभाला नहीं जा सकता है या यह धुंधला हो जाता है, और आपको चलती चीजों पर ये बदसूरत निशान और कलाकृतियां मिलती हैं। इसलिए, गति क्षतिपूर्ति अस्थायी फ़िल्टरिंग में, हमने अतीत में क्या किया है क्योंकि हमारे पास स्थानीय के लिए यह सघन गति मानचित्र नहीं था गति, हमारे पास - केवल तभी मामलों को संभाला जाता है जब आप कैमरा घुमा रहे होते हैं, यह काफी आसान है क्योंकि सब कुछ चल रहा है विश्व स्तर पर.
लेकिन अगर आप कुछ शूट कर रहे हैं और आपके पास दृश्य के भीतर कोई वस्तु घूम रही है, तो हमने पहले क्या किया था [वह था] हमने उन पिक्सेल को केवल इसलिए नज़रअंदाज कर दिया क्योंकि हम उन्हें शोर के लिए संसाधित नहीं कर सकते थे, क्योंकि यह स्थानीय रूप से गतिशील था वस्तु। और इसलिए, यदि आपने फ़्रेम-दर-फ़्रेम का औसत निकाला है, तो ऑब्जेक्ट प्रत्येक फ़्रेम में एक अलग स्थान पर था, इसलिए आप वास्तव में इसे संसाधित नहीं कर सकते।
लेकिन स्नैपड्रैगन 865 पर, क्योंकि हमारे पास अधिक सघन मोशन मैप है और हमारे पास लगभग एक पिक्सेल पर मोशन वैक्टर को देखने की क्षमता है पिक्सेल के आधार पर, हम वास्तव में शोर में कमी के लिए फ्रेम दर फ्रेम उन स्थानीय रूप से स्थानांतरित पिक्सेल को संसाधित करने में सक्षम हैं, जबकि पहले हम ऐसा नहीं कर सकते थे। मुझे लगता है कि मैंने बातचीत में एक मीट्रिक का उल्लेख किया था। मुझे नंबर याद नहीं है (यह 40% था) लेकिन अधिकांश वीडियो के लिए यह औसतन पिक्सेल का एक बड़ा प्रतिशत था जिसे अब शोर के लिए संसाधित किया जा सकता है जबकि पिछली पीढ़ी में, ऐसा नहीं किया जा सकता था। और यह वास्तव में स्थानीय गति को समझने की क्षमता रखने का हिस्सा है, न कि केवल वैश्विक गति का।
वीडियो रिकॉर्डिंग - एचडीआर
इदरीस पटेल: मेरा दूसरा प्रश्न एचडीआर वीडियो के बारे में है। इस साल, मैं देख रहा हूं कि कई और डिवाइस निर्माता एचडीआर10 वीडियो रिकॉर्डिंग की पेशकश कर रहे हैं। तो क्या यह कुछ ऐसा है जिसे स्नैपड्रैगन 865 के साथ प्रचारित किया गया था, या यह कुछ पीढ़ियों से मौजूद है।
जड हीप: अरे हाँ, तो जैसा कि हमने टेक समिट में इसके बारे में बात की थी, हमारे पास एचडीआर10 है, जो एचडीआर के लिए वीडियो मानक है मेरा मानना है कि स्नैपड्रैगन 845 के बाद से कैमरा एन्कोडिंग पक्ष अब कुछ पीढ़ियों से है, और हमने लगातार सुधार किया है वह।
इसलिए पिछले साल, हमने HDR10+ के बारे में बात की थी, जो 10-बिट HDR रिकॉर्डिंग है, लेकिन इसमें स्थिर मेटाडेटा के बजाय गतिशील मेटाडेटा होता है, इसलिए मेटाडेटा जो कैमरे द्वारा कैप्चर किया जाता है दृश्य वास्तव में वास्तविक समय में रिकॉर्ड किया जाता है, ताकि जब आप इसे वापस चलाएं तो प्लेबैक इंजन समझ सके कि यह एक अंधेरा कमरा था या एक उज्ज्वल कमरा, और यह इसकी भरपाई कर सकता है वह।
हमने पिछले साल टेक समिट में डॉल्बी विज़न कैप्चर के बारे में भी बात की थी, जो डॉल्बी का HDR10+ का विकल्प है। यह बहुत समान है जहां वे वास्तव में गतिशील मेटाडेटा भी उत्पन्न करते हैं। इसलिए स्नैपड्रैगन आज इन तीनों प्रारूपों का समर्थन कर सकता है: HDR10, HDR10+, और Dolby Vision कैप्चर। और इसलिए वास्तव में कोई बाधा नहीं है, हमारे ओईएम अपनी पसंद के अनुसार कोई भी तरीका चुन सकते हैं। पिछले कुछ समय से हमारे पास HDR10 का उपयोग करने वाले ग्राहक हैं, और हमारे पास पिछले वर्ष और इस वर्ष अधिक से अधिक ग्राहक HDR10+ चुन रहे हैं। और मुझे लगता है कि भविष्य में, आप डॉल्बी विज़न कैप्चर को भी कुछ हद तक अपनाते हुए देखेंगे।
तो हाँ, हम इसका ज़ोर-शोर से प्रचार कर रहे हैं। एचडीआर हमारे लिए वास्तव में महत्वपूर्ण है, स्नैपशॉट पक्ष और वीडियो पक्ष दोनों पर। और जैसा कि मैंने कहा, हम एचडीआर10 और एचडीआर10+ और अब डॉल्बी विजन प्रारूपों के लिए प्रतिबद्ध हैं, आप स्नैपड्रैगन 845 के बाद से जानते हैं और अब हाल ही में डॉल्बी विजन के लिए स्नैपड्रैगन 865 भी।
मिशाल रहमान: इसके अलावा, मैं वास्तव में निश्चित नहीं था कि क्या किसी विक्रेता ने अभी तक डॉल्बी विज़न रिकॉर्डिंग लागू की है, लेकिन मुझे लगता है कि यह उस प्रश्न का उत्तर है। [वह] कुछ ऐसा है जिसे हम भविष्य में देखेंगे।
जड हीप: बेशक - मैं इस पर टिप्पणी नहीं कर सकता कि कौन से विक्रेता रुचि रखते हैं और किस तरह की चीज़ में रुचि रखते हैं। यह डॉल्बी के लिए एक प्रश्न होगा; यह उनकी विशेषता है और इसलिए यदि आप इसके बारे में अधिक जानकारी चाहते हैं, तो मैं डॉल्बी से संपर्क करने का सुझाव दूंगा। लेकिन आज तक, जहां तक मुझे पता है, ऐसा कोई हैंडसेट नहीं है जो डॉल्बी विज़न कैप्चर के साथ आया हो।
इदरीस पटेल: क्योंकि आपको डिस्प्ले सपोर्ट की भी जरूरत है। मैंने देखा है कि स्मार्टफोन के डिस्प्ले HDR10 और HDR10+ को सपोर्ट करते हैं लेकिन डॉल्बी विजन को नहीं।
जड हीप: हाँ वास्तव में, लेकिन डॉल्बी विज़न प्लेबैक को अतीत में स्नैपड्रैगन पर समर्थित किया गया है। यह किसी दिए गए डिस्प्ले के साथ काम कर सकता है और डिस्प्ले को डॉल्बी विजन के अनुरूप होने के लिए किसी भी विशिष्ट मानदंड को पूरा करने की आवश्यकता नहीं है, सिवाय इसके कि डॉल्बी डिस्प्ले को ग्रेड करेगा और सुनिश्चित करेगा कि इसमें एक निश्चित रंग सरगम, गामा, एक निश्चित बिट गहराई, एक निश्चित चमक और एक निश्चित कंट्रास्ट है। अनुपात।
तो, आप जानते हैं, आप HDR10 डिस्प्ले खरीद सकते हैं, लेकिन आप एक ऐसा हैंडसेट भी खरीद सकते हैं जो डॉल्बी विज़न को सपोर्ट करता हो प्लेबैक, लेकिन डोबी ने उस डिस्प्ले को क्वालिफाई कर लिया होगा ताकि यह सुनिश्चित हो सके कि यह उनके सख्त के अनुरूप है आवश्यकताएं।
सॉफ़्टवेयर विक्रेताओं के साथ सहयोग: Imint, Morpho, और Arcsoft
मिशाल रहमान: मुझे लगता है कि मेरे लिए केवल एक प्रश्न का अनुसरण करना है, जिस कंपनी के साथ हमने हाल ही में बात की है, उस पर अधिक शोध करना है। Imint. उन्होंने हाल ही में अपना अपग्रेड किया है विधान स्थिरीकरण सॉफ्टवेयर को स्पेक्ट्रा 480 के साथ काम करें. मैं जानता हूं कि आप लोग बहुत सी कंपनियों के साथ काम करते हैं जो स्पेक्ट्रा 480, प्रोसेसिंग का भी लाभ उठाते हैं। मैं सोच रहा हूं कि क्या आप इन तकनीकों के और उदाहरणों का खुलासा करने में सक्षम हैं - या आपके पास जो भागीदार हैं के साथ काम किया, बस इसलिए यह] कुछ ऐसा है जिस पर हम अनुसरण कर सकते हैं, इस बारे में और जानें कि स्पेक्ट्रा 480 का उपयोग कैसे किया जा रहा है मैदान।
जड हीप: हम बहुत सारे सॉफ़्टवेयर विक्रेताओं के साथ काम करते हैं। जैसा कि हमने पहले उल्लेख किया था, डॉल्बी उनमें से एक है। जैसा कि आपने उल्लेख किया है, अन्य भी हैं, ईआईएस (इलेक्ट्रॉनिक छवि स्थिरीकरण) के लिए आईमिंट/विडेंस। हमने पहले मॉर्फो और आर्कसॉफ्ट का भी उल्लेख किया था, हम उनके साथ भी बहुत करीब से काम करते हैं।
हालाँकि जहाँ तक हम उनके साथ काम करने के तरीके का सवाल है, हमारी नीति यह है कि हम वास्तव में इन स्वतंत्र सॉफ्टवेयर विक्रेताओं के साथ मिलकर काम करना चाहते हैं और बनाना चाहते हैं सुनिश्चित करें कि वे सॉफ़्टवेयर में जो कुछ भी कर रहे हैं, वे न्यूनतम बिजली खपत प्राप्त करने के लिए स्नैपड्रैगन में हार्डवेयर का लाभ उठाने में सक्षम हैं संभव।
इसलिए हम इन विक्रेताओं के साथ जो काम कर रहे हैं उनमें से एक यह सुनिश्चित करना है कि उनके पास एचवीएक्स इंजन, या हेक्सागोन डीएसपी कोर तक वास्तव में अच्छी पहुंच है। वे मोशन वेक्टर प्राप्त करने और हार्डवेयर का उपयोग करने के लिए ईवीए इंजन का भी उपयोग कर रहे हैं और छवि हेरफेर के लिए ईवीए इंजन का उपयोग कर रहे हैं ताकि वे जीपीयू का उपयोग करने के बजाय हार्डवेयर में छवि आंदोलन, अनुवाद और डी-वार्पिंग और उस तरह की चीजें कर सकते हैं वह।
और इसलिए, हम वास्तव में इन आईएसवी के साथ मिलकर काम करते हैं, विशेष रूप से जिनका मैंने विशेष रूप से उल्लेख किया है, यह सुनिश्चित करने के लिए कि वे सिर्फ सब कुछ नहीं डाल रहे हैं और सीपीयू में सॉफ्टवेयर लेकिन वे बेहतर प्रदर्शन और कम पावर पाने के लिए ईवीए में डीएसपी और हार्डवेयर एक्सेलेरेटर जैसी चीजों का उपयोग कर रहे हैं उपभोग। तो यह वास्तव में हमारे लिए भी महत्वपूर्ण है क्योंकि यह हमारे ग्राहकों को सुविधाओं और बिजली की खपत का सर्वोत्तम संभव मिश्रण प्रदान करता है।
[जड की ओर से समापन टिप्पणियाँ]: मैं बस इतना कहना चाहता था, सभी अच्छे सवालों के लिए आप लोगों को धन्यवाद। वे वास्तव में, वास्तव में विस्तृत हैं। मैं अब लगभग तीन वर्षों से क्वालकॉम में हूं और अपने अतीत को देख रहा हूं, यहां तक कि अपने कार्यकाल से भी आगे जहां हमने पहले स्पेक्ट्रा पर शुरुआत की थी स्नैपड्रैगन 845, हमने पिछले कई वर्षों में आईएसपी, कैमरा और समग्र अनुभव में नाटकीय रूप से सुधार करने के लिए वास्तव में कड़ी मेहनत की है साल। मैं वास्तव में इस बात को लेकर भी उत्साहित हूं कि भविष्य क्या लेकर आएगा। और मैं इस बात से उत्साहित हूं कि हम भविष्य के तकनीकी शिखर सम्मेलनों में क्या घोषणा करेंगे जिसके बारे में आप लोग पूछ सकेंगे और लिख सकेंगे। [स्पेक्ट्रा कैमरा], शायद, मेरी राय में, क्वालकॉम की सबसे रोमांचक तकनीकों में से एक है।
अंतिम विचार
स्मार्टफोन फोटोग्राफी में क्वालकॉम के योगदान के बारे में जड के साथ चर्चा करना बहुत अच्छा था। कंपनी और उनके पेटेंट लाइसेंसिंग सिस्टम के बारे में हमारी मिश्रित भावनाएं हो सकती हैं, लेकिन स्मार्टफोन उद्योग पर क्वालकॉम की छाप हर कोई महसूस करता है, चाहे आप इसके बारे में बात करें पेटेंट, 4जी और 5जी, वाई-फाई, एड्रेनो जीपीयू, स्पेक्ट्रा आईएसपी और स्वयं स्नैपड्रैगन चिप्स, जिन्हें काफी हद तक एंड्रॉइड स्मार्टफोन में स्वर्ण मानक माना जाता है। बाज़ार।
स्मार्टफोन फोटोग्राफी में अभी भी कई समस्याएँ हैं जिनका समाधान किया जाना बाकी है, लेकिन भविष्य है क्वालकॉम के रूप में उज्ज्वल, एमएल के विशाल, बढ़ते क्षेत्रों में और अधिक प्रगति करने का वादा करता है, जो शक्तियाँ हैं ऐ. आइए देखें कि क्वालकॉम अगले स्नैपड्रैगन टेक समिट में इस क्षेत्र में क्या घोषणा करता है।