एक रिपोर्ट में कहा गया है कि Huawei को बेंचमार्क में धोखाधड़ी करते हुए पाया गया है। प्रतिक्रिया में UL ने Huawei P20/P20 Pro, Huawei Nova 3 और Honor Play को 3DMark से हटा दिया।
बेंचमार्क हमेशा पीसी और मोबाइल क्षेत्र दोनों में हार्डवेयर के प्रदर्शन को मापने का एक लोकप्रिय तरीका रहा है। बेंचमार्क धोखाधड़ी तब होती है जब एक उपकरण निर्माता गलत तरीके से बेंचमार्क के साथ खिलवाड़ करने की कोशिश करता है, जिससे परिणाम वास्तव में बेहतर हो जाते हैं। धोखाधड़ी किसी भी बेंचमार्क परीक्षण में हो सकती है, जिसमें सीपीयू, सिस्टम या जीपीयू प्रदर्शन को मापने वाले परीक्षण भी शामिल हैं। बेंचमार्क पर धोखा देने का स्पष्ट लक्ष्य यह है कि ग्राहकों को यह विश्वास हो जाए कि उत्पाद ए, उत्पाद बी से बेहतर है। दुर्भाग्य से, इसका मतलब यह है कि हार्डवेयर में अंतर्निहित कमजोरियों को धोखाधड़ी द्वारा छुपाया जाता है। सीधे शब्दों में कहें तो, यह उद्योग में शामिल सभी पक्षों के लिए घाटे की स्थिति है: चिप विक्रेता, डिवाइस निर्माता, और सबसे बढ़कर, अंतिम उपभोक्ता।
एक दशक से भी अधिक समय पहले पीसी क्षेत्र में धोखाधड़ी बड़े पैमाने पर थी, लेकिन शुक्र है कि यह प्रथा लगभग समाप्त हो गई है। मोबाइल की दुनिया में, आंद्रेई फ्रुमुसानु (अब मोबाइल संपादक)
आनंदटेक) बेंचमार्क धोखाधड़ी का पता चला 2013 में सैमसंग गैलेक्सी S4 के Exynos वैरिएंट पर। आनंदटेक इसके बाद मोबाइल संपादकों ने पाया कि कई स्मार्टफोन विक्रेताओं द्वारा विभिन्न प्रकार की बेंचमार्क धोखाधड़ी की जा रही है। गैलेक्सी एस4 और सैमसंग गैलेक्सी नोट 3 जैसे कुछ प्रमुख स्मार्टफोन समान थे बेंचमार्क से डी-लिस्ट किया गया 3DMark की तरह, Futuremark जैसी कंपनियों ने सार्वजनिक रूप से डिवाइस निर्माताओं को बाहर करने का विकल्प चुना।2013 में इस व्यवहार के लिए आलोचना किए जाने के बाद, अधिकांश डिवाइस निर्माताओं ने अपनी बेंचमार्क धोखाधड़ी बंद कर दी है। कुछ OEM को Meizu पसंद है उनके उपयोगकर्ता इंटरफ़ेस में अभी भी "प्रदर्शन" मोड हैं, लेकिन ऐसे मोड अधिकतर उपयोगकर्ता-कॉन्फ़िगर करने योग्य हैं। पिछले साल, हमें सबूत मिले कि वनप्लस गीकबेंच जैसे कुछ लोकप्रिय बेंचमार्क में धोखाधड़ी कर रहा था. वनप्लस से प्रथा बंद कर दी वनप्लस 5टी और कुल मिलाकर बेंचमार्क धोखाधड़ी अतीत की बात हो गई है।
एक नए विकास ने इस गलत धारणा को सही कर दिया है। आनंदटेक संपादक आंद्रेई फ्रुमुसानु और इयान कट्रेस हैं एक रिपोर्ट प्रकाशित की 2018 में Huawei और Honor स्मार्टफोन जैसे Huawei P20, Huawei P20 Pro और Honor Play द्वारा GPU बेंचमार्क में किए गए बेंचमार्क धोखाधड़ी के सत्यापित उदाहरणों का विवरण दिया गया है।
सारांश: 2018 हुआवेई/ऑनर फोन जीपीयू बेंचमार्क में धोखाधड़ी करते हुए पकड़े गए
आनंदटेक नोट करता है कि इसमें उनकी समीक्षा, Huawei P20 का प्रदर्शन Huawei Mate 10 Pro की तुलना में पीछे चला गया था। उस समय, हुआवेई द्वारा प्रकाशन को बताया गया था कि यह एक फर्मवेयर मुद्दा था, लेकिन वास्तव में, ऐसा नहीं था। Huawei और Honor के नए फ़ोन आ रहे थे बेंचमार्क पहचान तंत्र जो उच्चतर थर्मल हेडरूम के साथ SoC के लिए बहुत अधिक पावर सीमा को सक्षम बनाता है।
जैसा कि समझाया गया है आनंदटेक, इसका मतलब यह है कि कुछ श्वेतसूची वाले अनुप्रयोगों के लिए, नवीनतम हुआवेई और ऑनर फोन अन्य समान गैर-श्वेतसूचीबद्ध सॉफ़्टवेयर से उपयोगकर्ताओं की अपेक्षा की तुलना में बहुत अधिक प्रदर्शन करते हैं। इस अभ्यास के परिणामस्वरूप अधिक बिजली की खपत, कम दक्षता और कम बैटरी जीवन होता है।
कुल परिणाम यह है कि प्रदर्शन संख्याएँ वास्तव में जितनी होनी चाहिए उससे कहीं अधिक हैं। वास्तविक प्रदर्शन परिदृश्य में किसी भी उपयोगकर्ता के लिए ये संख्याएँ हासिल करना अवास्तविक हैं। प्रकाशन में यह भी कहा गया है कि ऐसा करने पर SoC की दक्षता कम हो जाती है, क्योंकि इसे "अच्छी तरह से पुश किया जा रहा है इसकी मानक ऑपरेटिंग विंडो के बाहर।" कुल मिलाकर, यह उच्च बेंचमार्क के लिए SoC को बदतर बनाता है नंबर.
आनंदटेक बताता है कि हुआवेई का बेंचमार्क व्यवहार प्रकाशन द्वारा अतीत में देखी गई किसी भी चीज़ से अधिक है। प्रकाशन ने बेंचमार्क के कस्टम संस्करणों का उपयोग किया, ताकि वे डिटेक्शन मोड को चालू और बंद करके परीक्षण कर सकें। उनके शब्दों में, सार्वजनिक रूप से उपलब्ध बेंचमार्क और उनके द्वारा उपयोग किए जाने वाले आंतरिक संस्करणों के बीच प्रदर्शन में भारी अंतर "बिल्कुल आश्चर्यजनक" है।
हुआवेई की प्रतिक्रिया आनंदटेककी रिपोर्ट
आनंदटेक हुआवेई के उपभोक्ता व्यवसाय समूह में सॉफ्टवेयर के अध्यक्ष डॉ. वांग चेंगलू से बात की। डॉ. चेंगलू ने स्वीकार किया कि कंपनी बेंचमार्किंग में धोखाधड़ी कर रही है क्योंकि "अन्य लोग भी यही काम करते हैं, उच्च स्कोर प्राप्त करते हैं, और हुआवेई चुप नहीं रह सकती।"
डॉ. चेंगलू ने कहा कि हुआवेई "उपयोगकर्ता अनुभव के लिए सर्वोत्तम सत्यापन बेंचमार्क खोजने के लिए चीन में दूसरों के साथ मिलकर आना चाहता है।" वह चीन में एक अनाम लोकप्रिय स्मार्टफोन निर्माता को सबसे बड़ा बताते हुए अन्य निर्माताओं पर अपने नंबरों से गुमराह करने का आरोप लगाया अपराधी। उनके अनुसार, बेंचमार्क धोखाधड़ी "चीन में आम बात" बनती जा रही है, और जबकि हुआवेई उपभोक्ताओं के लिए "खुलना" चाहती है, उन्हें परेशानी होती है जब प्रतिस्पर्धी "लगातार पोस्ट करते हैं" अवास्तविक स्कोर।" हुआवेई अपनी प्रमुख चीनी प्रतिस्पर्धा का सामना करने की कोशिश कर रही है, एक ऐसा कार्य जो मुश्किल हो जाता है जब अन्य डिवाइस निर्माता अवास्तविक स्कोर उत्पन्न करते हैं नंबर.
उन्होंने बताया कि हुआवेई का लक्ष्य खेल के मैदान को समतल करने के लिए बेंचमार्क का मानकीकरण करना है आनंदटेक वे चाहते हैं कि मीडिया मदद करे। जैसा आनंदटेक हालाँकि, Huawei इसका प्रचार कर रहा है अपना अभी के लिए अवास्तविक स्कोर.
हुआवेई की प्रतिक्रिया आनंदटेक रिपोर्ट यह है कंपनी यह सुनिश्चित करेगी कि प्रस्तुतियों में भविष्य के बेंचमार्क डेटा को घोषणा के समय तीसरे पक्ष द्वारा स्वतंत्र रूप से सत्यापित किया जाए।
आनंदटेकके निष्कर्ष विस्तार से
आनंदटेक सार्वजनिक रूप से उपलब्ध बेंचमार्क की तुलना में जीपीयू बेंचमार्क के उनके आंतरिक संस्करणों द्वारा उत्पादित स्कोर में आश्चर्यजनक अंतर पाया गया। प्रकाशन ने Huawei P20, Huawei P20 Pro और Honor Play का परीक्षण किया। सभी फ़ोनों ने उच्च पावर मोड में लगभग समान प्रदर्शन किया क्योंकि वे समान HiSilicon साझा करते हैं किरिन 970 SoC. हालाँकि, फ़ोन का वास्तविक प्रदर्शन काफी भिन्न होता है क्योंकि उन सभी की थर्मल सीमाएँ अलग-अलग होती हैं। अलग-अलग थर्मल सीमाएं उनके अलग-अलग चेसिस/कूलिंग डिज़ाइन के कारण होती हैं आनंदटेक व्याख्या की। हुआवेई पी20 प्रो में सबसे अच्छा थर्मल है (क्योंकि यह अन्य दो की तुलना में बड़ा और अधिक महंगा है), और इसलिए, यह बेहतर प्रदर्शन कर सकता है सच्चा प्रदर्शन राज्य।
प्रकाशन द्वारा उठाया गया एक महत्वपूर्ण बिंदु बेंचमार्क धोखाधड़ी की पद्धति में अंतर है। श्री फ्रुमुसानु ने कहा:
"अतीत में हमने देखा है कि विक्रेता वास्तव में SoC आवृत्तियों को बढ़ाते हैं, या उन्हें उनकी अधिकतम स्थिति में लॉक कर देते हैं, जिससे सामान्य अनुप्रयोगों के लिए आमतौर पर उपलब्ध प्रदर्शन से परे प्रदर्शन बढ़ जाता है। इसके बजाय हुआवेई जो कर रही है वह दूसरी दिशा से आकर बेंचमार्क स्कोर को बढ़ा रही है बेंचमार्किंग एप्लिकेशन ही एकमात्र उपयोग-मामले हैं जहां SoC वास्तव में अपने विज्ञापित के अनुसार कार्य करता है गति. इस बीच हार्डवेयर की थर्मल सीमाओं के कारण हर दूसरे वास्तविक दुनिया के एप्लिकेशन को उस स्थिति से काफी नीचे दबा दिया जाता है। अंततः हम अनियंत्रित प्रदर्शन के साथ जो देखते हैं वह शायद एक अप्रतिबंधित SoC का 'सच्चा' रूप है, हालाँकि उपयोगकर्ताओं द्वारा वास्तव में अनुभव किए गए अनुभव की तुलना में यह पूरी तरह से अकादमिक है।" - आंद्रेई फ्रुमुसानु और इयान कट्रेस, आनंदटेक
पावर ग्राफ़ दर्शाते हैं कि हुआवेई के नवीनतम फोन पहले से ही अपनी वास्तविक प्रदर्शन स्थिति में 3.5-4.4W तक पहुंच गए हैं, जबकि 3.5W टीडीपी अधिकतम मात्रा है जिसे बनाए रखा जा सकता है। दूसरी ओर, सार्वजनिक रूप से उपलब्ध बेंचमार्क का प्रदर्शन करते समय फोन टीडीपी के साथ ओवरड्राइव में चला जाता है, जिसमें पावर आंकड़े 6W से ऊपर जाते हैं और 8.5W पर पहुंचते हैं। जैसा कि नोट किया गया है आनंदटेक, ये आंकड़े तुरंत डिवाइस पर ओवरहीटिंग अधिसूचना को ट्रिगर करते हैं, जो सॉफ़्टवेयर अपेक्षाओं के साथ थर्मल सीमा के बेमेल होने का संकेत देता है।
यहां मुख्य बात यह है कि वास्तविक प्रदर्शन के आंकड़े स्थिर नहीं हैं क्योंकि वे फोन के तापमान पर निर्भर करते हैं। Huawei GPU को उसकी चरम GPU आवृत्ति स्थिति तक पहुँचने से नहीं रोकता है। डिफ़ॉल्ट व्यवहार वास्तव में एक "कठोर थर्मल थ्रॉटलिंग तंत्र है [...] जो काफी कम एसओसी तापमान स्तर और समग्र बिजली खपत को बनाए रखने की कोशिश करेगा।"
फोन का सामान्य मोड जीपीयू बेंचमार्क के दौरान उसी चरम बिजली खपत के आंकड़े तक पहुंच सकता है, जैसा कि अनथ्रॉटल वेरिएंट द्वारा पोस्ट किया गया था। हालाँकि, ये संख्याएँ जल्दी ही महत्वपूर्ण रूप से पीछे गिरना, और आनंदटेक ध्यान दें कि कुछ मामलों में फोन की गति 2.2W तक कम हो जाती है, जिससे प्रदर्शन में काफी कमी आती है।
प्रकाशन में कहा गया है कि बेंचमार्क धोखाधड़ी का व्यवहार प्रतीत होता है केवल इस वर्ष के उपकरणों में पेश किया गया है. Huawei Mate 9 और Huawei P10 जैसे फ़ोन प्रभावित नहीं हैं, और ऐसा लगता है कि केवल EMUI 8.0 और नए डिवाइस ही प्रभावित हैं। आनंदटेक हुआवेई द्वारा यह भी बताया गया कि यह "विशुद्ध रूप से एक सॉफ्टवेयर कार्यान्वयन" था, जिसने प्रकाशन के निष्कर्षों की पुष्टि की।
आनंदटेक प्रभावित किरिन 970-संचालित फोन के लिए जीपीयू प्रदर्शन के सही आंकड़े पोस्ट किए, और निष्कर्ष यह है Huawei GPU प्रदर्शन और दक्षता दोनों में अपने प्रतिस्पर्धियों से काफी पीछे है।
प्रकाशन ने किरिन 970 और किरिन 960-संचालित हुआवेई उपकरणों के लिए पावर तुलना ग्राफ़ भी पोस्ट किए। ग्राफ़ दिखाते हैं कि हुआवेई का पावर थ्रॉटलिंग समायोजन वास्तव में उपयोगकर्ता अनुभव के लिए बेहतर है क्योंकि वे उच्च बिजली खपत की समस्या को कम करते हैं। आनंदटेक किरिन 960 के परीक्षण से पता चला कि इसमें "भयानक जीपीयू पावर विशेषताएँ" थीं, जबकि किरिन 970-संचालित उपकरणों में बिजली की खपत को कम करने के लिए एक नया सख्त थ्रॉटलिंग तंत्र है तापमान.
आनंदटेक कहते हैं कि नई थ्रॉटलिंग नीति इस तथ्य पर विचार करते समय समझ में आती है कि किरिन 960 और दोनों किरिन 970 ऐसे पावर ड्रॉ दिखाते हैं जो उनके संबंधित फॉर्म कारकों के लिए उनके स्थायी स्तर से काफी ऊपर हैं।
स्पष्ट होने के लिए, हुआवेई ने नए थ्रॉटलिंग तंत्र को पेश करके गलत नहीं किया है। यहां बड़ी गलती एक श्वेतसूची के माध्यम से लोकप्रिय बेंचमार्क अनुप्रयोगों का बहिष्कार है, जिसे इस मामले में बेंचमार्क धोखाधड़ी के रूप में जाना जाता है।
प्रतिक्रिया: हुआवेई का आधिकारिक बयान
Huawei ने बेंचमार्क धोखाधड़ी के बारे में हमें निम्नलिखित बयान भेजा:
Huawei हमेशा उच्च बेंचमार्क स्कोर का पीछा करने के बजाय उपयोगकर्ता अनुभव को प्राथमिकता देता है - खासकर जब से स्मार्टफोन बेंचमार्क और उपयोगकर्ता अनुभवों के बीच कोई सीधा संबंध नहीं है। Huawei स्मार्टफोन सीपीयू, जीपीयू और एनपीयू सहित हार्डवेयर के प्रदर्शन को अनुकूलित करने के लिए एआई जैसी उन्नत तकनीकों का उपयोग करते हैं।
जब कोई फोटोग्राफी ऐप लॉन्च करता है या ग्राफिक रूप से गहन गेम खेलता है, तो हुआवेई का बुद्धिमान सॉफ्टवेयर एक सहज और स्थिर बनाता है हार्डवेयर की पूर्ण क्षमताओं को लागू करके उपयोगकर्ता अनुभव, साथ ही डिवाइस के तापमान और शक्ति को प्रबंधित करना क्षमता। उन अनुप्रयोगों के लिए जो वेब ब्राउज़ करने की तरह अधिक ऊर्जा खपत वाले नहीं हैं, यह केवल आवश्यक प्रदर्शन प्रदान करने के लिए आवश्यक संसाधन आवंटित करेगा।
सामान्य बेंचमार्किंग परिदृश्यों में, एक बार हुआवेई का सॉफ़्टवेयर बेंचमार्किंग एप्लिकेशन को पहचान लेता है, तो यह समझदारी से "प्रदर्शन मोड" को अनुकूलित करता है और इष्टतम प्रदर्शन प्रदान करता है। हुआवेई उपयोगकर्ताओं को "परफॉर्मेंस मोड" तक पहुंच प्रदान करने की योजना बना रही है ताकि जरूरत पड़ने पर वे अपने डिवाइस की अधिकतम शक्ति का उपयोग कर सकें।
हुआवेई - उद्योग के नेता के रूप में - सर्वोत्तम बेंचमार्किंग मानकों को खोजने के लिए भागीदारों के साथ काम करने को तैयार है जो उपयोगकर्ता अनुभव का सटीक मूल्यांकन कर सकते हैं।
यहां मुख्य बात यह है कि कंपनी है उपयोगकर्ताओं को "प्रदर्शन मोड" (Meizu-शैली) तक पहुंच प्रदान करने की योजना बनाई जा रही है ताकि उपयोगकर्ता आवश्यकता पड़ने पर अपने डिवाइस की "अधिकतम शक्ति" का उपयोग कर सकें।."
प्रतिक्रिया: UL अपने बेंचमार्क में प्रभावित हुआवेई और ऑनर फोन को हटा देता है
यूएल ने फ्यूचरमार्क (पीसीमार्क और 3डीमार्क के पीछे की कंपनी) का अधिग्रहण कर लिया है। Huawei P20, Huawei P20 Pro, Huawei Nova 3 और Honor Play को 3DMark से हटा दिया गया है. कंपनी ने Huawei P20 Pro, Huawei Nova 3 और Honor Play पर बेंचमार्क धोखाधड़ी की पुष्टि की है। के आधार पर आनंदटेक परीक्षण और रिपोर्टिंग के दौरान, इसने मानक Huawei P20 को भी हटा दिया है। उपयोगकर्ता अब प्रभावित फोन के बेंचमार्क परिणाम नहीं देख पाएंगे क्योंकि कंपनी धोखाधड़ी वाले बेंचमार्क स्कोर होस्ट नहीं करना चाहती है।
कंपनी ने पाया कि सार्वजनिक 3DMark ऐप के स्कोर स्कोर से 47% अधिक थे निजी ऐप से (जो जनता के लिए उपलब्ध नहीं है), इस तथ्य के बावजूद कि परीक्षण हैं समान।
घोषणा में, यूएल ने कहा कि हुआवेई को भविष्य में अधिक पारदर्शी दृष्टिकोण अपनाने के लिए प्रतिबद्ध देखकर खुशी हुई। यूएल का विचार है कि उपयोगकर्ता द्वारा निर्धारित किए जा सकने वाले वैकल्पिक प्रदर्शन मोड को इसके वर्तमान नियमों के तहत अनुमति दी गई है जब तक वे डिफ़ॉल्ट रूप से अक्षम हैं. कंपनी का कहना है: "एक डिवाइस को बेंचमार्क चलाना चाहिए जैसे कि वह कोई अन्य एप्लिकेशन हो।"
निष्कर्ष में, सार्वजनिक रूप से उपलब्ध बेंचमार्क का उपयोग करके लिए गए सभी Huawei GPU प्रदर्शन बेंचमार्क को वास्तविक प्रदर्शन के प्रतिनिधित्व के रूप में नहीं लिया जाना चाहिए।
प्रतिक्रिया: यूएल और हुआवेई ने एक संयुक्त बयान जारी किया
Huawei P20, Huawei P20 Pro, Huawei Nova 3 और Honor Play को 3DMark से हटाने के UL के फैसले के जवाब में, Huawei ने बेंचमार्क परीक्षण के लिए सर्वोत्तम प्रथाओं पर चर्चा करने के लिए UL से संपर्क किया। यहां हमें दिया गया बयान दिया गया है:
हुआवेई और यूएल (3डीमार्क के निर्माता) ने इस सप्ताह बेंचमार्किंग प्रथाओं पर व्यापक चर्चा की है, और साथ मिलकर काम करने के अगले कदमों पर एक सकारात्मक समझौते पर पहुंचे हैं।
चर्चा में, हुआवेई ने बताया कि उसके स्मार्टफोन एक कृत्रिम बुद्धिमान संसाधन शेड्यूलिंग तंत्र का उपयोग करते हैं। चूँकि अलग-अलग परिदृश्यों में अलग-अलग संसाधन आवश्यकताएँ होती हैं, इसलिए नवीनतम Huawei हैंडसेट कृत्रिम बुद्धिमत्ता जैसी नवीन तकनीकों का लाभ उठाते हैं संसाधन आवंटन को इस तरह से अनुकूलित करें ताकि हार्डवेयर उपयोगकर्ता की सभी मांगों को पूरा करते हुए अपनी क्षमताओं को पूर्ण सीमा तक प्रदर्शित कर सके परिदृश्य.
यूएल हुआवेई के दृष्टिकोण के इरादे को समझता है, लेकिन डिवाइस द्वारा बेंचमार्किंग एप्लिकेशन का पता चलने पर डिफ़ॉल्ट रूप से "प्रदर्शन मोड" के उपयोग को मजबूर करने का विरोध करता है। यूएल नियमों के अनुसार किसी डिवाइस को बेंचमार्क चलाने की आवश्यकता होती है जैसे कि वह कोई अन्य एप्लिकेशन हो।
Huawei उपभोक्ताओं के अपने डिवाइस के साथ क्या करना है यह चुनने के अधिकार का सम्मान करता है। इसलिए, Huawei उपयोगकर्ताओं को EMUI 9.0 में "परफॉर्मेंस मोड" तक खुली पहुंच प्रदान करेगा, ताकि उपयोगकर्ता यह चुन सके कि उन्हें अपने डिवाइस की अधिकतम शक्ति का उपयोग कब करना है।
हुआवेई और यूएल ने सामान्य रूप से वर्तमान सामान्य बेंचमार्क परीक्षण पद्धतियों पर भी चर्चा की है। यूएल और हुआवेई बेंचमार्किंग मानकों को विकसित करने के लिए एक उद्योग आंदोलन में भाग लेना चाहेंगे जो निर्माताओं, प्रेस और उपभोक्ताओं की जरूरतों को सर्वोत्तम रूप से पूरा करेंगे।
वर्तमान बेंचमार्किंग परिणामों के आसपास भ्रम को रोकने के लिए, चर्चा के बाद, यूएल और हुआवेई ने बेंचमार्क को अस्थायी रूप से हटा दिया है Huawei उपकरणों की एक श्रृंखला के स्कोर, और Huawei द्वारा Huawei हैंडसेट के सभी उपयोगकर्ताओं को प्रदर्शन तक पहुंच प्रदान करने के बाद उन्हें बहाल कर दिया जाएगा तरीका।