वनप्लस और मेज़ू को बेंचमार्क पर धोखाधड़ी करते हुए पकड़ा गया है। XDA जाँच करता है कि यह कैसे हुआ, और इसे दोबारा होने से रोकने के लिए क्या किया जा सकता है।
कुछ साल पहले काफी हंगामा हुआ था, जब कई प्रमुख निर्माता बेंचमार्क पर धोखाधड़ी करते हुए पकड़े गए थे। सभी आकारों के OEM (सहित) SAMSUNG, एचटीसी, सोनी, और LG) ने बिना पकड़े गए उपयोगकर्ताओं को मूर्ख बनाने की इस हथियारों की दौड़ में भाग लिया, लेकिन शुक्र है कि उन्होंने अंततः कुछ स्पष्ट चर्चाओं के बाद अपने बेंचमार्क धोखाधड़ी को रोक दिया उद्योग विशेषज्ञ और पत्रकार.
2013 में, यह था की खोज की सैमसंग कुछ अनुप्रयोगों में अपनी जीपीयू घड़ी की गति को कृत्रिम रूप से बढ़ा रहा था, जिससे एक श्रृंखला शुरू हुई INVESTIGATIONS निर्माताओं की पूरी श्रृंखला में बेंचमार्क धोखाधड़ी में। उस समय, जांच में पाया गया कि Google/Motorola को छोड़कर लगभग हर निर्माता बेंचमार्क धोखाधड़ी में संलग्न था। वे सभी बेंचमार्क में अपने फोन से थोड़ा अतिरिक्त प्रदर्शन हासिल करने के प्रयासों में समय और पैसा निवेश कर रहे थे। रोजमर्रा के उपयोग पर कोई सकारात्मक प्रभाव नहीं पड़ेगा, उपयोगकर्ताओं को यह सोचकर मूर्ख बनाने का प्रयास किया गया कि उनके फ़ोन वास्तव में उनसे तेज़ थे थे। इन विकास प्रयासों ने घड़ी की गति के स्तर निर्धारित करने से लेकर, घड़ी की गति को उनकी अधिकतम सेटिंग्स तक मजबूर करने तक, यहां तक कि विशेष उच्चतर बनाने तक, पूरे पैमाने पर काम किया। पावर स्टेट्स और विशेष क्लॉक स्पीड जो केवल बेंचमार्किंग के समय ही उपलब्ध थीं, इन प्रयासों के परिणामस्वरूप अक्सर केवल कुछ प्रतिशत अंक की वृद्धि होती है बेंचमार्क।
जब इसका पता चला तो काफी आक्रोश था, क्योंकि बेंचमार्क धोखाधड़ी के ये प्रयास स्वयं बेंचमार्क के बिल्कुल विपरीत थे। अधिकांश बेंचमार्क आपको प्रयोगशाला स्थितियों में फोन के सैद्धांतिक अधिकतम प्रदर्शन को बताने के लिए मौजूद नहीं हैं दिन-प्रतिदिन के उपयोग में प्रतिलिपि प्रस्तुत करने योग्य, बल्कि वे आपको वास्तविक दुनिया की तुलना के लिए संदर्भ बिंदु देने के लिए हैं फ़ोन. प्रौद्योगिकी प्रकाशनों, उद्योग जगत के नेताओं और अन्य लोगों की ओर से थोड़ी सार्वजनिक निंदा (और कुछ निजी बातचीत) के बाद आम जनता, अधिकांश निर्माताओं को यह संदेश मिला कि बेंचमार्क धोखाधड़ी बिल्कुल स्वीकार्य नहीं है, और इसे रोक दिया गया परिणाम। जो कुछ उस बिंदु पर नहीं रुके उनमें से अधिकांश जल्द ही रुक गए, क्योंकि वहां पर्याप्त परिवर्तन किए गए थे बेंचमार्क धोखाधड़ी को हतोत्साहित करने के प्रयास में (लाभ को कम करके) कितने बेंचमार्क चलते हैं यह)। कई बेंचमार्क लंबे बनाए गए ताकि घड़ी की गति को अधिकतम करने से थर्मल थ्रॉटलिंग तुरंत स्पष्ट हो जाए।
जब हम साक्षात्कार गीकबेंच के निर्माता जॉन पूले ने बेंचमार्क धोखाधड़ी का विषय और प्राइमेट लैब्स जैसी कंपनियां इसे रोकने के लिए क्या कर सकती हैं, इस विषय पर चर्चा की। बेंचमार्क धोखाधड़ी के प्रभाव को कम करने के लिए प्राइमेट लैब्स ने विशेष रूप से गीकबेंच 4 को गीकबेंच 3 की तुलना में काफी लंबा बनाया है। विकास सुनिश्चित करने के लिए लाभों को कम करना बेंचमार्क धोखाधड़ी की लागत इसके लायक नहीं है.
"समस्या यह है कि एक बार जब हमारे पास इतने बड़े रनटाइम होते हैं तो आप अपनी घड़ी को बढ़ाकर गेमिंग चीजें शुरू करते हैं गति या गवर्नरों को अक्षम करना या ऐसा कुछ, आप इसमें वास्तविक वास्तविक ख़तरा डालना शुरू करने जा रहे हैं फ़ोन... यदि आप इसे गेम खेलने जा रहे हैं... तुम्हें इससे उतना लाभ नहीं मिलेगा। आपको अभी भी कुछ प्रतिशत मिल सकता है, लेकिन क्या यह वास्तव में इसके लायक है?" - जॉन पूले
क्या हुआ
दुर्भाग्य से, हमें रिपोर्ट करना होगा कि कुछ ओईएम ने फिर से धोखाधड़ी शुरू कर दी है, जिसका अर्थ है कि हमें एक बार फिर सतर्क रहना चाहिए। शुक्र है, निर्माता इस तरह के मुद्दों के प्रति तेजी से प्रतिक्रियाशील हो गए हैं, और इस पर सही ध्यान आकर्षित करने के साथ, इसे जल्दी से ठीक किया जा सकता है। यह थोड़ा चौंकाने वाला है कि निर्माताओं ने प्रतिक्रिया के बावजूद बेंचमार्क धोखाधड़ी को लागू किया है पिछली बार इसका प्रयास किया गया था (कुछ बेंचमार्क ने धोखा देने वाले उपकरणों को उनके प्रदर्शन से पूरी तरह से बाहर कर दिया था)। सूचियाँ)। उस प्रतिक्रिया के विपरीत बेंचमार्क धोखाधड़ी से प्रदर्शन लाभ आमतौर पर कितना छोटा होता है (अधिकांश के साथ)। पिछली बार किए गए प्रयासों के परिणामस्वरूप स्कोर में 5% से कम की वृद्धि हुई थी), हमें वास्तव में उम्मीद थी कि यह सब पीछे रह जाएगा हम।
इस प्रयास का समय विशेष रूप से अनुचित है, क्योंकि कुछ महीने पहले बेंचमार्क धोखाधड़ी ने पूरी तरह से एक होने की दुनिया छोड़ दी थी उत्साही चिंता, और सार्वजनिक क्षेत्र में तब प्रवेश किया जब वोक्सवैगन और फिएट क्रिसलर दोनों को अपने उत्सर्जन में धोखाधड़ी करते हुए पकड़ा गया बेंचमार्क. दोनों कंपनियों ने यह पता लगाने के लिए सॉफ़्टवेयर लागू किया कि उनकी डीजल कारों को उत्सर्जन परीक्षण के माध्यम से कब रखा जा रहा था, और उन्हें कम उत्सर्जन मोड में बदल दिया गया था उत्सर्जन के लिए नियामक सीमाओं के भीतर रहते हुए भी ईंधन दक्षता में गैसोलीन कारों के साथ प्रतिस्पर्धा करने के प्रयास में, उनकी ईंधन अर्थव्यवस्था में गिरावट देखी गई परीक्षण. अब तक इस घोटाले के परिणामस्वरूप अरबों का जुर्माना, दसियों अरबों की वापसी लागत और आरोप लगाए गए हैं - निश्चित रूप से इस तरह का प्रतिशोध नहीं ओईएम कभी भी अपने बेंचमार्क स्कोर को बढ़ाने की कोशिश करेंगे, जो पूरी तरह से उपयोगकर्ता तुलना के लिए हैं और किसी भी नियामक को मापने के लिए उपयोग नहीं किए जाते हैं आवश्यकताएं।
जबकि यह जांच की जा रही है कि क्वालकॉम तेज़ ऐप खोलने की गति कैसे प्राप्त करता है तत्कालीन नए क्वालकॉम स्नैपड्रैगन 821 पर, हमने कुछ अजीब देखा वनप्लस 3T कि हम उस पर पुनरुत्पादन नहीं कर सके श्याओमी एमआई नोट 2 या गूगल पिक्सेल एक्सएल, अन्य स्नैपड्रैगन 821 उपकरणों के बीच। हमारे प्रधान संपादक, मारियो सेराफेरो, क्वालकॉम ट्रेपन और स्नैपड्रैगन परफॉर्मेंस विज़ुअलाइज़र का उपयोग यह देखने के लिए कर रहे थे कि क्वालकॉम सीपीयू को कैसे "बूस्ट" करता है। ऐप्स खोलते समय घड़ी की गति, और देखा कि वनप्लस 3T पर कुछ ऐप्स बाद में अपनी सामान्य निष्क्रिय गति में वापस नहीं आ रहे थे खोलना. एक सामान्य नियम के रूप में, जब भी संभव हो हम खुले प्रदर्शन निगरानी उपकरणों के साथ बेंचमार्क का परीक्षण करने से बचते हैं, क्योंकि वे अतिरिक्त प्रदर्शन ओवरहेड लाते हैं। (विशेष रूप से गैर-स्नैपड्रैगन उपकरणों में जहां कोई आधिकारिक डेस्कटॉप उपकरण नहीं हैं), हालांकि इस घटना में उन्होंने हमें कुछ अजीब व्यवहार को नोटिस करने में मदद की, जो शायद हम चूक गए होंगे अन्यथा।
कुछ बेंचमार्किंग ऐप्स में प्रवेश करते समय, वनप्लस 3T का कोर छोटे कोर के लिए 0.98 गीगाहर्ट्ज़ और बड़े कोर के लिए 1.29 गीगाहर्ट्ज़ से ऊपर रहेगा, भले ही सीपीयू लोड 0% तक गिर जाए। यह काफी अजीब है, क्योंकि आमतौर पर वनप्लस 3टी पर कोई लोड न होने पर कोर के दोनों सेट 0.31 गीगाहर्ट्ज़ तक गिर जाते हैं। पहली बार इसे देखने पर हमें चिंता हुई कि वनप्लस का सीपीयू स्केलिंग बस थोड़ा अजीब तरीके से सेट किया गया था, हालाँकि आगे के परीक्षण के बाद हम इस निष्कर्ष पर पहुँचे कि वनप्लस को विशिष्ट लक्ष्य बनाना चाहिए अनुप्रयोग। हमारी परिकल्पना यह थी कि वनप्लस इन बेंचमार्क को नाम से लक्षित कर रहा था, और अपने बेंचमार्क स्कोर को बढ़ाने के लिए एक वैकल्पिक सीपीयू स्केलिंग मोड में प्रवेश कर रहा था। हमारी मुख्य चिंताओं में से एक यह थी कि वनप्लस संभवतः वनप्लस के साथ होने वाली समस्याओं से बचने के लिए इस मोड में कम थर्मल प्रतिबंध लगा रहा था। एक, वनप्लस एक्स, और वनप्लस 2, जहां फोन गीकबेंच के मल्टी-कोर सेक्शन के लिए ऑनलाइन आने वाले अतिरिक्त कोर को खराब तरीके से संभाल रहे थे, और परिणामस्वरूप कभी-कभी काफी हद तक नीचे गिर जाता है (उस बिंदु तक जहां वनप्लस एक्स कभी-कभी सिंगल कोर की तुलना में मल्टी कोर सेक्शन में कम स्कोर करता है) कोर अनुभाग)। आप हमारे यहां भारी थ्रॉटलिंग पा सकते हैं वन प्लस 2 का अनुभव, जहां हमने पाया कि डिवाइस अपने गीकबेंच 3 मल्टी कोर स्कोर का 50% तक कम कर सकता है। बाद में, जब हमने विभिन्न उपकरणों में थ्रॉटलिंग और थर्मल की तुलना करना शुरू किया वनप्लस 2 ओईएम को किन चीज़ों से बचना चाहिए, इसका एक पाठ्यपुस्तक उदाहरण बन गया।
हम टीम के पास पहुंचे प्राइमेट लैब्स (गीकबेंच के निर्माता), जिन्होंने बेंचमार्क धोखाधड़ी की पहली लहर को उजागर करने में महत्वपूर्ण भूमिका निभाई और आगे के परीक्षण के लिए उनके साथ साझेदारी की। हम कुछ प्रारंभिक विश्लेषण के लिए टोरंटो में प्राइमेट लैब्स के कार्यालय में वनप्लस 3टी लाए। प्रारंभिक परीक्षण में एक ROM डंप शामिल था जिसमें पाया गया कि वनप्लस 3T सीधे नाम से कुछ ऐप्स की तलाश कर रहा था। विशेष रूप से, वनप्लस 3T को गीकबेंच, AnTuTu, एंड्रोबेंच, क्वाड्रेंट, वेल्लामो और GFXBench की तलाश थी। चूँकि इस बिंदु तक हमारे पास स्पष्ट सबूत थे कि वनप्लस बेंचमार्क धोखाधड़ी में संलग्न था, प्राइमेट लैब्स ने एक बनाया "बॉब का मिनी गोल्फ पुट" हमारे लिए गीकबेंच 4 का संस्करण। को धन्यवाद पर्याप्त परिवर्तन गीकबेंच 3 और 4 के बीच, "मिनी गोल्फ" संस्करण को विशेष रूप से इस परीक्षण के लिए शुरू से ही फिर से बनाना पड़ा। गीकबेंच 4 का यह संस्करण किसी भी बेंचमार्क पहचान से बचने के लिए डिज़ाइन किया गया है, ताकि गीकबेंच सामान्य रूप से चल सके फ़ोन पर एप्लिकेशन जो धोखाधड़ी कर रहा है (पैकेज का नाम बदलने से परे जा रहा है जो बेंचमार्क पर अधिकांश प्रयासों को मूर्ख बनाता है बेईमानी करना)।
एक आश्चर्यजनक उदाहरण
ऐप खोलते ही अंतर साफ हो गया। वनप्लस 3T 0.31 गीगाहर्ट्ज़ पर निष्क्रिय था, जैसा कि अधिकांश ऐप्स में होता है, न कि बड़े कोर के लिए 1.29 गीगाहर्ट्ज़ और छोटे कोर के लिए 0.98 गीगाहर्ट्ज़ पर जैसा कि यह नियमित गीकबेंच ऐप में होता है। वनप्लस अपने सीपीयू गवर्नर को और अधिक आक्रामक बना रहा था, जिसके परिणामस्वरूप गीकबेंच में एक व्यावहारिक कृत्रिम क्लॉक स्पीड फ़्लोर आया जो कि छिपे हुए गीकबेंच बिल्ड में नहीं था। यह सीपीयू वर्कलोड पर आधारित नहीं था, बल्कि ऐप के पैकेज नाम पर आधारित था, जिसे छुपा हुआ बिल्ड मूर्ख बना सकता था। जबकि व्यक्तिगत रनों में अंतर न्यूनतम था, थर्मल थ्रॉटलिंग छूट हमारे निरंतर प्रदर्शन परीक्षण में चमकती है, जैसा कि नीचे दिखाया गया है।
हमारे परीक्षण से, ऐसा प्रतीत होता है कि यह काफी समय से हाइड्रोजन ओएस की एक "विशेषता" रही है, और इसे ऑक्सीजन ओएस में तब तक नहीं जोड़ा गया था जब तक कि समुदाय नूगट रिलीज के बाद तैयार नहीं हो जाता। दो ROM को मर्ज किया गया). यह देखना थोड़ा निराशाजनक है, विशेष रूप से उन सॉफ़्टवेयर समस्याओं के प्रकाश में जो वनप्लस को इस महीने रोम के विलय के बाद हुई हैं। बूटलोडर कमजोरियाँ को जीपीएल अनुपालन मुद्दे. हमें उम्मीद है कि जैसे ही दोनों टीमों के विलय के बाद मामला शांत होगा, वनप्लस फॉर्म में वापस आ जाएगा, और खुद को डेवलपर-अनुकूल विकल्प के रूप में स्थापित करना जारी रखेगा।
साथ "मिनी गोल्फ" गीकबेंच का संस्करण हाथ में आने के बाद, हम बाहर गए और बेंचमार्क धोखाधड़ी के लिए अन्य फोन का भी परीक्षण करना शुरू कर दिया। शुक्र है कि हमारा परीक्षण उन कंपनियों द्वारा कोई धोखाधड़ी नहीं दिखाता है जो आधे दशक पहले घोटाले में शामिल थीं। ऐसा प्रतीत होता है कि एचटीसी, श्याओमी, हुआवेई, ऑनर, गूगल, सोनी और अन्य के पास नियमित गीकबेंच बिल्ड और के बीच लगातार स्कोर हैं। "मिनी गोल्फ" हमारे परीक्षण उपकरणों पर निर्माण करें।
दुर्भाग्य से, हमें बेंचमार्क धोखाधड़ी के संभावित सबूत मिले, जिनकी हम अभी तक कुछ अन्य कंपनियों से पुष्टि नहीं कर पाए हैं, जिनकी हम आगे जांच करेंगे। इसका सबसे खराब उदाहरण Exynos 8890-संचालित Meizu Pro 6 Plus में था, जिसने बेंचमार्क धोखाधड़ी को एक और चरम पर ले गया।
एक भयानक उदाहरण
Meizu ने ऐतिहासिक रूप से अपने CPU स्केलिंग को बेहद रूढ़िवादी तरीके से सेट किया है। विशेष रूप से, वे अक्सर अपने फोन को इस तरह से सेट करते हैं कि बड़े कोर शायद ही कभी ऑनलाइन आते हैं, यहां तक कि जब वे अपने "प्रदर्शन मोड" में होते हैं, तो फ्लैगशिप प्रोसेसर (उत्कृष्ट की तरह) बनाते हैं एक्सिनोस 8890) जिसे वे अपने फ्लैगशिप फोन में डालते हैं वह मिडरेंज प्रोसेसर की तरह काम करता है। यह बात पिछले साल तब सामने आई जब आनंदटेक Mediatek Helio X25 आधारित Meizu Pro 6 पर आनंदटेक के जावास्क्रिप्ट बेंचमार्क पर उनके खराब प्रदर्शन के लिए Meizu को बाहर कर दिया गया, और नोट किया गया कि अधिकांश परीक्षण के लिए बड़े कोर ऑफ़लाइन रहे (जबकि परीक्षण लगभग विशेष रूप से बड़े पर चलना चाहिए था कोर). आनंदटेक ने पिछले सप्ताह देखा कि Meizu Pro 6 में एक सॉफ़्टवेयर अपडेट भेजा गया था जो अंततः Meizu को उन कोर का पूर्ण उपयोग करने की अनुमति दे रहा था। आनंदटेक के स्मार्टफ़ोन के वरिष्ठ संपादक, मैट हमरिक, टिप्पणी की वह "Flyme OS 5.2.5.0G में अपडेट करने के बाद, PRO 6 काफी बेहतर प्रदर्शन करता है। क्रैकेन, वेबएक्सपीआरटी 2015 और जेटस्ट्रीम स्कोर में लगभग 2x-2.5x का सुधार हुआ है। Meizu ने स्पष्ट रूप से लोड थ्रेशोल्ड मान को समायोजित किया, जिससे थ्रेड्स को बेहतर प्रदर्शन के लिए A72 कोर पर अधिक बार माइग्रेट करने की अनुमति मिली।"
दुर्भाग्य से, ऐसा प्रतीत होता है कि सीपीयू स्केलिंग में सुधार करने के बजाय उनके नए डिवाइस बेहतर प्राप्त कर रहे हैं बेंचमार्क स्कोर, ऐसा प्रतीत होता है कि उन्होंने कुछ ऐप्स होने पर फ़ोन को बड़े कोर का उपयोग करने के लिए स्विच करने के लिए सेट कर दिया है दौड़ना।
बेंचमार्किंग ऐप खोलने पर, हमारा Meizu Pro 6 Plus अनुशंसा करता है कि आप "प्रदर्शन मोड" में स्विच करें (जो अकेले है) यह पुष्टि करने के लिए पर्याप्त है कि वे विशिष्ट पैकेज नामों की तलाश कर रहे हैं), और इससे काफी फर्क पड़ता दिख रहा है। मानक "बैलेंस मोड" में होने पर, फोन गीकबेंच के सिंगल-कोर और मल्टी-कोर सेक्शन पर लगातार 604 और 2220 के आसपास स्कोर करता है, लेकिन "प्रदर्शन मोड" में इसका स्कोर 1473 और 3906 है, जिसका मुख्य कारण "बैलेंस मोड" में अधिकांश परीक्षण के लिए बड़े कोर का बंद रहना और इसे चालू करना है। "प्रदर्शन के मोड"। ऐसा प्रतीत होता है कि Meizu छोटे कोर को 1.48 गीगाहर्ट्ज की अधिकतम गति पर लॉक कर देता है, और चलते समय 1.46 गीगाहर्ट्ज के अपने दो बड़े कोर के लिए एक हार्ड फ्लोर सेट करता है। गीकबेंच "परफॉर्मेंस मोड" में है (अन्य दो बड़े कोर को स्वतंत्र रूप से और काफी आक्रामक तरीके से स्केल करने की अनुमति दी गई है), जिसे हम कब नहीं देखते हैं चला रहा हूँ "मिनी गोल्फ" निर्माण।
जबकि हाई पावर मोड और लो पावर मोड के बीच चयन करने में सक्षम होना एक अच्छी सुविधा हो सकती है, इस मामले में यह एक पार्लर ट्रिक से ज्यादा कुछ नहीं लगता है। Meizu Pro 6 Plus नियमित गीकबेंच ऐप के लिए "प्रदर्शन मोड" में अच्छे स्कोर देखता है, लेकिन इसका उपयोग करते समय "मिनी गोल्फ" गीकबेंच का निर्माण, यह प्रदर्शन के उसी स्तर पर वापस आ जाता है जैसा कि "बैलेंस मोड" पर सेट होने पर होता था। Meizu Pro 6 Plus पर उच्च प्रदर्शन स्थिति केवल बेंचमार्किंग के लिए है, वास्तविक दैनिक उपयोग के लिए नहीं।
ध्यान देने वाली बात यह है कि जब हमने Meizu Pro 6 Plus को "परफॉर्मेंस मोड" में गुप्त रूप से परीक्षण किया गीकबेंच के निर्माण में, अगर हम क्वालकॉम के साथ घड़ी की गति रिकॉर्ड कर रहे थे तो बड़े कोर ऑनलाइन आए ट्रेपन. हमने अभी तक यह निर्धारित नहीं किया है कि क्या Meizu यह पहचान रहा है कि ट्रेपन चल रहा है और बड़े कोर को चालू कर रहा है कुछ हद तक इसके कारण, या यदि यह अतिरिक्त सीपीयू लोड के कारण बड़े कोर को चालू कर रहा है बनाता है. हालाँकि यह उल्टा लग सकता है कि पृष्ठभूमि में एक अतिरिक्त लोड (जैसे कि जब हमने परीक्षण के दौरान प्रदर्शन ग्राफ़ चालू रखा) बढ़ोतरी एक बेंचमार्क के परिणाम, Meizu के रूढ़िवादी स्केलिंग का मतलब यह हो सकता है कि अतिरिक्त ओवरहेड था इसे किनारे पर धकेलने के लिए पर्याप्त है, और बड़े कोर को कार्रवाई में बुलाएं, इस प्रकार सभी के लिए प्रदर्शन में सुधार होगा कार्य.
जब ग्रहणशील OEM प्रतिक्रिया को संबोधित करते हैं...
हमारे परीक्षण के बाद, हमने पाए गए मुद्दों के बारे में वनप्लस से संपर्क किया। जवाब में, वनप्लस ने तेजी से अपने बेंचमार्क धोखाधड़ी के साथ बेंचमार्किंग ऐप्स को लक्षित करना बंद करने का वादा किया, लेकिन अभी भी इसे गेम के लिए रखने का इरादा है (जो बेंचमार्क भी होते हैं)। ऑक्सीजनओएस के भविष्य के निर्माण में, यह तंत्र बेंचमार्क द्वारा ट्रिगर नहीं किया जाएगा. वनप्लस ने टॉगल जोड़ने के हमारे सुझाव को भी स्वीकार कर लिया है, ताकि उपयोगकर्ताओं को पता चल सके कि क्या हो रहा है हुड के नीचे, और कम से कम बेंचमार्क में अनुचित और भ्रामक लाभ होना चाहिए सही किया गया. हालाँकि, चीनी नव वर्ष की छुट्टियों और उनके फीचर बैकलॉग के कारण, हमें इस प्रदर्शन सुविधा के लिए उपयोगकर्ता-सामना वाले अनुकूलन विकल्प देखने में कुछ समय लग सकता है। हालाँकि अकेले व्यवहार को सुधारना ही एक सुधार है, लेकिन नियमित तौर पर इसे देखना अभी भी थोड़ा निराशाजनक है एप्लिकेशन (गेम की तरह), क्योंकि यह वास्तविक प्रदर्शन में सुधार के बजाय विशिष्ट ऐप्स को लक्षित करने का एक साधन है स्केलिंग. कृत्रिम रूप से प्रोसेसर की आक्रामकता को बढ़ाकर, और इस प्रकार विशिष्ट ऐप्स के लिए घड़ी की गति को बेहतर बनाने के बजाय उनके फोन की पहचान करने की क्षमता में सुधार होता है जब वास्तव में इसकी आवश्यकता होती है। घड़ी की गति, वनप्लस अपने फोन के लिए असंगत प्रदर्शन बनाता है, जो केवल फोन के पुराने होने के साथ और अधिक स्पष्ट हो जाएगा और अधिक गेम जो वनप्लस ने लक्षित नहीं किए हैं जारी किया। हालाँकि, कार्यान्वयन वर्तमान में खेलों को बेहतर प्रदर्शन करने की अनुमति देता है। वनप्लस ने इस लेख के लिए एक बयान भी प्रदान किया है, जिसे आप नीचे पढ़ सकते हैं:
'उपयोगकर्ताओं को संसाधन गहन ऐप्स और गेम में बेहतर उपयोगकर्ता अनुभव देने के लिए, विशेष रूप से ग्राफिक रूप से गहन एक, हमने समुदाय में कुछ तंत्र लागू किए और प्रोसेसर को और अधिक चलाने के लिए नूगट का निर्माण किया उग्रता के साथ। बेंचमार्किंग ऐप्स के लिए ट्रिगर प्रक्रिया वनप्लस 3 और वनप्लस 3टी पर आगामी ऑक्सीजनओएस बिल्ड में मौजूद नहीं होगी।'
हमें यह सुनकर खुशी हुई कि वनप्लस अपने फोन से बेंचमार्क धोखाधड़ी को हटा देगा। आगे बढ़ते हुए हम जब भी संभव होगा ओईएम पर अधिक उपभोक्ता अनुकूल होने के लिए दबाव डालने का प्रयास जारी रखेंगे, और भविष्य में बेंचमार्क धोखाधड़ी पर नज़र रखेंगे।
दुर्भाग्य से, इस प्रकार के धोखे का एकमात्र वास्तविक उत्तर निरंतर सतर्कता है. स्मार्टफोन उत्साही समुदाय के रूप में, हमें उपयोगकर्ताओं को इस तरह से धोखा देने के प्रयासों पर नजर रखने की जरूरत है। हमारी रुचि स्वयं बेंचमार्क स्कोर में नहीं है, बल्कि इसमें है कि बेंचमार्क फ़ोन के प्रदर्शन के बारे में क्या कहते हैं। जबकि बेंचमार्क धोखाधड़ी अभी तक सक्रिय नहीं थी वनप्लस 3 जब हमने इसकी समीक्षा की, तो एक साधारण सॉफ़्टवेयर अपडेट इस भ्रामक "सुविधा" को जोड़ने के लिए पर्याप्त था, और यह स्पष्ट रूप से दर्शाता है कि पहली बार लॉन्च होने पर बेंचमार्क धोखाधड़ी के लिए उपकरणों की जाँच करना सही नहीं है पर्याप्त। इस तरह के मुद्दों को डिवाइस लॉन्च होने के बाद कृत्रिम रूप से दिन, सप्ताह, महीने या यहां तक कि वर्षों तक जोड़ा जा सकता है महीनों बाद बेंचमार्क द्वारा एकत्र किए गए वैश्विक औसत को बढ़ा-चढ़ाकर पेश करना, जिससे अंतिम डेटाबेस प्रभावित होता है परिणाम। यह ध्यान दिया जाना चाहिए कि इन बदलावों के बावजूद भी निर्माताओं को विकास के लिए समय और धन का निवेश करना पड़ा, हम आम तौर पर बेंचमार्क स्कोर में केवल कुछ प्रतिशत अंक की वृद्धि देख रहे हैं (Meizu जैसे कुछ मामूली मामलों को छोड़कर, जहां धोखाधड़ी बहुत बड़ी समस्याओं को कवर कर रही है)। कुछ प्रतिशत अंक, जो सबसे अच्छा प्रदर्शन करने वाले और सबसे खराब प्रदर्शन करने वाले उपकरणों के बीच के अंतर से बहुत कम है। हालाँकि, हम तर्क देंगे कि तेजी से समान हार्डवेयर चलाने वाले उपकरणों के साथ, वे अतिरिक्त प्रतिशत अंक रैंकिंग चार्ट में निर्णायक कारक हो सकते हैं जिन्हें उपयोगकर्ता अंततः देखते हैं। बेहतर ड्राइवर अनुकूलन और स्मार्ट सीपीयू स्केलिंग के बीच अंतर के साथ, डिवाइस के प्रदर्शन पर बिल्कुल व्यापक प्रभाव पड़ सकता है शीर्ष प्रदर्शन करने वाले क्वालकॉम स्नैपड्रैगन 820 आधारित डिवाइस और सबसे खराब प्रदर्शन करने वाले (एक प्रमुख OEM से) का स्कोर 20% से अधिक है गीकबेंच। अपने उपयोगकर्ताओं को धोखा देने के लिए समय और पैसा खर्च करने के बजाय ड्राइवर अनुकूलन से बीस प्रतिशत अंक प्राप्त करें। और यह केवल उन विकास प्रयासों के बारे में बात कर रहा है जो बेंचमार्क स्कोर को प्रभावित कर सकते हैं। किसी डिवाइस के सॉफ़्टवेयर को बेहतर बनाने में निवेश करने के कई सबसे बड़े लाभ हमेशा बेंचमार्क पर दिखाई न दें, वनप्लस अपने उपकरणों में उत्कृष्ट वास्तविक दुनिया प्रदर्शन की पेशकश कर रहा है। यह वास्तव में स्पष्ट होना चाहिए कि इस मामले में कंपनी के विकास प्रयासों को कहाँ केंद्रित किया जाना चाहिए। हम उन और अधिक कंपनियों तक पहुंच रहे हैं जो बेंचमार्क पर धोखा देती हैं जैसा कि हम उन्हें ढूंढते हैं, और हमें उम्मीद है कि वे वनप्लस की तरह ही ग्रहणशील हैं।
हम इस मुद्दे को उजागर करने के लिए हमारे साथ काम करने के लिए एक बार फिर प्राइमेट लैब्स की टीम को धन्यवाद देना चाहते हैं। गीकबेंच के "मिनी गोल्फ" संस्करण के बिना बेंचमार्क चीटिंग का उचित परीक्षण करना काफी कठिन होता।