समीक्षकों और ग्राहकों को मूर्ख बनाने की कोशिश में वनप्लस 5 फिर से बेंचमार्क धोखाधड़ी में भाग ले रहा है। हमारे फीचर लेख में जानें कि उन्होंने यह कैसे किया!
इस साल की शुरुआत में, हम एक रिपोर्ट प्रकाशित की जिसमें वनप्लस की निंदा की गई (और अन्य कंपनियां) ऑक्सीजनओएस के नए बिल्ड पर बेंचमार्क हेरफेर के संबंध में उनके अनुचित व्यवहार के लिए। आज, दुख की बात है कि हमें अपने आरोपों पर अमल करना होगा क्योंकि कंपनी एक बार फिर बेंचमार्क स्कोर में अनुचित तरीके से हेरफेर कर रही है। वनप्लस 5.
जबकि किसी भी ग्राहक के हाथ में कोई डिवाइस नहीं है (आखिरकार इसे अभी लॉन्च किया गया है), हमने वनप्लस के नए बेंचमार्क धोखाधड़ी तंत्र के बारे में सीखा है हमारी समीक्षा इकाई के माध्यम से, जो हमें प्रतिबंध टूटने और समीक्षकों को डिवाइस पर रिपोर्ट करने की अनुमति देने के दिन से लगभग दस दिन पहले प्राप्त हुआ था। दुर्भाग्य से, यह लगभग तय है वनप्लस 5 की प्रत्येक समीक्षा जिसमें बेंचमार्क शामिल है, भ्रामक परिणामों का उपयोग कर रही है, क्योंकि वनप्लस ने समीक्षकों को एक ऐसा उपकरण प्रदान किया जो बेंचमार्क पर धोखा देता है। यह एक अक्षम्य कदम है, क्योंकि यह अंततः न केवल ग्राहकों को गुमराह करने का प्रयास है समीक्षकों और पत्रकारों के काम को भ्रामक डेटा से खराब करना, जिसकी जांच अधिकांश लोग नहीं कर पाते सत्यापित करें। परिणामस्वरूप, वनप्लस 5 की प्रत्येक समीक्षा में बेंचमार्क स्कोर को फोन की सफलता की प्रशंसा के रूप में उद्धृत किया जाता है लेखकों और पाठकों दोनों को गुमराह करना, और सिंथेटिक बेंचमार्क के आधार पर प्रदर्शन विश्लेषण करना गलत है अमान्य. इससे भी बुरी बात यह है कि इस बार,
धोखाधड़ी का तंत्र स्पष्ट है और इसका उद्देश्य प्रदर्शन को अधिकतम करना है, पिछली बार के विपरीत, जिसने औसतन स्कोर में बहुत अधिक वृद्धि नहीं की, लेकिन विचरण और थर्मल थ्रॉटलिंग को कम कर दिया, जैसा कि हमने पाया.इससे पहले कि हम विवरण में जाएं, मैं यह बताना चाहूंगा कि एक बार फिर इन प्रथाओं का सहारा लेने से हम कंपनी से निराश हैं। हम पूर्ण प्रदर्शन विश्लेषण भी प्रदान नहीं करेंगे इसमें हमारे सभी शामिल परीक्षण शामिल हैं क्योंकि हमारे कई पसंदीदा बेंचमार्क धोखाधड़ी तंत्र से प्रभावित हैं। अंत में, हम इस रिपोर्ट को डिवाइस के अपने समग्र निर्णय से विभाजित करेंगे, क्योंकि हम आश्वस्त हैं इस रिपोर्ट और वनप्लस के साथ हमारी बातचीत के बाद उपभोक्ता बिल्ड से अपराधी कोड हटा दिया जाएगा प्रतिनिधि. जबकि हम इस फीचर आर्टिकल पर विश्वास नहीं करते अनिवार्य रूप से हार्डवेयर के बारे में आपकी धारणा बदलनी चाहिए, कंपनी के बारे में आपकी राय को प्रभावित करना उसके लिए सही है, क्योंकि यह उनका दूसरा उल्लंघन है।
कार्यप्रणाली पर एक त्वरित शब्द
इस लेख के सभी स्कोर ऑक्सीजनओएस संस्करण 4.5.0 (ए5000_22_170603) पर चलने वाली वनप्लस 5 समीक्षा इकाई पर प्राप्त किए गए हैं; यह एक प्री-प्रोडक्शन यूनिट है, और इसे मूल रूप से प्री-प्रोडक्शन सॉफ़्टवेयर के साथ लोड किया गया था जिसे ऊपर बताए गए संस्करण के लिए ओटीए प्राप्त हुआ था। वनप्लस ने बेंचमार्क एप्लिकेशन डाउनलोड करने की क्षमता को सक्षम करने के लिए समीक्षकों को निर्देश भेजे प्ले स्टोर, और संभवतः ऐसा इसलिए किया गया ताकि आगे कोई बेंचमार्क स्कोर लीक न हो समय। इससे मुझे इस तथ्य का पता चला कि वनप्लस अपने ROM में नाम से बेंचमार्क पैकेजों का उल्लेख कर रहा था। जहाँ तक परीक्षण की बात है, ROM में न्यूनतम पृष्ठभूमि प्रक्रियाएँ थीं और कोई तृतीय-पक्ष अनुप्रयोग नहीं था और जहाँ लागू हो वहाँ एयरप्लेन मोड चल रहा था; सीपीयू आवृत्तियों को केवल धोखाधड़ी की सीमा निर्धारित करने के लिए लॉग किया गया था, न कि उन परीक्षणों में जो इस लेख के लिए स्कोर उत्पन्न करते थे। सभी तापमान का उपयोग करके मापा गया FLIR C2 कॉम्पैक्ट प्रत्येक सहनशक्ति दौड़ 28.5°C के बाहरी तापमान पर शुरू होती है 83.3°F.
बेंचमार्क हेरफेर - यह कैसे किया जाता है
पिछले जनवरी में, हमारी रिपोर्ट ने OxygenOS बीटा बिल्ड और शिपिंग सॉफ़्टवेयर में पाए गए एक धोखाधड़ी तंत्र का खुलासा किया वनप्लस 3T. हमने इन बदलावों के लिए हाल ही को जिम्मेदार ठहराया तत्कालीन असमान ऑक्सीजनओएस और हाइड्रोजनओएस का विलय डेवलपर टीमें, और ऑक्सीजनओएस का अंतर्निहित कोडबेस जिसे अब हाइड्रोजनओएस के साथ साझा किया जाना था, हालांकि इस अटकल की अभी तक पुष्टि नहीं हुई है। यह उस समय हमारे लिए समझ में आया और वनप्लस प्रतिनिधियों की एक्सडीए-डेवलपर्स को की गई टिप्पणियों ने हमारे सिद्धांत में विश्वसनीयता जोड़ दी। वनप्लस 5 के साथ, हम एक अलग तरह की धोखाधड़ी तंत्र देखते हैं, लेकिन हम यह पता नहीं लगा सकते हैं कि क्या यह जानबूझकर उन्हीं डेवलपर्स द्वारा पेश किया गया था जिन्होंने इसे पहली बार जोड़ा था। हम केवल यह जानते हैं कि यह उन्हीं पैकेजों को लक्षित करता है।
तो यह कैसे काम करता है, और क्या अंतर है? पिछली बार, जब भी वनप्लस को कोई बेंचमार्क एप्लिकेशन खुलने का पता चला, उसने अपने ROM के व्यवहार में बदलाव पेश किया। ऐसे एप्लिकेशन नाम स्पष्ट रूप से ROM के भीतर उनके पैकेज आईडी द्वारा एक मैनिफ़ेस्ट में सूचीबद्ध किए गए थे जो लक्ष्य निर्दिष्ट करता था। फिर, ROM समायोजित सीपीयू लोड के संबंध में आवृत्ति को बदल देगा - हमारे टूल ने दिखाया कि सीपीयू लोड 0% तक गिर जाएगा, चाहे कुछ भी हो एप्लिकेशन के भीतर स्पष्ट गतिविधि, और सीपीयू को बड़े कोर में 1.29GHz और छोटे कोर में 0.98GHz की लगभग न्यूनतम आवृत्ति दिखाई देगी कोर. इस न्यूनतम आवृत्ति ने प्रभावी आवृत्ति सीमा को कम कर दिया, जिसके परिणामस्वरूप चरण आवृत्तियों की संख्या कम हो गई; बेंचमार्क में, इसके परिणामस्वरूप थोड़ा कम विचरण हुआ और, जैसा कि हमने दिखाया, उच्च निरंतर प्रदर्शन क्योंकि उच्च न्यूनतम आवृत्ति को थर्मल थ्रॉटलिंग द्वारा ओवरराइड नहीं किया जा सकता था। संक्षेप में, धोखाधड़ी का व्यवहार स्कोर भिन्नता को देखने और संपूर्ण सीपीयू आवृत्तियों की निगरानी करने से स्पष्ट और प्रदर्शित किया जा सकता था। बेंचमार्क, जिसने एक फ़्रीक्वेंसी फ़्लोर दिखाया जो - अधिकांश भाग के लिए - डिवाइस को लगातार अपनी पूरी क्षमता के करीब स्कोर करने की अनुमति देता है।
दूसरी ओर, वनप्लस 5 एक पूरी तरह से अलग जानवर है - यह स्पष्ट, गणना की गई धोखाधड़ी तंत्र का सहारा लेता है हमने एंड्रॉइड के शुरुआती दिनों में फ़्लैगशिप में देखा, एक ऐसा दृष्टिकोण जिसका स्पष्ट रूप से सबसे भ्रामक में स्कोर को अधिकतम करना है पहनावा। हालाँकि जब कोई उपयोगकर्ता किसी बेंचमार्क में प्रवेश करता है तो कोई गवर्नर स्विच नहीं होता है (कम से कम, हम ऐसा नहीं कर सकते देखना यह मामला है), छोटे क्लस्टर की न्यूनतम आवृत्ति अधिकतम आवृत्ति तक पहुंच जाती है जैसा कि प्रदर्शन गवर्नर के तहत देखा जाता है। सभी छोटे कोर प्रभावित होते हैं और 1.9GHz पर रखे जाते हैं, और यह इस धोखा के माध्यम से है कि वनप्लस उच्चतम गीकबेंच 4 में से कुछ हासिल करता है आज तक स्नैपड्रैगन 835 का स्कोर - और इसके विशिष्ट के साथ कोई समझौता न किए गए कॉन्फ़िगरेशन को देखते हुए संभवतः सबसे अधिक प्राप्य स्कोर विन्यास। स्कोर निश्चित रूप से समान उपकरणों और क्वालकॉम के स्वयं के MSM8998 परीक्षण उपकरण द्वारा प्राप्त अंकों से अधिक है जिसे बेंचमार्क करने में हम काफी भाग्यशाली रहे. प्रभावित बेंचमार्क अनुप्रयोगों की सूची नीचे दी गई है:
- AnTuTu (com.antutu.benchmark.full)
- एंड्रोबेंच (com.andromeda.androbench2)
- गीकबेंच 4 (com.primatelabs.geekbench)
- जीएफएक्सबेंच (com.glbenchmark.glbenchmark27)
- वृत्त का चतुर्थ भाग (com.aurorasoftworks.quadरेंट.ui.standard)
- नेनामार्क 2 (se.nena.nenamark2)
- वेल्लामो (com.quicinc.vellamo)
जो पूरी तरह से आश्चर्यजनक है वह है प्रभावित अनुप्रयोग बिल्कुल पिछली बार की तरह ही हैं, और वनप्लस स्पष्ट रूप से उन्हीं पैकेजों को लक्षित कर रहा है। अधिकांश भाग में स्कोरों में अंतर वही है जिसकी आप अपेक्षा करते हैं। हम गीकबेंच 4 के साथ बेंचमार्क धोखाधड़ी को धोखा देने और उससे बचने में सक्षम थे, हमारी पिछली रिपोर्ट में हमारे परीक्षण के समान। हमने पाया कि प्ले स्टोर से गीकबेंच 4 चलाने के दौरान, डिवाइस ने मल्टी-कोर में 6,700 से अधिक स्कोर किया, जबकि डिवाइस हमारे छिपे हुए निर्माण के साथ अपेक्षा के अनुरूप व्यवहार करता है तो हमें कभी भी 6,500 का स्कोर प्राप्त नहीं हुआ गीकबेंच। नीचे आप प्ले स्टोर से गीकबेंच 4 चलाते समय वनप्लस 5 के छोटे क्लस्टर के लिए टाइम प्लॉट की आवृत्ति देख सकते हैं, और गीकबेंच 4 के बिल्ड को चलाने वाले समान कॉन्फ़िगरेशन ने पहचानकर्ताओं को छीन लिया जो वनप्लस की धोखाधड़ी को मूर्ख बनाने में सक्षम है तंत्र।
यदि यह ऊपर दिए गए ग्राफ़ से स्पष्ट नहीं है: हमने प्रत्येक 100ms पर सीपीयू आवृत्ति का सर्वेक्षण किया, और कुल मिलाकर, धोखाधड़ी को अक्षम करते समय केवल 24.4% रीडिंग ने 1.9Ghz की अधिकतम आवृत्ति लौटाई। इस दौरान, सक्षम धोखाधड़ी के साथ रन ने अपनी अधिकतम आवृत्ति स्थिति में आश्चर्यजनक रूप से 95% रीडिंग खर्च की. यह बिल्कुल स्पष्ट है कि वनप्लस बेंचमार्क के दौरान इन कोर की सीपीयू आवृत्तियों को कृत्रिम रूप से उच्च रख रहा है, जिसके परिणामस्वरूप काफी अधिक है मल्टी-कोर परीक्षण में समग्र स्कोर और प्रत्येक परीक्षण के विस्तृत विश्लेषण में विभिन्न सीपीयू-बाउंड सबस्कोर में भी प्रकट होता है (विशेषकर पूर्णांक और फ्लोट में) संचालन)। हालाँकि, मल्टी-कोर स्कोर में अंतर सबसे स्पष्ट और लाभप्रद है, और सिंगल-कोर परिणाम वास्तव में आश्चर्यजनक रूप से समान हैं बेंचमार्क धोखाधड़ी के साथ और बिना रन के बीच, सिंगल कोर स्कोर वास्तव में बिना हेरफेर के औसत से अधिक है।
फिर भी, मल्टी-कोर वह आंकड़ा है जिस पर ज्यादातर लोग विचार करते हैं और जब इस विशिष्ट बेंचमार्क की बात आती है तो तुरंत ध्यान देते हैं एंड्रॉइड एक अत्यधिक समानांतर ऑपरेटिंग सिस्टम है जो कई वर्षों के समर्थन के बाद अब मल्टी-थ्रेडेड अनुप्रयोगों से भरा हुआ है कोर. भले ही वृद्धि केवल बहु-थ्रेडेड बेंचमार्क और परीक्षणों में सार्थक हो, फिर भी इसका परिणाम काफी अनुचित होगा और अन्य उपकरणों पर गैर-प्रतिनिधि लाभ जो अपने मानक गवर्नर और प्रदर्शन सेटिंग्स को इसके तहत संचालित करने देते हैं बेंचमार्क; ये परिवर्तित परिणाम किसी भी तरह से वनप्लस 5 के वास्तविक विश्व प्रदर्शन के प्रतिनिधि नहीं हैं कृत्रिम परिस्थितियों में और उसके बिना डिवाइस के चरम और अन्यथा अप्राप्य प्रदर्शन को दर्शाता है प्रतिबंध।
गीकबेंच 4 को धोखाधड़ी तंत्र के साथ और उसके बिना चलाने पर स्कोर के बीच मल्टी कोर स्कोर डेल्टा 6.5% तक हो सकता है, हालांकि औसतन यह लगभग 5% है। यह हो सकता है देखना नगण्य, लेकिन वह संकेत डिवाइस को अन्य स्नैपड्रैगन 835 डिवाइस से आगे बढ़ाने के लिए पर्याप्त है। ऊपर आप धोखाधड़ी तंत्र के साथ और उसके बिना गीकबेंच 4 के कई स्वतंत्र रन का एक डॉट प्लॉट देख सकते हैं। खाई स्पष्ट है, और जैसा कि बॉक्सप्लॉट से अनुमान लगाया जा सकता है, यह अंतर्निहित भिन्नता का परिणाम नहीं हो सकता है। संक्षेप में, सीपीयू आवृत्तियों को कृत्रिम रूप से उच्च बढ़ाने से वास्तव में सिंथेटिक बेंचमार्क में बहुत बेहतर परिणाम मिलते हैं।
नीचे आप समय के साथ-साथ तापमान के साथ प्रदर्शन का एक प्लॉट देख सकते हैं, जैसा कि हम निर्धारित करना चाहते थे क्या खेल के दौरान थर्मल छूट भी है, या निरंतर के दौरान स्कोर में अंतर था या नहीं बेंचमार्किंग.
हमने परिणाम स्क्रीन और दूसरे बेंचमार्क रन की शुरुआत के बीच दो सेकंड के ब्रेक के साथ गीकबेंच 4 परीक्षण स्थापित किए; बाहरी डिवाइस तापमान (एंड्रॉइड द्वारा रिपोर्ट की गई बैटरी तापमान नहीं) को FLIR थर्मल का उपयोग करके मापा गया था अंशांकन के एक सेकंड के बाद कैमरा, बीच के दो सेकंड में तीन तत्काल मापों का औसत रन। मुझे यह देखकर आश्चर्य हुआ कि, कुल मिलाकर, ये दोनों डिवाइस लगभग समान दर से गर्म हुए और उनमें से किसी ने भी स्कोर में गिरावट नहीं देखी। प्रत्येक डेटा सेट में सभी परिणाम अपेक्षित भिन्नता के भीतर हैं, जिससे पता चलता है कि इसमें कोई थर्मल थ्रॉटलिंग नहीं है। करीब से निरीक्षण करने पर, निरंतर प्रदर्शन को देखते हुए यह वास्तव में कोई आश्चर्य की बात नहीं होनी चाहिए Cortex-A73 कोर की अंतर्निहित शक्तियों में से एक जिस पर स्नैपड्रैगन 835 के Kryo कोर आधारित हैं पर। प्रभावित कोर शक्ति-कुशल कोर हैं, और तथ्य यह है कि गीकबेंच 4 विशेष रूप से आता है थ्रॉटलिंग को रोकने के उपाय जो एक रन के अंत के निकट उप-परीक्षणों के स्कोर को बदल देते हैं कुछ हमने अपने साक्षात्कार से सीखा जॉन पूले के साथ.
दिलचस्प बात यह है कि सभी लोकप्रिय बेंचमार्क वनप्लस के धोखाधड़ी तंत्र द्वारा लक्षित नहीं होते हैं। उदाहरण के लिए, 3DMark ने वास्तव में परीक्षण चलाते समय या यहां तक कि एप्लिकेशन खोलते समय इनमें से कोई भी समस्या नहीं देखी। हालाँकि, GFXBench जैसे अन्य बेंचमार्क लक्षित हैं और हम उन्हें खोलते और चलाते समय समान CPU व्यवहार देखते हैं। वास्तव में, GFXBench के मैनहट्टन बैटरी टेस्ट का उपयोग करके निरंतर प्रदर्शन के दौरान, वनप्लस 5 50°C से अधिक तापमान तक पहुंच गया | 122°F (बाहरी तापमान), a अतीत में मेरे द्वारा परीक्षण किए गए उपकरणों में बहुत ही दुर्लभ घटना होती है, जिनमें से सभी कुछ हद तक थर्मल थ्रॉटलिंग का अनुभव करते हैं जो उन्हें काफी हद तक प्राप्त करने से रोकता है। गर्म।
मुझे एक बार मूर्ख बनाओ, मुझ पर शर्म करो; मुझे दो बार मूर्ख बनाओ, तुम्हें शर्म आनी चाहिए
यह थोड़ा परेशान करने वाला है कि यह उस बिंदु पर पहुंच गया है जहां हमें बेंचमार्क स्कोर में हेरफेर करने के लिए एक ही कंपनी को दो बार बुलाना पड़ता है। यह तथ्य कि यह सब समीक्षा इकाइयों पर किया गया था, इस मुद्दे को और भी बढ़ा देता है: यह धोखाधड़ी तंत्र इसका उद्देश्य प्रदर्शन को अधिकतम करना और समीक्षाओं के प्रदर्शन अनुभागों में डिवाइस को बेहतर या तेज़ दिखाना है। लक्ष्यीकरण और हेरफेर प्रणाली को पत्रकारों को भेजी गई प्री-प्रोडक्शन इकाइयों में पैक किया गया था जो उनका आधार बनेंगे वनप्लस से उनके डिवाइस पर निष्कर्ष, उनमें से कई अपने डिवाइस में धोखाधड़ी के अस्तित्व को सत्यापित करने में असमर्थ या अनिच्छुक हैं समीक्षा इकाई. इसमें किसी भी तरह से उनकी गलती नहीं है, लेकिन XDA केवल इसलिए बेंचमार्क हेरफेर की तलाश में है क्योंकि हमने इसे अतीत में पाया था, और हमने सोचा कि अपने पाठकों और संभावित फोन खरीदारों को सूचित करना सबसे अच्छा है।
हमें उम्मीद है कि यह लेख आज की स्मार्टफोन समीक्षाओं में बेंचमार्क, उनकी भूमिका और उनकी उपयोगिता के बारे में व्यापक बातचीत को फिर से शुरू कर सकता है। कोई गलती न करें, क्वालकॉम और सैमसंग जैसी कंपनियां करना बेंचमार्क की परवाह करते हैं, और वे उन्हें ग्राहकों के लिए निर्णय लेने का एक वैध, यदि अधूरा तरीका मानते हैं भले ही उनके पास अपने उपकरणों को विकसित करते समय संदर्भित करने के लिए अधिक परिष्कृत उपकरण हों प्रोसेसर. अंततः, बेंचमार्क बहुत महत्वपूर्ण हो सकते हैं यदि कोई यह समझता है कि सॉफ़्टवेयर क्या माप रहा है, और रैंकिंग निकालने के लिए इसके परिणामों का उपयोग किस हद तक किया जा सकता है एक विशेष प्रोसेसर, हार्डवेयर का एक विशेष कॉन्फ़िगरेशन, या अधिक समग्र शब्दों में, एक विशिष्ट फोन व्यवहार में परिवर्तन के साथ इसका सॉफ्टवेयर पेश करता है कुंआ। मुझे लगता है कि हम ऐसे समय में आ गए हैं जहां कच्चे कंप्यूटिंग या प्रसंस्करण की तुलना में वास्तविक दुनिया के प्रदर्शन और बिजली दक्षता पर ध्यान केंद्रित करना अधिक महत्वपूर्ण है कौशल, क्योंकि इस बिंदु पर यह स्पष्ट रूप से स्पष्ट है कि वास्तविक दुनिया के प्रदर्शन में बाधा एंड्रॉइड और इसके विशेष कार्यान्वयन से आती है OEM.
वनप्लस पर वापस जाते हुए, मैं वास्तव में नहीं जानता कि कंपनी की सॉफ्टवेयर टीम और विशेष रूप से सॉफ्टवेयर टीम के किस पक्ष ने बुलाए जाने के बाद बेंचमार्क हेरफेर फिर से शुरू किया। इस बार स्थिति और भी बदतर है, जिसका स्पष्ट उद्देश्य समीक्षक हैंडसेट द्वारा उत्पादित स्कोर को बढ़ाना है। वनप्लस 5 अभी भी एक अविश्वसनीय रूप से प्रदर्शन करने वाला उपकरण है जिसे वास्तव में बयान देने के लिए बेंचमार्क धोखाधड़ी की आवश्यकता नहीं है - वास्तव में, मैं इसकी तरलता और सामान्यता से आश्चर्यचकित हूं जवाबदेही और कंपनी के उपकरणों के साथ-साथ उनके प्रबंधन के साथ साक्षात्कार और बातचीत के बाद मेरे लिए यह स्पष्ट है कि वे जानते हैं कि प्रदर्शन एक मजबूत पहलू है उनके फ़ोन. यह एक सोची-समझी चाल है, सबसे अधिक संभावना है, क्योंकि उन्हें पता चल गया होगा कि यह एक छोटे से क्षेत्र को परेशान करने लायक था मुख्य रूप से उत्साही बाजार का पश्चिमी पक्ष शायद इंटरनेट को उच्चतम बेंचमार्क स्कोर के साथ चमकाने के लिए जुटा सकता है. जो भी मामला हो, मैं ईमानदारी से आशा करता हूं कि कंपनी इस गलती को सुधारेगी, क्योंकि मेरे पास उनके हार्डवेयर के बारे में कहने के लिए बहुत अच्छी बातें हैं, लेकिन उन्होंने मेरी नजर में गलत कदम उठाते हुए रिलीज शुरू कर दी है।
वनप्लस का बयान
हमने इस मुद्दे पर टिप्पणी के लिए वनप्लस से संपर्क किया और उनका क्या कहना है:
लोग अपने डिवाइस के प्रदर्शन का पता लगाने के लिए बेंचमार्क ऐप्स का उपयोग करते हैं, और हम चाहते हैं कि उपयोगकर्ता वनप्लस 5 का वास्तविक प्रदर्शन देखें। इसलिए, हमने बेंचमार्क ऐप्स को दैनिक उपयोग के समान स्थिति में चलाने की अनुमति दी है, जिसमें संसाधन-गहन ऐप्स और गेम चलाना भी शामिल है। इसके अतिरिक्त, ऐप्स लॉन्च करते समय वनप्लस 5 ऐप्स खुलने की गति बढ़ाने के लिए समान स्थिति में चलता है। हम डिवाइस को ओवरक्लॉक नहीं कर रहे हैं, बल्कि हम वनप्लस 5 की प्रदर्शन क्षमता को प्रदर्शित कर रहे हैं।
यह बयान जो हमें आज सुबह मिला, सुनकर थोड़ा झटका लगा, क्योंकि बेंचमार्क धोखाधड़ी डिवाइस को ऐसी स्थिति में डाल देती है जो स्पष्ट रूप से नहीं डिवाइस दिन-प्रतिदिन के उपयोग में कैसे चलेगा, और यह प्रदर्शन का प्रतिनिधित्व कर रहा है जिसे आप अन्य ऐप्स में नहीं देखेंगे जो विशेष रूप से ऐसे बूस्ट द्वारा लक्षित नहीं हैं।
ध्यान रखें कि प्रतिस्पर्धी ओवरक्लॉकिंग के विपरीत, अधिकांश फ़ोन बेंचमार्क यह दर्शाने के लिए डिज़ाइन किए गए हैं कि कोई फ़ोन रोजमर्रा के उपयोग में कैसे काम करेगा। यह केवल उच्चतम परिणाम प्राप्त करने का प्रयास करने का स्कोर नहीं है, बल्कि यह दर्शाने का प्रयास है कि फोन नियमित थर्मल प्रोफाइल और बैटरी उपयोग के तहत कैसा प्रदर्शन करता है। यह दर्शाने का प्रयास कि फोन वास्तव में दिन-प्रतिदिन के उपयोग में कैसे चलता है। ये बेंचमार्क कुछ "प्रदर्शन क्षमता" को मापने के लिए डिज़ाइन नहीं किए गए हैं जो वास्तविक दुनिया में प्राप्त करने योग्य नहीं हैं उपयोग, और "डिफीट डिवाइस" स्टाइल बेंचमार्क चीटिंग कोड के साथ उन्हें लक्षित करने का कोई भी प्रयास उपयोगकर्ताओं को गुमराह कर रहा है। यदि आप सीपीयू घड़ी की गति को उनके अधिकतम मूल्य पर लॉक कर देते हैं और फोन के शरीर के तापमान को अनुपयोगी तक बढ़ने देते हैं स्तर जब कुछ ऐप्स खोले जाते हैं, तो यह इस बात का संकेत नहीं है कि वास्तव में फ़ोन कैसे काम करेगा उपयोग।
जबकि सीपीयू हेवी गीकबेंच 4 में थर्मल प्रोफाइल अपेक्षाकृत सामान्य था, जहां एआरएम कॉर्टेक्स-ए73 आधारित क्रियो 280 कोर का शानदार निरंतर प्रदर्शन अनुमति देता है फ़ोन को बढ़ी हुई बैटरी उपयोग के स्तर पर चलाने के लिए जो बेंचमार्क धोखाधड़ी ने बहुत अधिक गर्म हुए बिना लाया, हमने GPU गहन ऐप्स के साथ एक पूरी तरह से अलग कहानी देखी। जैसा कि उल्लेख किया गया है, जीएफएक्सबेंच के मैनहट्टन बैटरी टेस्ट के साथ निरंतर प्रदर्शन के परीक्षण के तहत, वनप्लस 5 पहुंच गया तापमान लगभग 50°C | 122°F (बाहरी तापमान), जो एक फ़ोन के लिए अत्यधिक गर्म है, और पूरी तरह से गर्म है पकड़ने में असुविधा. 50°C के साथ वीडियो गेम खेलने या अन्य GPU गहन ऐप्स का उपयोग करने का प्रयास कर रहा हूं 122°F फ़ोन उपयोगकर्ता के लिए एक ख़राब अनुभव होगा।
भले ही वनप्लस अपने बेंचमार्क चीटिंग कोड के साथ गैर-बेंचमार्क ऐप्स को भी लक्षित कर रहा है, फिर भी यह एक समस्या होगी, क्योंकि इसका मतलब यह होगा कि आप जो प्रदर्शन देखते हैं वनप्लस द्वारा सूची को अपडेट करना बंद करने के बाद आज के गहन ऐप्स उन मौजूदा ऐप्स से पूरी तरह अलग होंगे जो आप सूची में नहीं हैं, या भविष्य के गहन ऐप्स में देखेंगे। इसे उपयोगकर्ताओं को श्वेतसूची में डालने की अनुमति देकर संशोधित किया जा सकता है कि कौन से एप्लिकेशन छिपे हुए बूस्ट से लाभान्वित होते हैं, साथ ही पारदर्शी रूप से प्रदर्शित करें जो डिफ़ॉल्ट से लाभान्वित हो रहे हैं - हमने अपनी पिछली रिपोर्ट में इसका सुझाव दिया था, लेकिन ऐसा नहीं हुआ कार्यान्वित किया गया।
हम इस मामले में वनप्लस की कार्रवाई से निराश हैं और उम्मीद करते हैं कि वनप्लस दूसरी बार अपने सॉफ्टवेयर से बेंचमार्क चीटिंग कोड को हटा देगा। यह उनके फोन को उनके ग्राहकों के सामने गलत तरीके से पेश कर रहा है, और यह उस प्रकार का व्यवहार नहीं है जिसे हम वनप्लस 3टी और वनप्लस 5 जैसे शानदार डिवाइस के साथ देखना पसंद करते हैं।
अद्यतन वक्तव्य
वनप्लस ने एक अद्यतन बयान प्रदान किया है जो इस विषय पर उनकी स्थिति को बेहतर ढंग से समझाता है:
"हमने वनप्लस 5 को उच्च प्रदर्शन स्तर पर बेंचमार्क चलाने के लिए निर्धारित किया है जो सभी के लिए प्राकृतिक और टिकाऊ दोनों है डिवाइस, मीडिया और उपभोक्ता, ताकि उपयोगकर्ता संसाधन गहन ऐप चलाते समय डिवाइस की वास्तविक क्षमता देख सकें खेल. किसी भी बिंदु पर हम सीपीयू को ओवरक्लॉक नहीं करते हैं, न ही हम सीपीयू फ्रीक्वेंसी फ्लोर सेट करते हैं।
हमें विश्वास है कि हमारा दृष्टिकोण वनप्लस 5 की वास्तविक प्रदर्शन क्षमताओं को सर्वोत्तम रूप से प्रदर्शित करता है।"
कथन सही ढंग से बताता है कि इसमें कोई ओवरक्लॉकिंग शामिल नहीं है (जो उनके वर्तमान से एक कदम ऊपर होगा तंत्र, नाजायज स्कोर उत्पन्न करने के संदर्भ में), और जैसा हमने प्रभावी रूप से देखा, वैसा कोई सीपीयू आवृत्ति स्तर नहीं है पिछली बार। इस कथन के माध्यम से और वनप्लस प्रतिनिधियों के साथ बातचीत के बाद, मुझे यह स्पष्ट है कि उन्होंने ऐसा नहीं किया है इस तंत्र को सरासर द्वेष के कारण लागू किया, लेकिन क्योंकि वे प्रदर्शन की "क्षमताओं" को दिखाना चाहते थे उपकरण। लेकिन, एक बार फिर, हमें यह बताना होगा कि यहां (और उनके लिए) "क्षमताएं" चरम क्षमता को संदर्भित करती हैं, नहीं उपयोगकर्ता अनुभव पारंपरिक आवृत्ति के माध्यम से प्रदर्शन का वास्तविक स्तर प्रदान करने के लिए बाध्य है स्केलिंग. सहमत हों या असहमत, यह पुष्टि हो गई है कि यह बेंचमार्क हेरफेर बना रहेगा, हालांकि हमने संभावना सुझाई है ऐसी प्रदर्शन प्रोफ़ाइल को चुनिंदा अनुप्रयोगों के लिए उपयोगकर्ता-सुलभ बनाना, और मेरा मानना है कि वनप्लस इसके लिए ग्रहणशील है विचार। ऐसी अन्य कंपनियाँ हैं जो ऐसे बदलावों को उपयोगकर्ता के लिए सुलभ बनाती हैं, जिनमें एचटीसी और सैमसंग भी शामिल हैं, हालांकि उनके समाधान अधिकतर बिजली की खपत कम करने के इर्द-गिर्द घूमती है (हालाँकि प्रति-ऐप रिज़ॉल्यूशन परिवर्तन से गेम में प्रदर्शन बढ़ता है, बहुत)।
तथ्य यह है कि बेंचमार्क निर्माता, एंड्रॉइड इंजीनियर और उत्साही लोग इन तंत्रों को अनुचित, गैर-प्रतिनिधित्व के रूप में देखते हैं उपयोगकर्ता अनुभव, थोड़ा भ्रामक और अंततः, संसाधनों की बर्बादी जो उत्पाद विकास के दूसरे पहलू पर जा सकती थी। यदि आप यह देखना चाहते हैं कि वनप्लस 5 अपने हार्डवेयर को कितनी मजबूती से आगे बढ़ा सकता है, तो आप संभवतः वनप्लस के निर्णय से सहमत होंगे। यदि आप यह देखना चाहते हैं कि वनप्लस 5 के हार्डवेयर और मानक सॉफ़्टवेयर के संयोजन की तुलना अन्य उपकरणों से कैसे की जाती है समान हार्डवेयर, आप भाग्य से बाहर हैं, क्योंकि इस तरह से सीपीयू आवृत्तियों में हेरफेर करने से स्कोर पूरी तरह से बन जाता है अतुलनीय
अंत में, और टकराव के रूप में सामने आने के जोखिम पर, मैं उस बात का उल्लेख करना चाहूँगा जिसने इस रिपोर्ट के स्वागत के बारे में मुझे अप्रसन्न किया है: यह रहा है दुनिया भर में हजारों बार साझा किया गया है, और हजारों आउटलेट्स द्वारा पुनः ब्लॉग भी किया गया है, लेकिन इसका संदेश और विवरण या तो धुंध में छिपा हुआ है या पूरी तरह से गायब है रास्ता। मैंने इस लेख का इतना ज़बरदस्त और भयानक ग़लत कवरेज देखा है, भयानक रूप से हमने जो कहा, हमने जो पाया, स्वयं तंत्र और वनप्लस के बयान आदि की गलत व्याख्या की भविष्य की योजनाएं। वास्तव में, यहां कुछ चीजें हैं जो मैं चाहता हूं कि ऐसे ब्लॉग जानें: वनप्लस ने समीक्षक इकाइयों के साथ "छेड़छाड़" नहीं की; यह मुद्दा उपभोक्ता इकाइयों तक भी फैला हुआ है; यह वनप्लस का एक सचेत निर्णय है; नहीं, उन्होंने हमें यह नहीं बताया कि क्या बदलेगा; थर्मल थ्रॉटलिंग में ढील दी जा सकती है, लेकिन फ़ोन के फटने का ख़तरा नहीं है; कोई "धोखा कोड" नहीं है; हम वास्तव में डिवाइस के वास्तविक प्रदर्शन से खुश हैं, हमारे शब्दों को तोड़-मरोड़ कर पेश न करें; क्वालकॉम का इससे कोई लेना-देना नहीं है; हमने अपनी रिपोर्टों में कभी भी एचटीसी और सैमसंग को "शर्मिंदा" नहीं किया, हमने एक बहुत पुरानी घटना के कारण, अपने पहले लेख में उनका उल्लेख किया था। यह उन सामान्य त्रुटियों का एक अंश मात्र है जिन्हें मैं चाहता हूं कि मैं संबोधित कर सकूं। हमारे द्वारा देखे गए बहुत सारे लेखों और वीडियो में एक बुनियादी खामी और गलतफहमी है, जो हमारी राय में, इस लेख में लगने वाले सावधानीपूर्वक डेटा संग्रह और विश्लेषण के घंटों को खत्म कर देती है। इससे भी बुरी बात यह है कि समस्या तब और बढ़ जाती है जब हम भारतीय या चीनी ब्लॉग पढ़ते हैं जो अनुवाद की अंतर्निहित कठिनाइयों के कारण हमारे निष्कर्षों को और नष्ट कर देते हैं। अंततः, हम इस रिपोर्ट को संभालने के तकनीकी मीडिया से बेहद निराश हैं, खासकर उन लोगों से जिन्होंने वनप्लस के खिलाफ "हिट पीस" लिखने के लिए हमारे निष्कर्ष का इस्तेमाल किया, जिसका हमने वास्तव में कभी इरादा नहीं किया था। हमने इसे ऊपर कहा, हमने इसे अपनी पहली छापों में कहा, और हमने इसे फिर से कहा: उत्पाद स्वयं अच्छा है, प्रदर्शन अभूतपूर्व है।