„OnePlus“ ir „Meizu“ buvo sugauti sukčiaujant etalonuose. XDA tiria, kaip tai atsitiko ir ką galima padaryti, kad tai nepasikartotų.
Prieš kelerius metus kilo nemenkas šurmulis, kai daugelis didžiųjų gamintojų buvo sugauti sukčiaujant etalonuose. Visų dydžių originalios įrangos gamintojai (įskaitant Samsung, HTC, Sony, ir LG) dalyvavo šiose ginklavimosi varžybose, bandydami apgauti vartotojus nepakliūdami, bet, laimei, po kai kurių atvirų diskusijų jie galiausiai sustabdė savo etaloninį sukčiavimą. pramonės ekspertai ir žurnalistai.
Dar 2013 metais taip buvo atrado kad „Samsung“ dirbtinai padidino savo GPU laikrodžio greitį tam tikrose programose ir sukėlė daugybę tyrimus visų gamintojų sukčiavimo etalonu. Tuo metu tyrimas parodė, kad beveik visi gamintojai, išskyrus „Google“ / „Motorola“, sukčiauja etalonu. Jie visi investavo laiką ir pinigus į bandymus išgauti šiek tiek didesnį savo telefonų našumą pagal etalonus taip, kad neturės jokio teigiamo poveikio kasdieniam naudojimui, bandant suklaidinti vartotojus manyti, kad jų telefonai yra greitesni nei iš tikrųjų buvo. Šios kūrimo pastangos apėmė visą spektrą – nuo laikrodžio greičio žemumų nustatymo iki maksimalaus laikrodžio greičio nustatymo iki net specialių didesnių nustatymų. galios būsenos ir specialūs laikrodžio dažniai, kurie buvo prieinami tik atliekant lyginamąją analizę, o šios pastangos dažnai lėmė tik kelių procentinių punktų padidėjimą etalonas.
Kai tai buvo aptikta, kilo didelis pasipiktinimas, nes šie bandymai sukčiauti etaloną prieštarauja pačių etalonų esmei. Dauguma etalonų nėra tam, kad parodytų teorinį maksimalų telefono našumą laboratorinėmis sąlygomis, kurios nėra atkuriami kasdieniame gyvenime, tačiau jie yra tam, kad suteiktų jums atskaitos tašką realaus pasaulio palyginimams telefonai. Po šiek tiek viešų barnių (ir kai kurių privačių pokalbių) iš technologijų leidinių, pramonės lyderių ir kitų plačiajai visuomenei, dauguma gamintojų gavo pranešimą, kad etaloninis sukčiavimas yra tiesiog nepriimtinas, ir sustojo kaip a rezultatas. Daugelis tų, kurie tuo metu nesustojo, netrukus sustojo, nes buvo atlikti esminiai pakeitimai į tai, kiek etalonų paleidžiama, siekiant atgrasyti nuo lyginamojo indekso sukčiavimo (sumažinus naudą iš tai). Daugelis etalonų buvo pailginti, kad šiluminis droselis dėl maksimalaus laikrodžio greičio būtų akivaizdus.
Kada mes apklaustas Johnas Poole'as, „Geekbench“ kūrėjas, aptarė lyginamąjį sukčiavimą ir tai, ką tokios įmonės kaip „Primate Labs“ gali padaryti, kad to išvengtų. Visų pirma „Primate Labs“ padarė „Geekbench 4“ šiek tiek ilgesnį nei „Geekbench 3“, iš dalies siekdama sumažinti etaloninio sukčiavimo padarinius. Sumažinti naudą, siekiant užtikrinti, kad plėtra etalono apgaulės išlaidos nėra vertos.
„Problema ta, kad kai tik turėsime tokią didelę vykdymo trukmę, pradėsite žaisti padidindami laikrodį greičiu arba išjungę gubernatorius ar kažką panašaus, jūs pradėsite kelti realų pavojų telefonas... Jei ketini žaisti... tiek daug iš to negausi. Jūs vis tiek galite gauti porą procentų, bet ar tai tikrai verta?" - Johnas Poole'as
Kas nutiko
Deja, turime pranešti, kad kai kurie originalios įrangos gamintojai vėl pradėjo sukčiauti, tai reiškia, kad turėtume dar kartą būti atsargiems. Laimei, gamintojai vis labiau reaguoja į tokias problemas, ir atkreipus į tai tinkamą dėmesį, tai gali būti greitai ištaisyta. Šiek tiek šokiruoja, kai gamintojai taiko lyginamąjį sukčiavimą, atsižvelgiant į tai, kokia bloga reakcija buvo paskutinį kartą buvo bandoma tai padaryti (kai kurie etalonai visiškai neįtraukia sukčiavimo įrenginių iš jų veikimo sąrašai). Ši reakcija prieštarauja tai, koks mažas našumo padidėjimas dėl apgaudinėjimo etalonu paprastai būna mažas (dauguma bandymų, kurių rezultatas praėjusį kartą buvo padidintas mažiau nei 5 proc.), tikrai tikėjomės, kad visa tai atsiliks mus.
Šio bandymo laikas yra ypač netinkamas, nes prieš porą mėnesių etaloninis sukčiavimas paliko pasaulį kaip tik entuziastų susirūpinimą ir pateko į viešąją erdvę, kai abu „Volkswagen“ ir „Fiat Chrysler“ buvo sugauti sukčiaujant dėl išmetamųjų teršalų. etalonų. Abi bendrovės įdiegė programinę įrangą, kad nustatytų, kada jų dyzeliniams automobiliams buvo atliekami išmetamųjų teršalų bandymai, ir perjungė juos į mažos emisijos režimą. kurių degalų ekonomija sumažėjo, bandant konkuruoti su benzininiais automobiliais degalų vartojimo efektyvumo srityje, tačiau vis tiek nesilaikant norminių išmetamųjų teršalų ribų. bandymai. Iki šiol dėl skandalo buvo skirtos milijardinės baudos, dešimtys milijardų atšaukimo išlaidų ir pateikti kaltinimai – tikrai ne toks atpildas. OĮG kada nors priverstų padidinti savo etaloninius balus, kurie yra skirti tik naudotojų palyginimui ir nėra naudojami jokiems reglamentams matuoti. reikalavimus.
Nors tiria, kaip „Qualcomm“ pasiekia greitesnį programų atidarymo greitį tuo metu naujajame „Qualcomm Snapdragon 821“ pastebėjome kažką keisto „OnePlus 3T“. kad mes negalėjome daugintis ant „Xiaomi Mi Note 2“. arba Google Pixel XL, be kitų „Snapdragon 821“ įrenginių. Mūsų vyriausiasis redaktorius Mario Serrafero naudojo „Qualcomm Trepn“ ir „Snapdragon Performance Visualizer“, kad stebėtų, kaip „Qualcomm“ padidina procesorių. laikrodžio greitis atidarant programas ir pastebėjo, kad kai kurios „OnePlus 3T“ programos nesumažėjo įprasto tuščiosios eigos greičio po to atidarymas. Paprastai vengiame tikrinti etalonus su atidarytais našumo stebėjimo įrankiais, kai tik įmanoma, nes jie sukelia papildomų našumo išlaidų. (ypač ne „Snapdragon“ įrenginiuose, kuriuose nėra oficialių darbalaukio įrankių), tačiau šio incidento metu jie padėjo mums pastebėti keistą elgesį, kurio tikriausiai būtume praleidę kitaip.
Įeinant į tam tikras lyginamosios analizės programas, „OnePlus 3T“ branduolių dažnis būtų didesnis nei 0,98 GHz mažiems branduoliams ir 1,29 GHz dideliems branduoliams, net kai procesoriaus apkrova nukris iki 0%. Tai gana keista, nes paprastai abu branduolių rinkiniai „OnePlus 3T“ nukrenta iki 0,31 GHz, kai nėra apkrovos. Pirmą kartą tai pamatę nerimavome, kad „OnePlus“ procesoriaus mastelio keitimas buvo nustatytas šiek tiek keistai, Tačiau atlikę tolesnius bandymus padarėme išvadą, kad „OnePlus“ turi būti pritaikytas konkrečiai programos. Mūsų hipotezė buvo ta, kad „OnePlus“ taikė šiuos etalonus pagal pavadinimą ir įjungė alternatyvų procesoriaus mastelio keitimo režimą, kad padidintų savo etaloninius balus. Vienas iš pagrindinių mūsų rūpesčių buvo tai, kad „OnePlus“ galėjo nustatyti laisvesnius šiluminius apribojimus šiuo režimu, kad išvengtų problemų, kurias turėjo „OnePlus“ „One“, „OnePlus X“ ir „OnePlus 2“, kur telefonai prastai tvarkė papildomus branduolius, kurie buvo prijungti prie „Geekbench“ kelių branduolių, ir dėl to kartais labai sumažinamas (iki taško, kai „OnePlus X“ kelių branduolių skyriuje kartais buvo mažesnis nei vieno pagrindinė dalis). Mūsų svetainėje galite rasti stiprų droselį OnePlus 2 apžvalga, kur nustatėme, kad įrenginys gali atleisti iki 50 % savo Geekbench 3 kelių branduolių balo. Vėliau, kai pradėjome lyginti droselį ir termosą visuose įrenginiuose, OnePlus 2 tapo vadovėliniu pavyzdžiu, ko OĮG turėtų vengti.
Kreipėmės į komandą adresu Primatų laboratorijos („Geekbench“ kūrėjai), kurie padėjo atskleisti pirmąją etaloninio sukčiavimo bangą ir bendradarbiavo su jais atliekant tolesnius bandymus. Atvežėme „OnePlus 3T“ į „Primate Labs“ biurą Toronte atlikti pradinę analizę. Pradinis bandymas apėmė ROM išrašymą, kuris parodė, kad „OnePlus 3T“ tiesiogiai ieškojo daugybės programų pagal pavadinimą. Visų pirma, „OnePlus 3T“ ieškojo „Geekbench“, „AnTuTu“, „Androbench“, „Quadrant“, „Vellamo“ ir „GFXBench“. Kadangi iki šiol turėjome gana aiškių įrodymų, kad „OnePlus“ užsiima etaloniniu sukčiavimu, „Primate Labs“ sukūrė „Bob's Mini Golf Putt“ „Geekbench 4“ versija mums. Ačiū už esminių pokyčių tarp Geekbench 3 ir 4, „Mini golfas“ versija turėjo būti perkurta iš pagrindų specialiai šiam bandymui. Ši „Geekbench 4“ versija sukurta taip, kad būtų išvengta bet kokio etalono aptikimo, kad „Geekbench“ veiktų kaip įprasta programa telefonuose, kurie apgaudinėja (ne tik paketo pervadinimas, kuris apgauna daugumą bandymų atlikti etaloną Sukčiavimas).
Stebinantis pavyzdys
Iš karto atidarius programą skirtumas buvo aiškus. „OnePlus 3T“ veikė tuščiąja eiga 0,31 GHz dažniu, kaip veikia daugelyje programų, o ne 1,29 GHz dideliems branduoliams ir 0,98 GHz mažiems branduoliams, kaip tai daroma įprastoje „Geekbench“ programoje. „OnePlus“ padarė procesoriaus valdiklį agresyvesnį, todėl „Geekbench“ buvo praktiška dirbtinio laikrodžio greičio riba, kurios nebuvo paslėptoje „Geekbench“ konstrukcijoje. Tai buvo pagrįsta ne procesoriaus darbo krūviu, o programos paketo pavadinimu, kurį paslėpta konstrukcija galėjo apgauti. Nors atskirų važiavimų skirtumas buvo minimalus, šiluminis droselio atsipalaidavimas šviečia mūsų ilgalaikio veikimo teste, parodytame toliau.
Iš mūsų bandymų paaiškėjo, kad tai jau seniai buvo „Hydrogen OS“ „ypatybė“ ir nebuvo įtraukta į „Oxygen OS“, kol bendruomenė nesukuria iki „Nougat“ išleidimo (po buvo sujungti du ROM). Šiek tiek apmaudu matyti, ypač atsižvelgiant į programinės įrangos problemas, su kuriomis „OnePlus“ kilo šį mėnesį po ROM sujungimo. įkrovos tvarkyklės pažeidžiamumas į GPL atitikties problemos. Tikimės, kad dulkėms nuslūgus po dviejų komandų susijungimo, „OnePlus“ grįš į formą ir toliau pozicionuos kaip kūrėjams palanki parinktis.
Su „Mini golfas“ Turėdami „Geekbench“ versiją, išėjome ir pradėjome testuoti kitus telefonus, kad galėtume sukčiauti. Laimei, mūsų bandymai nerodo, kad įmonės, kurios prieš pusę dešimtmečio buvo įtrauktos į skandalą, neapgaudinėja. Atrodo, kad „HTC“, „Xiaomi“, „Huawei“, „Honor“, „Google“, „Sony“ ir kiti turi nuoseklius balus tarp įprasto „Geekbench“ kūrimo ir „Mini golfas“ remtis mūsų testavimo įrenginiais.
Deja, radome galimų sukčiavimo etalonu įrodymų, kurių dar negalėjome patvirtinti iš kelių kitų įmonių, kurias tirsime toliau. Pats blogiausias to pavyzdys buvo „Exynos 8890“ varomas „Meizu Pro 6 Plus“, kuris sukčiavimo etaloną perkėlė į kitą kraštutinumą.
Baisus pavyzdys
„Meizu“ istoriškai savo procesoriaus mastelį nustatė itin konservatyviai. Pažymėtina, kad jie dažnai nustato savo telefonus taip, kad dideli branduoliai retai prisijungtų prie interneto, net kai jie veikia „našumo režimu“, todėl pavyzdiniai procesoriai (pvz., puikūs Exynos 8890), kuriuos jie įdėjo į savo pavyzdinius telefonus, veikia kaip vidutinės klasės procesoriai. Tai iškilo pernai, kai Anandtech „Meizu“ išreiškė prastą „Anandtech“ JavaScript etalonų našumą „Meizu Pro 6“, pagrįsto „Meizu Pro 6“ ir „Meizu“. pažymėjo, kad didieji branduoliai buvo neprisijungę didžiąją bandymo dalį (kai bandymas turėjo būti vykdomas beveik išimtinai dideliame šerdys). „Anandtech“ praėjusią savaitę pastebėjo, kad „Meizu Pro 6“ buvo perkeltas programinės įrangos naujinimas, kuris pagaliau leido „Meizu“ naudoti tuos branduolius iki galo. „Anandtech“ išmaniųjų telefonų vyresnysis redaktorius Mattas Humrickas, pastebėjo kad „Atnaujinus į Flyme OS 5.2.5.0G, PRO 6 veikia daug geriau. „Kraken“, „WebXPRT 2015“ ir „JetStream“ balai pagerėjo maždaug 2x–2,5 karto. Meizu, matyt, pakoregavo apkrovos slenkstinę vertę, leisdama sriegiams dažniau migruoti į A72 branduolius, kad būtų geresnis našumas.
Deja, atrodo, kad, užuot patobulinę procesoriaus mastelį, nauji įrenginiai būtų geresni Etaloniniai balai, atrodo, kad jie nustatė telefoną naudoti didelius branduolius, kai yra tam tikros programos bėgimas.
Atidarius lyginamosios analizės programą, mūsų „Meizu Pro 6 Plus“ rekomenduoja įjungti „našumo režimą“ (tai tik pakanka patvirtinti, kad jie ieško konkrečių paketų pavadinimų), ir atrodo, kad tai daro esminį skirtumą. Kai veikia standartinis „balanso režimas“, „Geekbench“ vieno branduolio ir kelių branduolių skyriuose telefonas nuolat pasiekia apie 604 ir 2220 balų, tačiau „Performance Mode“ jis surinko 1473 ir 3906 balus, daugiausia dėl to, kad dideli branduoliai buvo išjungti didžiąją bandymo dalį „Balanso režimu“ ir įjungiami „Atlikimo režimas“. Atrodo, kad „Meizu“ užfiksuoja mažuosius branduolius iki didžiausio 1,48 GHz greičio ir nustato kietą grindų ribą dviem dideliems 1,46 GHz branduoliams. „Geekbench“ veikia „našumo režimu“ (kitų dviejų didelių branduolių mastelis gali keistis laisvai ir gana agresyviai), ko nepastebime, kai veikia „Mini golfas“ statyti.
Nors galimybė pasirinkti tarp didelės galios režimo ir mažos galios režimo gali būti puiki savybė, šiuo atveju tai atrodo ne kas kita, kaip salono triukas. „Meizu Pro 6 Plus“ įprastos „Geekbench“ programos „našumo režimu“ mato tinkamus balus, tačiau naudojant „Mini golfas“ „Geekbench“ kūrimas, jis iš karto sumažėja iki tokio pat našumo lygio, koks yra, kai nustatytas „Balanso režimas“. Didesnė Meizu Pro 6 Plus našumo būsena skirta tik palyginimui, o ne kasdieniam naudojimui.
Reikėtų atkreipti dėmesį į tai, kad kai išbandėme „Meizu Pro 6 Plus“ „Performance Mode“ su paslaptimi „Geekbench“, dideli branduoliai buvo prijungti prie interneto, jei įrašydavome laikrodžio greitį naudodami „Qualcomm“. Trepn. Dar nenustatėme, ar „Meizu“ atpažįsta, kad „Trepn“ veikia ir įjungia didelius branduolius dalis dėl to, arba jei jis tiesiog įjungia didelius branduolius dėl papildomos procesoriaus apkrovos sukuria. Nors gali atrodyti priešingai, kad papildoma apkrova fone (pavyzdžiui, kai testavimo metu buvo įjungtos našumo diagramos) padidinti palyginimo rezultatai, konservatyvus Meizu mastelio keitimas gali reikšti, kad papildomos pridėtinės išlaidos buvo pakanka, kad jį perstumtumėte per kraštą, o dideli branduoliai būtų pradėti veikti, taip pagerinant našumą visiems užduotys.
Kai imlūs OĮG pateikia atsiliepimus...
Atlikę bandymus susisiekėme su „OnePlus“ dėl aptiktų problemų. Atsakant, „OnePlus“ greitai pažadėjo nustoti taikyti lyginamąsias programas, naudodama jų apgaulę, bet vis tiek ketina tai palikti žaidimams (kurie taip pat vertinami). Būsimoje „OxygenOS“ versijoje šis mechanizmas nebus suaktyvintas etalonų. „OnePlus“ priėmė mūsų pasiūlymą pridėti ir perjungiklį, kad vartotojai žinotų, kas vyksta po gaubtu, ir bent jau nesąžiningas ir klaidinantis pranašumas etalonuose turėtų būti pataisyta. Tačiau dėl kinų Naujųjų metų šventės ir jų funkcijų atsilikimo gali praeiti šiek tiek laiko, kol pamatysime naudotojui skirtas šios našumo funkcijos tinkinimo parinktis. Nors vien elgesio koregavimas yra patobulinimas, vis tiek šiek tiek apmaudu, kai tai pastebima reguliariai programas (pvz., žaidimus), nes tai yra ramentas, skirtas nukreipti į konkrečias programas, o ne pagerinti faktinį našumą mastelio keitimas. Dirbtinai padidinus procesoriaus agresyvumą, taigi ir konkrečių programų laikrodžio greitį, užuot pagerinus jų telefonų gebėjimą nustatyti, kada iš tikrųjų reikia didesnio laikrodžio greičius, „OnePlus“ sukuria nenuoseklų jų telefonų našumą, o tai tik dar labiau išryškės, kai telefonas sensta ir atsiranda daugiau žaidimų, kuriems „OnePlus“ nenumatė. paleistas. Tačiau įgyvendinimas šiuo metu leidžia žaidimams veikti geriau. „OnePlus“ taip pat pateikė šio straipsnio pareiškimą, kurį galite perskaityti toliau:
„Siekiant suteikti vartotojams geresnę patirtį naudojant daug išteklių reikalaujančias programas ir žaidimus, ypač daug grafiškai Įdiegėme tam tikrus mechanizmus bendruomenėje ir „Nougat“ versijose, kad suaktyvintų procesorių, kad jis veiktų daugiau agresyviai. Būsimuose „OxygenOS“ versijose, kurios bus sukurtos „OnePlus 3“ ir „OnePlus 3T“, programų lyginamosios analizės paleidimo proceso nebus.
Džiaugiamės girdėdami, kad „OnePlus“ iš savo telefonų pašalins sukčiavimo etaloną. Ateityje ir toliau stengsimės daryti spaudimą originalios įrangos gamintojams, kad jie, kai tik įmanoma, būtų draugiškesni vartotojui, ir stebėsime būsimą apgaudinėjimą etalonu.
Deja, vienintelis tikras atsakymas į tokio pobūdžio apgaulę yra nuolatinis budrumas. Kaip išmaniųjų telefonų entuziastų bendruomenė, turime saugotis tokių bandymų apgauti vartotojus. Mus domina ne patys etaloniniai balai, o tai, ką standartai sako apie telefono veikimą. Nors etalonas sukčiavimas dar nebuvo aktyvus OnePlus 3 kai peržiūrėjome, pakako paprasto programinės įrangos atnaujinimo, kad pridėtume šią klaidinančią „funkciją“ ir aiškiai iliustruoja, kad tikrinti, ar prietaisai nėra apgaudinėjami pirmą kartą paleidžiant, nėra pakankamai. Tokios problemos kaip ši gali būti pridėtos dirbtinai praėjus dienomis, savaitėmis, mėnesiais ar net metais po įrenginio paleidimo išpūsti pasaulinius vidurkius, surinktus pagal etalonus kelis mėnesius, darydami įtaką galutinei duomenų bazei rezultatas. Reikėtų pažymėti, kad net ir atlikdami šiuos pakeitimus, kuriuos gamintojai turėjo investuoti laiko ir pinigų, kad sukurtų, paprastai matome tik kelių procentinių punktų padidėjimą etalono baluose (išskyrus keletą paprastų atvejų, tokių kaip Meizu, kai sukčiavimas slepia daug didesnes problemas). Pora procentinių punktų, o tai yra daug mažesnis už atotrūkį tarp geriausiai veikiančių ir prasčiausių įrenginių. Tačiau mes ginčytume, kad įrenginiuose, kuriuose naudojama vis panašesnė aparatinė įranga, šie papildomi procentiniai taškai gali būti lemiamas veiksnys reitingų diagramose, į kurias galiausiai žiūri vartotojai. Geresnis tvarkyklės optimizavimas ir išmanesnis procesoriaus mastelio keitimas gali turėti labai didelį poveikį įrenginio veikimui, nes skiriasi našiausio „Qualcomm Snapdragon 820“ įrenginio ir prasčiausio (iš didžiojo OĮG) įrenginio balas viršija 20 proc. Geekbench. Dvidešimt procentų nuo tvarkyklės optimizavimo, o ne keli procentiniai punktai nuo laiko ir pinigų švaistymo siekiant apgauti vartotojus. Ir tai tik kalba apie plėtros pastangas, kurios gali turėti įtakos etaloniniams balams. Daugelis didžiausių privalumų investuojant į įrenginio programinės įrangos tobulinimą ne visada rodomi etalonuose„OnePlus“ siūlo puikų realaus pasaulio našumą savo įrenginiuose. Tikrai turėtų būti aišku, kur šiuo atveju turėtų būti nukreiptos įmonės plėtros pastangos. Kreipiamės į daugiau įmonių, kurios apgaudinėja etalonus, kai juos randame, ir tikimės, kad jos bus tokios pat imlios kaip „OnePlus“.
Norėtume dar kartą padėkoti „Primate Labs“ komandai už bendradarbiavimą su mumis, siekiant išsiaiškinti šią problemą. Būtų buvę daug sunkiau tinkamai išbandyti „Benchmark Cheating“ be „Geekbench“ leidimo „Mini Golf“.