OnePlus ve Meizu, kıyaslamalarda hile yaparken yakalandı. XDA, olayın nasıl olduğunu ve tekrar yaşanmasını önlemek için neler yapılabileceğini araştırıyor.
Birkaç yıl önce çok sayıda büyük üreticinin kıyaslamalarda hile yaparken yakalanmasıyla büyük bir kargaşa yaşandı. Her boyuttaki OEM'ler (dahil) SAMSUNG, HTC'nin, sonyve LG), kullanıcıları yakalanmadan kandırmaya yönelik bu silahlanma yarışına katıldılar, ancak şükürler olsun ki, bazı samimi tartışmalardan sonra kıyaslama hilelerini sonunda durdurdular. endüstri uzmanları ve gazeteciler.
2013 yılında öyleydi keşfetti Samsung'un belirli uygulamalarda GPU saat hızlarını yapay olarak artırdığı ve bu durumun bir dizi endişeyi ateşlediği ortaya çıktı. soruşturmalar tüm üreticiler arasında kıyaslama hilelerine dönüştü. O dönemde yapılan araştırma, Google/Motorola dışında hemen hemen her üreticinin kıyaslama hilesi yaptığını ortaya çıkardı. Hepsi, kıyaslamalarda telefonlarından biraz daha fazla performans elde etmek için zaman ve para harcıyorlardı. Kullanıcıları telefonlarının gerçekte olduğundan daha hızlı olduğunu düşünmeleri için kandırmak amacıyla günlük kullanım üzerinde herhangi bir olumlu etkisi olmayacak vardı. Bu geliştirme çabaları, saat hızı tabanlarını ayarlamaktan, saat hızlarını maksimum ayarlara zorlamaya, hatta özel daha yüksek hızlar oluşturmaya kadar tüm yelpazeyi kapsıyordu. yalnızca kıyaslama sırasında mevcut olan güç durumları ve özel saat hızları; bu çabalar genellikle performansta yalnızca birkaç yüzde puanlık artışla sonuçlanır. kalite testi.
Bu durum keşfedildiğinde büyük bir öfke yaşandı, çünkü bu kıyaslama hilesi girişimleri, kıyaslamaların asıl amacına aykırıydı. Çoğu kıyaslama, bir telefonun laboratuvar koşullarındaki teorik maksimum performansını size söyleyecek şekilde mevcut değildir. günlük kullanımda tekrarlanabilir, ancak daha ziyade bunlar arasındaki gerçek dünya karşılaştırmaları için size bir referans noktası vermek üzere oradadırlar. telefonlar. Teknoloji yayınlarından, endüstri liderlerinden ve kamuya açık bir miktar azarlamadan (ve bazı özel görüşmelerden) sonra Genel kamuoyunda çoğu üretici, kıyaslama hilesinin kesinlikle kabul edilemez olduğu mesajını aldı ve bir önlem olarak durduruldu. sonuç. Bu noktada durmayan az sayıdakinin çoğu, önemli değişiklikler yapıldığı için kısa süre sonra durdu Karşılaştırmalı değerlendirme hilelerini caydırmak amacıyla (karşılaştırmanın faydasını azaltarak) kaç karşılaştırmalı testin çalıştırıldığını BT). Çoğu kıyaslama daha uzun yapıldı, böylece saat hızlarını maksimuma çıkarmanın neden olduğu termal kısıtlama hemen ortaya çıktı.
Biz ne zaman röportaj yapıldı Geekbench'in yaratıcısı John Poole, kıyaslama hilesi konusunu ve Primate Labs gibi şirketlerin bunu önlemek için neler yapabileceğini gündeme getirdi. Özellikle Primate Labs, kısmen kıyaslama hilelerinin etkilerini azaltmak için Geekbench 4'ü Geekbench 3'ten biraz daha uzun hale getirdi. Kalkınmayı sağlamak için faydaların azaltılması Karşılaştırmalı hile yapmanın maliyeti buna değmez.
"Sorun şu ki, bu kadar uzun çalışma sürelerine sahip olduğumuzda, saatinizi hızlandırarak oyun oynamaya başlarsanız hızları düşürürseniz veya valileri devre dışı bırakırsanız veya bunun gibi bir şey yaparsanız, gerçek tehlikeyi ortaya çıkarmaya başlayacaksınız. telefon... Eğer oyun oynayacaksan... bundan pek bir şey elde edemezsin. Hala yüzde birkaç tane alabilirsin ama buna gerçekten değer mi?" - John Poole
Ne oldu
Ne yazık ki bazı OEM'lerin yeniden hile yapmaya başladığını bildirmeliyiz, bu da bir kez daha tetikte olmamız gerektiği anlamına geliyor. Neyse ki üreticiler bu gibi sorunlara giderek daha fazla yanıt vermeye başladı ve bu konuya doğru ilgi gösterildiğinde bu durum hızlı bir şekilde düzeltilebilir. Tepkinin ne kadar kötü olduğu göz önüne alındığında, üreticilerin kıyaslama hilesi uyguladığını görmek biraz şok edici. en son denendiğinde (bazı kıyaslamalar hile yapan cihazları performanslarından tamamen hariç tutuyor) listeler). Bu tepki, kıyaslama hilesinden elde edilen performans kazanımlarının tipik olarak ne kadar küçük olduğuyla tezat oluşturuyor (çoğu Geçen sefer %5'ten daha az puan artışıyla sonuçlanan girişimlerin sayısı), tüm bunların geride kalacağını gerçekten umuyorduk. biz.
Bu girişimin zamanlaması özellikle uygunsuz çünkü birkaç ay önce kıyaslama hilesi dünyayı tamamen bir sahtekarlık olmaktan çıkardı. meraklılarının endişesine kapıldı ve Volkswagen ve Fiat Chrysler'in emisyonlarında hile yaparken yakalanınca kamusal alana girdi. kıyaslamalar. Her iki şirket de dizel araçlarının ne zaman emisyon testinden geçirildiğini tespit etmek için bir yazılım uyguladı ve onları düşük emisyon moduna geçirmelerini sağladı. Emisyonlar için düzenleyici sınırlar dahilinde kalmaya devam ederken, yakıt verimliliği konusunda benzinli arabalarla rekabet etme amacıyla yakıt ekonomisinin düştüğünü gören testler. Skandal şu ana kadar milyarlarca dolarlık para cezasına, on milyarlarca dolarlık geri çağırma maliyetine ve suçlamalara yol açtı; kesinlikle bu türden bir ceza değil. OEM'ler, yalnızca kullanıcı karşılaştırmalarına yönelik olan ve herhangi bir düzenlemeyi ölçmek için kullanılmayan kıyaslama puanlarını şişirmeyi her zaman görecektir. Gereksinimler.
Sırasında Qualcomm'un daha yüksek uygulama açma hızlarına nasıl ulaştığını araştırıyor O zamanlar yeni olan Qualcomm Snapdragon 821'de tuhaf bir şey fark ettik. OnePlus 3T üzerinde yeniden üretemediğimiz Xiaomi Mi Not 2 ya da Google Piksel XLdiğer Snapdragon 821 cihazlarının yanı sıra. Baş editörümüz Mario Serrafero, Qualcomm'un CPU'yu nasıl "güçlendirdiğini" izlemek için Qualcomm Trepn ve Snapdragon Performance Visualizer'ı kullanıyordu Uygulamaları açarken saat hızını düşürdüm ve OnePlus 3T'deki bazı uygulamaların açıldıktan sonra normal rölanti hızlarına düşmediğini fark ettim. açılış. Genel bir kural olarak, getirdikleri ek performans yükü nedeniyle kıyaslamaları performans izleme araçları açıkken mümkün olduğunca test etmekten kaçınırız. (özellikle resmi masaüstü araçlarının olmadığı Snapdragon olmayan cihazlarda), ancak bu olayda muhtemelen gözden kaçıracağımız bazı tuhaf davranışları fark etmemize yardımcı oldular aksi takdirde.
Belirli kıyaslama uygulamalarına girildiğinde, CPU yükü %0'a düştüğünde bile OnePlus 3T'nin çekirdekleri küçük çekirdekler için 0,98 GHz'in ve büyük çekirdekler için 1,29 GHz'in üzerinde kalıyordu. Bu oldukça garip çünkü normalde her iki çekirdek seti de yük olmadığında OnePlus 3T'de 0,31 GHz'e düşüyor. Bunu ilk gördüğümüzde OnePlus'ın CPU ölçeklendirmesinin biraz garip bir şekilde ayarlandığından endişelendik. ancak daha fazla test yaptıktan sonra OnePlus'ın belirli bir hedefi hedeflemesi gerektiği sonucuna vardık. uygulamalar. Bizim hipotezimiz, OnePlus'ın bu kriterleri ismen hedeflediği ve kıyaslama puanlarını yükseltmek için alternatif bir CPU ölçeklendirme moduna girdiği yönündeydi. Ana endişelerimizden biri, OnePlus'ın muhtemelen OnePlus ile yaşadığı sorunları önlemek için bu modda daha gevşek termal kısıtlamalar getirmesiydi. Bunlardan biri, telefonların Geekbench'in çok çekirdekli bölümü için çevrimiçi olan ek çekirdekleri yetersiz şekilde kullandığı OnePlus X ve OnePlus 2 ve sonuç olarak zaman zaman önemli ölçüde düşüş yaşanıyor (OnePlus X'in bazen çok çekirdekli bölümde tekli bölüme göre daha düşük puan aldığı noktaya kadar) çekirdek bölüm). Ağır kısıtlamaları sitemizde bulabilirsiniz. OnePlus 2 incelemesi, cihazın Geekbench 3 çoklu çekirdek puanının %50'sine kadarını koruyabildiğini gördük. Daha sonra cihazlar arasında kısma ve termal değerleri karşılaştırmaya başladığımızda, OnePlus 2 OEM'lerin nelerden kaçınması gerektiğine dair bir ders kitabı örneği haline geldi.
Ekiple iletişime geçtik Primat Laboratuvarları (Geekbench'in yaratıcıları), kıyaslama hilelerinin ilk dalgasını açığa çıkarmada etkili oldu ve daha ileri testler için onlarla ortaklık kurdu. İlk analiz için Primate Labs'ın Toronto'daki ofisine bir OnePlus 3T getirdik. İlk test, OnePlus 3T'nin doğrudan pek çok uygulamayı ismine göre aradığını tespit eden bir ROM dökümü içeriyordu. En önemlisi, OnePlus 3T Geekbench, AnTuTu, Androbench, Quadrant, Vellamo ve GFXBench'i arıyordu. Bu noktada OnePlus'ın kıyaslama hilesi yaptığına dair oldukça açık kanıtlarımız olduğundan, Primate Labs bir “Bob'un Mini Golf Vuruşu” Geekbench 4'ün bizim için versiyonu. sayesinde önemli değişiklikler Geekbench 3 ile 4 arasında "Mini golf" Sürümün özellikle bu test için sıfırdan yeniden oluşturulması gerekiyordu. Geekbench 4'ün bu sürümü, Geekbench'in normal şekilde çalışmasına izin vermek için herhangi bir kıyaslama tespitini önleyecek şekilde tasarlanmıştır. Hile yapan telefonlardaki uygulama (karşılaştırma denemelerinin çoğunu kandıran paket yeniden adlandırmanın ötesine geçerek) hile).
Şaşırtıcı Bir Örnek
Uygulamayı açar açmaz fark açıkça görüldü. OnePlus 3T, normal Geekbench uygulamasında olduğu gibi büyük çekirdekler için 1,29 GHz ve küçük çekirdekler için 0,98 GHz yerine çoğu uygulamada olduğu gibi 0,31 GHz'de boşta çalışıyordu. OnePlus, CPU yöneticisini daha agresif hale getiriyordu ve bu da Geekbench'te gizli Geekbench yapısında bulunmayan pratik bir yapay saat hızı tabanıyla sonuçlanıyordu. CPU iş yüküne değil, gizli yapının kandırabileceği uygulamanın paket adına dayanıyordu. Bireysel çalıştırmalardaki fark minimum düzeyde olsa da, aşağıda gösterilen sürekli performans testimizde termal kısma gevşemeleri parlıyor.
Testlerimize göre, bunun uzun süredir Hydrogen OS'nin bir "özelliği" olduğu ve Nougat sürümüne kadar topluluk oluşturulana kadar (sonradan) Oxygen OS'ye eklenmediği görülüyor. iki ROM birleştirildi). Özellikle OnePlus'ın bu ay ROM'ların birleşmesinden sonra yaşadığı yazılım sorunları göz önüne alındığında, bunu görmek biraz hayal kırıklığı yaratıyor. önyükleyici güvenlik açıkları ile GPL uyumluluk sorunları. İki takımın birleşmesinin ardından ortalık yatıştıkça OnePlus'ın eski formuna döneceğini ve kendisini geliştirici dostu bir seçenek olarak konumlandırmaya devam edeceğini umuyoruz.
İle "Mini golf" Elimizde Geekbench sürümü varken dışarı çıktık ve diğer telefonları da kıyaslama hilesi açısından test etmeye başladık. Neyse ki testlerimiz, yarım on yıl önce skandala karışan şirketlerin hile yapmadığını gösteriyor. HTC, Xiaomi, Huawei, Honor, Google, Sony ve diğerlerinin normal Geekbench yapısı ile Geekbench yapısı arasında tutarlı puanlara sahip olduğu görülüyor. "Mini golf" test cihazlarımızı temel alıyoruz.
Ne yazık ki, daha fazla araştıracağımız diğer birkaç şirketten henüz doğrulayamadığımız kıyaslama hilesi olduğuna dair olası kanıtlar bulduk. Bunun en kötü örneği, kıyaslama hilesini başka bir uç noktaya taşıyan Exynos 8890 destekli Meizu Pro 6 Plus'tı.
Korkunç Bir Örnek
Meizu geçmişte CPU ölçeklendirmesini son derece ihtiyatlı bir şekilde ayarladı. Özellikle, telefonlarını genellikle büyük çekirdekler, "performans modunda" olsalar bile nadiren çevrimiçi olacak şekilde ayarlarlar ve bu da amiral gemisi işlemcileri (mükemmel işlemciler gibi) yapar. Exynos 8890Amiral gemisi telefonlarına koydukları orta seviye işlemciler gibi davranıyorlar. Geçen yıl bu durum doruğa çıktı Anandtech Anandtech'in Mediatek Helio X25 tabanlı Meizu Pro 6'daki JavaScript testlerindeki zayıf performansından dolayı Meizu'yu çağırdı ve büyük çekirdeklerin testin çoğunda çevrimdışı kaldığını kaydetti (testin neredeyse yalnızca büyük çekirdeklerde çalıştırılması gerekirken). çekirdekler). Anandtech geçen hafta Meizu Pro 6'ya, Meizu'nun bu çekirdekleri sonuna kadar kullanmasına olanak tanıyan bir yazılım güncellemesinin gönderildiğini fark etti. Anandtech'in Akıllı Telefon Kıdemli Editörü Matt Humrick, dikkat çekti O "Flyme OS 5.2.5.0G'ye güncelleme sonrasında PRO 6 önemli ölçüde daha iyi performans gösteriyor. Kraken, WebXPRT 2015 ve JetStream puanları yaklaşık 2 kat ila 2,5 kat arttı. Görünüşe göre Meizu yük eşik değerini ayarlayarak iş parçacıklarının daha iyi performans için A72 çekirdeklerine daha sık geçiş yapmasına olanak tanıdı."
Ne yazık ki, yeni cihazlarının CPU ölçeklendirmesini geliştirmek yerine daha iyi sonuçlar elde etmek için öyle görünüyor ki Karşılaştırma puanları, belirli uygulamalar çalıştırıldığında telefonu büyük çekirdekleri kullanmaya ayarlamış görünüyorlar. koşma.
Bir kıyaslama uygulamasını açtıktan sonra Meizu Pro 6 Plus, "Performans Modu"na (yalnızca bu) geçmenizi önerir. belirli paket adlarını aradıklarını doğrulamak için yeterlidir) ve önemli bir fark yaratacak gibi görünüyor. Standart "Denge Modu"ndayken telefon, Geekbench'in tek çekirdekli ve çok çekirdekli bölümlerinde sürekli olarak 604 ve 2220 civarında puan alıyor, ancak "Performans Modu"nda 1473 ve 3906 puan aldı, bunun büyük ölçüde büyük çekirdeklerin "Denge Modunda" testin çoğunda kapalı kalması ve daha sonra açılması sayesinde oldu. "Performans modu". Meizu, küçük çekirdekleri maksimum 1,48 GHz hıza kilitliyor ve çalışırken 1,46 GHz'lik iki büyük çekirdeği için sert bir zemin hazırlıyor gibi görünüyor Geekbench "Performans Modu"ndayken (diğer iki büyük çekirdeğin serbestçe ve oldukça agresif bir şekilde ölçeklenmesine izin verilir), bunu ne zaman göremediğimiz çalıştırmak "Mini golf" inşa etmek.
Yüksek güç modu ile düşük güç modu arasında seçim yapabilmek güzel bir özellik olsa da, bu durumda bu bir salon numarasından başka bir şey gibi görünmüyor. Meizu Pro 6 Plus, normal Geekbench uygulaması için "Performans Modu"nda iyi puanlar görüyor, ancak "Mini golf" Geekbench'in yapısı, "Denge Modu"na ayarlandığındaki performans seviyesinin hemen altına düşüyor. Meizu Pro 6 Plus'ın daha yüksek performans durumu, gerçek günlük kullanım için değil, yalnızca kıyaslama amaçlıdır.
Dikkat edilmesi gereken bir nokta da Meizu Pro 6 Plus'ı "Performans Modu"nda gizli olarak test ettiğimizde Geekbench'in yapısında, saat hızlarını Qualcomm ile kaydediyor olsaydık büyük çekirdekler çevrimiçi hale gelirdi Trepn. Meizu'nun Trepn'in çalıştığını ve büyük çekirdekleri çalıştırdığını fark edip etmediğini henüz belirlemedik. kısmen bu yüzden mi, yoksa ekstra CPU yükü nedeniyle büyük çekirdekleri mi çalıştırıyor? yaratır. Her ne kadar arka planda ek bir yükün (örneğin test sırasında performans grafiklerini açık tuttuğumuzda) olması mantığa aykırı gelse de arttırmak Bir karşılaştırmanın sonuçlarına göre, Meizu'nun ihtiyatlı ölçeklendirmesi ekstra genel giderin olduğu anlamına gelebilir sınırı aşmaya ve büyük çekirdekleri harekete geçirmeye yetecek kadar, böylece herkes için performans artırılıyor görevler.
Alıcı OEM'ler geri bildirime başvurduğunda...
Testlerimizin ardından bulduğumuz sorunlarla ilgili olarak OnePlus ile iletişime geçtik. Cevap olarak, OnePlus, kıyaslama hileleriyle kıyaslama uygulamalarını hedeflemeyi hızlı bir şekilde bırakacağına söz verdi, ancak yine de bunu oyunlar için (aynı zamanda kıyaslama yapılan) tutmaya niyetli. Gelecekteki bir OxygenOS yapısında bu mekanizma kıyaslamalar tarafından tetiklenmeyecek. OnePlus, kullanıcıların neler olup bittiğini bilmesi için bir geçiş ekleme önerimizi de kabul etti örtünün altında ve en azından kıyaslamalardaki haksız ve yanıltıcı avantajın ortadan kaldırılması gerekir. düzeltildi. Ancak Çin Yeni Yılı tatili ve özellik yoğunluğu nedeniyle, bu performans özelliği için kullanıcıya yönelik özelleştirme seçeneklerini görmemiz biraz zaman alabilir. Davranışı düzeltmek tek başına bir gelişme olsa da, düzenli olarak bunu görmek hala biraz hayal kırıklığı yaratıyor. Gerçek performansı artırmak yerine belirli uygulamaları hedeflemek bir destek olduğundan uygulamalar (oyunlar gibi) ölçeklendirme. Telefonlarının gerçekten daha yüksek bir değere ihtiyaç duyduğunu belirleme yeteneğini geliştirmek yerine, işlemcinin saldırganlığını ve dolayısıyla belirli uygulamalar için saat hızlarını yapay olarak artırarak Saat hızları nedeniyle OnePlus, telefonları için tutarsız bir performans yaratıyor ve bu, telefon yaşlandıkça ve OnePlus'ın hedeflemediği oyunlar çoğaldıkça daha da belirgin hale gelecektir. piyasaya sürülmüş. Ancak uygulama şu anda oyunların daha iyi performans göstermesine olanak tanıyor. OnePlus bu yazı için ayrıca aşağıda okuyabileceğiniz bir açıklama da yaptı:
'Kullanıcılara kaynak yoğun uygulama ve oyunlarda, özellikle de grafik açısından yoğun uygulamalarda daha iyi bir kullanıcı deneyimi sunmak için işlemcinin daha fazla çalışmasını tetiklemek için toplulukta ve Nougat derlemelerinde belirli mekanizmalar uyguladık agresif bir şekilde. Uygulamaları kıyaslamaya yönelik tetikleme süreci, OnePlus 3 ve OnePlus 3T'de yakında çıkacak OxygenOS yapılarında mevcut olmayacak.'
OnePlus'ın kıyaslama hilesini telefonlarından kaldıracağını duymaktan memnuniyet duyuyoruz. İleriye dönük olarak, mümkün olduğunca OEM'lere daha tüketici dostu olmaları konusunda baskı yapmaya devam edeceğiz ve gelecekteki kıyaslama hilelerine karşı gözümüzü açık tutacağız.
Ne yazık ki, bu tür bir aldatmacaya karşı tek gerçek cevap sürekli tetikte olmaktır.. Akıllı telefon tutkunları topluluğu olarak kullanıcıları bu şekilde kandırmaya yönelik girişimlere karşı gözümüzü açık tutmamız gerekiyor. Bizim ilgilendiğimiz, kıyaslama puanlarının kendisi değil, daha ziyade kıyaslamaların telefonun performansı hakkında söyledikleridir. Karşılaştırma hilesi henüz aktif olmasa da OnePlus 3 incelediğimizde basit bir yazılım güncellemesinin bu yanıltıcı "özelliği" eklemek için yeterli olduğunu gördük ve Cihazları ilk başlatıldığında kıyaslama hilesi açısından kontrol etmenin, yeterli. Bunun gibi sorunlar, cihazın piyasaya sürülmesinden günler, haftalar, aylar ve hatta yıllar sonra yapay olarak eklenebilir. aylar sonra karşılaştırmalı değerlendirmelerle toplanan küresel ortalamaları şişirerek nihai veri tabanını etkilemek sonuç. Üreticilerin bu ince ayarlara rağmen gelişmek için zaman ve para yatırmak zorunda kaldıklarını belirtmek gerekir. Karşılaştırma puanlarında genellikle yalnızca birkaç yüzde puanlık artış görüyoruz (Hilenin çok daha büyük sorunları örtbas ettiği Meizu gibi birkaç uç durum hariç). En iyi performansa sahip cihazlar ile en kötü performansa sahip cihazlar arasındaki farktan çok daha küçük olan birkaç yüzdelik puan. Bununla birlikte, cihazların giderek benzer donanımlarla çalıştığı göz önüne alındığında, bu ekstra yüzde puanlarının, kullanıcıların sonuçta aradıkları sıralama tablolarında belirleyici faktör olabileceğini savunuyoruz. Daha iyi sürücü optimizasyonu ve daha akıllı CPU ölçeklendirmesi, cihaz performansı üzerinde kesinlikle çok büyük bir etkiye sahip olabilir. En yüksek performansa sahip Qualcomm Snapdragon 820 tabanlı cihazın ve en kötü performansa sahip cihazın (büyük bir OEM'den) puanı %20'yi aştı Geekbench. Kullanıcılarınızı aldatmak için zaman ve para harcamaktan birkaç yüzde puan yerine, sürücü optimizasyonundan yüzde yirmi. Ve bu sadece kıyaslama puanlarını etkileyebilecek geliştirme çabalarından bahsediyor. Bir cihazın yazılımını iyileştirmeye yatırım yapmanın en büyük faydalarından çoğu kıyaslamalarda her zaman görünmüyorOnePlus, cihazlarında mükemmel gerçek dünya performansı sunuyor. Bu durumda bir şirketin geliştirme çabalarının nereye odaklanması gerektiği gerçekten net olmalıdır. Bulduğumuz kriterlerde hile yapan daha fazla şirkete ulaşıyoruz ve onların da OnePlus kadar anlayışlı olmalarını umuyoruz.
Bu sorunu ortaya çıkarmak için bizimle birlikte çalıştıkları için Primate Labs ekibine bir kez daha teşekkür etmek istiyoruz. Geekbench'in "Mini Golf" sürümü olmadan Karşılaştırma Hilesini düzgün bir şekilde test etmek çok daha zor olurdu.