Bir raporda Huawei'nin kıyaslamalarda hile yaptığının tespit edildiği belirtiliyor. UL buna yanıt olarak Huawei P20/P20 Pro, Huawei Nova 3 ve Honor Play'i 3DMark'tan çıkardı.
Karşılaştırmalar, hem PC'de hem de mobil alanda donanımın performansını ölçmenin her zaman popüler bir yolu olmuştur. Karşılaştırma hilesi, bir cihaz üreticisinin, sonuçların gerçekte olduğundan daha iyi puan almasını sağlayarak bir karşılaştırma testiyle adil olmayan bir şekilde oynamaya çalışması durumunda ortaya çıkar. CPU, sistem veya GPU performanslarını ölçenler de dahil olmak üzere herhangi bir kıyaslama testinde hile yapılabilir. Kıyaslamalarda hile yapmanın bariz amacı, müşterilerin A ürününün B ürününden daha iyi olduğuna ikna edilmesini sağlamaktır. Ne yazık ki bu, donanımdaki temel zayıflıkların hile yoluyla maskelendiği anlamına geliyor. Basitçe söylemek gerekirse bu, sektördeki tüm taraflar için bir kaybet-kaybet durumudur: çip satıcıları, cihaz üreticileri ve en önemlisi son tüketiciler.
Hile, on yıldan fazla bir süre önce PC alanında çok yaygındı, ancak şükürler olsun ki bu uygulama çoğunlukla sona erdi. Mobil dünyada, Andrei Frumusanu (şu anda mobil editör
AnandTech) Benchmark hilesini keşfettim 2013 yılında Samsung Galaxy S4'ün Exynos versiyonunda. AnandTech Mobil editörler daha sonra birçok akıllı telefon satıcısının farklı türde kıyaslama hilesi yaptığını keşfetti. Galaxy S4 ve Samsung Galaxy Note 3 gibi pek çok önemli akıllı telefon bile karşılaştırmalı değerlendirmelerden çıkarıldı 3DMark gibi, Futuremark gibi şirketler de cihaz üreticilerini kamuoyuna duyurmayı tercih etti.2013 yılında bu davranışından dolayı çağrıldıktan sonra çoğu cihaz üreticisi kıyaslama hilelerine son verdi. Meizu gibi bazı OEM'ler kullanıcı arayüzlerinde hala "Performans" modları bulunur, ancak bu tür modlar çoğunlukla kullanıcı tarafından yapılandırılabilir. Geçen sene, OnePlus'ın Geekbench gibi bazı popüler kriterlerde hile yaptığına dair kanıt bulduk. OnePlus ile antrenmanı durdurdum OnePlus 5T ve genel olarak kıyaslama hileleri geçmişte kaldı gibi görünüyordu.
Yeni bir gelişme bu yanlış varsayımı düzeltti. AnandTech editörler Andrei Frumusanu ve Ian Cutress bir rapor yayınladı Huawei P20, Huawei P20 Pro ve Honor Play gibi 2018 Huawei ve Honor akıllı telefonları tarafından GPU kıyaslamalarında yapılan doğrulanmış kıyaslama hilesi örneklerini ayrıntılarıyla anlatıyor.
Özet: 2018 Huawei/Honor telefonları GPU testlerinde hile yaparken yakalandı
AnandTech şunu not eder: onların incelemesiHuawei P20'nin performansı Huawei Mate 10 Pro'ya göre gerilemiş durumda. O dönemde yayına Huawei tarafından bunun bir donanım yazılımı sorunu olduğu söylenmişti ancak gerçekte durum böyle değildi. Huawei ve Honor'un yeni telefonları yeni özelliklerle geliyordu. kıyaslama tespit mekanizması Bu, daha yüksek termal boşluk payına sahip SoC için çok daha yüksek bir güç sınırına olanak tanır.
Tarafından açıklandığı gibi AnandTechBu, beyaz listede yer alan belirli uygulamalar için en son Huawei ve Honor telefonlarının, kullanıcıların beyaz listede yer almayan diğer benzer yazılımlardan bekleyeceklerine kıyasla çok daha yüksek performans gösterdiği anlamına gelir. Bu uygulama daha yüksek güç tüketimine, daha düşük verimliliğe ve daha kısa pil ömrüne neden olur.
Net sonuç, performans rakamlarının gerçekte olması gerekenden daha yüksek olmasıdır. Bu rakamlara herhangi bir kullanıcı için gerçek bir performans senaryosunda ulaşmak gerçekçi değildir. Yayın ayrıca bunu yaparken SoC'nin verimliliğinin azaldığını, çünkü "iyi bir şekilde zorlandığını" belirtiyor standart işletim penceresinin dışında." Sonuç olarak, daha yüksek kıyaslama uğruna SoC'nin daha kötü görünmesine neden oluyor sayılar.
AnandTech Huawei'nin kıyaslama davranışının, yayının geçmişte gördüğü her şeyi aştığını belirtiyor. Yayın, kıyaslamaların özel sürümlerini kullandı, böylece algılama modunu açıp kapatarak test yapabiliyorlar. Onların deyimiyle, kamuya açık kıyaslamalar ile kullandıkları dahili versiyonlar arasındaki büyük performans farklılıkları "kesinlikle şaşırtıcı".
Huawei'nin yanıtı AnandTechraporu
AnandTech Huawei Tüketici İş Grubu Yazılım Başkanı Dr. Wang Chenglu ile konuştu. Dr. Chenglu, şirketin kıyaslamada hile yaptığını itiraf etti çünkü "diğerleri de aynı şeyi yapıyor, yüksek puanlar alıyor ve Huawei sessiz kalamıyor."
Dr. Chenglu, Huawei'nin "kullanıcı deneyimi için en iyi doğrulama ölçütünü bulmak üzere Çin'deki diğer şirketlerle bir araya gelmek istediğini" belirtti. O Çin'deki ismi açıklanmayan popüler bir akıllı telefon üreticisini en büyük üretici olarak göstererek, diğer üreticilerin sayılarıyla yanıltıcı olduğunu belirtti suçlu. Ona göre, kıyaslama hilesi "Çin'de yaygın bir uygulama" haline geliyor ve Huawei tüketicilere "açılmak" isterken, rakipleri "sürekli olarak paylaşımda bulunduğunda" sorun yaşıyorlar Gerçekçi olmayan puanlar." Huawei, Çin'deki büyük rekabetiyle yüzleşmeye çalışıyor; diğer cihaz üreticileri gerçekçi olmayan puanlar ürettiğinde bu görev görünüşte zorlaşıyor sayılar.
Huawei'nin hedefi, oyun alanını eşitlemek için kriterlerin standartlaştırılmasıdır. AnandTech medyanın yardım etmesini istiyorlar. Gibi AnandTech ancak Huawei'nin tanıtımını yaptığını belirtiyor sahip olmak şu an için gerçekçi olmayan skorlar.
Huawei'nin tepkisi AnandTech rapor şu Şirket, sunumlardaki gelecekteki kıyaslama verilerinin duyuru sırasında üçüncü taraflarca bağımsız olarak doğrulanmasını sağlayacaktır.
AnandTechbulguları ayrıntılı olarak
AnandTech halka açık kıyaslamalarla karşılaştırıldığında, GPU kıyaslamalarının dahili versiyonlarının ürettiği puanlarda şaşırtıcı bir fark buldu. Yayın, Huawei P20, Huawei P20 Pro ve Honor Play'i test etti. Aynı HiSilicon'u paylaştıkları için tüm telefonlar yüksek güç modunda neredeyse aynı performansı gösterdi Kirin 970 SoC. Ancak telefonların gerçek performansı, hepsinin farklı termal limitlere sahip olması nedeniyle önemli ölçüde farklılık gösteriyor. Farklı termal sınırlar, farklı kasa/soğutma tasarımlarından kaynaklanmaktadır. AnandTech açıkladı. Huawei P20 Pro en iyi termallere sahiptir (çünkü diğer ikisinden daha büyük ve daha pahalıdır) ve bu nedenle kendi ortamında daha iyi performans gösterebilir. gerçek performans durum.
Yayının gündeme getirdiği önemli bir nokta, kıyaslama hilesi yöntemindeki farklılıktır. Bay Frumusanu şunları söyledi:
"Geçmişte satıcıların SoC frekanslarını gerçekten yükselttiklerini veya maksimum durumlarına kilitleyerek performansı genel uygulamalar için genellikle mevcut olanın ötesine yükselttiklerini gördük. Bunun yerine Huawei'nin yaptığı şey, konuya diğer yönden yaklaşarak kıyaslama puanlarını yükseltmek. kıyaslama uygulamaları, SoC'nin gerçekten reklamı yapılan şekilde performans gösterdiği tek kullanım durumlarıdır hızlar. Bu arada, donanımın termal sınırlamaları nedeniyle diğer tüm gerçek dünya uygulamaları bu durumun önemli ölçüde altında kısıtlanır. Kısıtlanmamış performansla karşılaştığımız şey belki de kısıtlanmamış bir SoC'nin 'gerçek' biçimidir, ancak Bu, kullanıcıların gerçekte deneyimlediği deneyimlerle karşılaştırıldığında tamamen akademiktir." - Andrei Frumusanu ve Ian Cutress, AnandTech
Güç grafikleri, Huawei'nin en yeni telefonlarının gerçek performans durumunda zaten 3,5-4,4W'a ulaştığını, 3,5W TDP'nin ise sürdürülebilecek maksimum miktar olduğunu gösteriyor. Öte yandan telefon, halka açık testleri gerçekleştirirken TDP ile aşırı hızlanıyor ve güç rakamları 6W'ın üzerine çıkıyor ve 8,5W'a kadar çıkıyor. Tarafından belirtildiği gibi AnandTech, bu rakamlar cihazda hızlı bir şekilde aşırı ısınma bildirimini tetikleyerek termal limitlerin yazılım beklentileriyle uyumsuzluğunu gösterir.
Buradaki çıkarım, gerçek performans rakamlarının telefonun sıcaklığına bağlı olması nedeniyle sabit olmamasıdır. Huawei, GPU'nun en yüksek GPU frekans durumuna ulaşmasını engellemez. Varsayılan davranış aslında "önemli ölçüde daha düşük SoC sıcaklık seviyelerini ve genel güç tüketimini korumaya çalışacak sert bir termal kısma mekanizmasıdır [...]."
Telefonların normal modu, GPU kıyaslamaları sırasında kısılmamış varyantlar tarafından yayınlananlarla aynı en yüksek güç tüketimi rakamlarına ulaşabilir. Ancak bu rakamlar hızlı bir şekilde önemli ölçüde gerileme, Ve AnandTech Telefonun bazı durumlarda 2,2W'a kadar düştüğünü ve bunun da performansı önemli ölçüde düşürdüğünü belirtiyor.
Yayın, referans hile davranışının görünüşte yalnızca bu yılki cihazlarda tanıtıldı. Huawei Mate 9 ve Huawei P10 gibi telefonlar etkilenmezken yalnızca EMUI 8.0 ve daha yeni cihazların etkilendiği görülüyor. AnandTech Ayrıca Huawei tarafından bunun "tamamen bir yazılım uygulaması" olduğu söylendi ve bu da yayının bulgularını doğruladı.
AnandTech Etkilenen Kirin 970 destekli telefonlar için GPU performansı gerçek rakamlarını yayınladı ve sonuç şu: Huawei, hem GPU performansı hem de verimlilik açısından rakiplerinin oldukça gerisinde bulunuyor.
Yayın ayrıca Kirin 970 ve Kirin 960 destekli Huawei cihazları için güç karşılaştırma grafikleri de yayınladı. Grafikler, Huawei'nin güç azaltma ayarlarının aslında kullanıcı deneyimi açısından daha iyi olduğunu, çünkü daha yüksek güç tüketimi sorununu azalttığını gösteriyor. AnandTech'in Kirin 960'ın testleri onun "kötü GPU güç özelliklerine" sahip olduğunu gösterdi. 970 ile çalışan cihazlarda, güç tüketimini azaltmak için yeni ve katı bir kısma mekanizması bulunur. sıcaklıklar.
AnandTech hem Kirin 960'ın hem de Kirin 960'ın olduğu gerçeği göz önüne alındığında yeni kısıtlama politikasının mantıklı olduğunu ekliyor Kirin 970, ilgili form faktörleri için sürdürülebilir seviyelerinin çok üzerinde güç çekişleri gösteriyor.
Açık olmak gerekirse, Huawei yeni kısıtlama mekanizmasını tanıtmakla yanlış yapmadı. Buradaki en büyük hata, popüler kıyaslama uygulamalarının beyaz liste aracılığıyla hariç tutulmasıdır ki buna bu durumda kıyaslama hilesi denmektedir.
Yanıt: Huawei'nin resmi açıklaması
Huawei, kıyaslama hilesi hakkında bize şu açıklamayı gönderdi:
Huawei, yüksek kıyaslama puanları peşinde koşmak yerine her zaman kullanıcı deneyimine öncelik veriyor; özellikle de akıllı telefon kıyaslamaları ile kullanıcı deneyimleri arasında doğrudan bir bağlantı olmadığı için. Huawei akıllı telefonları CPU, GPU ve NPU dahil olmak üzere donanım performansını optimize etmek için yapay zeka gibi gelişmiş teknolojileri kullanıyor.
Birisi bir fotoğrafçılık uygulamasını başlattığında veya yoğun grafikli bir oyun oynadığında, Huawei'nin akıllı yazılımı sorunsuz ve istikrarlı bir deneyim yaratır. donanımın tüm özelliklerini uygularken aynı anda cihazın sıcaklığını ve gücünü yöneterek kullanıcı deneyimi yeterlik. Web'de gezinmek gibi yoğun güç tüketimi olmayan uygulamalar için yalnızca ihtiyaç duyulan performansı sağlamak için gereken kaynakları tahsis edecektir.
Normal kıyaslama senaryolarında, Huawei'nin yazılımı bir kıyaslama uygulamasını tanıdığında, akıllı bir şekilde "Performans Moduna" uyum sağlar ve optimum performansı sunar. Huawei, kullanıcılara ihtiyaç duyduklarında cihazlarının maksimum gücünü kullanabilmeleri için "Performans Modu"na erişim sağlamayı planlıyor.
Sektör lideri olarak Huawei, kullanıcı deneyimini doğru bir şekilde değerlendirebilecek en iyi kıyaslama standartlarını bulmak için iş ortaklarıyla birlikte çalışmaya isteklidir.
Buradaki en önemli çıkarım, şirketin kullanıcıların "gerektiğinde" cihazlarının "maksimum gücünü" kullanabilmeleri için kullanıcılara "Performans Modu"na (Meizu tarzı) erişim sağlamayı planlıyor."
Yanıt: UL, etkilenen Huawei ve Honor telefonlarını karşılaştırma listelerinden çıkardı
UL, Futuremark'ı (PCMark ve 3DMark'ın arkasındaki şirket) satın alarak, Huawei P20, Huawei P20 Pro, Huawei Nova 3 ve Honor Play'i 3DMark'tan çıkardı. Şirket, Huawei P20 Pro, Huawei Nova 3 ve Honor Play'de kıyaslama hilesi yapıldığını doğruladı. Dayanarak AnandTech'in Test ve raporlamanın ardından standart Huawei P20'yi de listeden çıkardı. Şirket, hileli kıyaslama puanlarına ev sahipliği yapmak istemediğinden, kullanıcılar artık etkilenen telefonların karşılaştırma sonuçlarını görüntüleyemeyecek.
Şirket, halka açık 3DMark uygulamasından alınan puanların, puanlardan %47'ye kadar daha yüksek olduğunu buldu. testler olmasına rağmen (herkese açık olmayan) özel uygulamadan birebir aynı.
Duyuruda UL, Huawei'nin gelecekte daha şeffaf bir yaklaşım benimseme kararlılığını görmekten mutluluk duyduğunu ekledi. UL'nin görüşü, kullanıcı tarafından ayarlanabilen isteğe bağlı performans modlarına mevcut kurallar kapsamında izin verildiği yönündedir varsayılan olarak devre dışı bırakıldıkları sürece. Şirket şunu belirtiyor: "Bir cihazın, kıyaslamayı başka bir uygulamaymış gibi çalıştırması gerekir."
Sonuç olarak, halka açık kriterler kullanılarak alınan tüm Huawei GPU performans kriterleri, gerçek performansın bir temsili olarak alınmamalıdır.
Yanıt: UL ve Huawei ortak bir bildiri yayınladı
UL'nin Huawei P20, Huawei P20 Pro, Huawei Nova 3 ve Honor Play'i 3DMark'tan kaldırma kararına yanıt olarak Huawei, kıyaslama testi için en iyi uygulamaları tartışmak üzere UL ile iletişime geçti. Bize sunulan açıklama şöyle:
Huawei ve UL (3DMark'ın yaratıcıları) bu hafta kıyaslama uygulamaları hakkında kapsamlı tartışmalar gerçekleştirdiler ve birlikte çalışmanın sonraki adımları konusunda olumlu bir anlaşmaya vardılar.
Tartışmada Huawei, akıllı telefonlarının yapay akıllı kaynak planlama mekanizması kullandığını açıkladı. Farklı senaryoların farklı kaynak ihtiyaçları olduğundan, en yeni Huawei cep telefonları yapay zeka gibi yenilikçi teknolojilerden yararlanıyor. kaynak tahsisini, donanımın yeteneklerini en üst düzeyde gösterebilmesini ve aynı zamanda tüm alanlarda kullanıcı taleplerini karşılayabilmesini sağlayacak şekilde optimize edin senaryolar.
UL, Huawei'nin yaklaşımının amacını anlıyor ancak cihaz tarafından bir kıyaslama uygulaması algılandığında varsayılan olarak "Performans Modu"nun kullanılmasının zorunlu kılınmasına karşı çıkıyor. UL kuralları, bir cihazın kıyaslamayı başka bir uygulamaymış gibi çalıştırmasını gerektirir.
Huawei, tüketicilerin cihazlarıyla ne yapacaklarını seçme hakkına saygı duyuyor. Bu nedenle Huawei, kullanıcılara EMUI 9.0'daki "Performans Modu"na açık erişim sağlayacak, böylece kullanıcı cihazının maksimum gücünü ne zaman kullanacağını seçebilecek.
Huawei ve UL ayrıca genel olarak mevcut ortak kıyaslama testi metodolojilerini de tartıştı. UL ve Huawei, üreticilerin, baskı makinelerinin ve tüketicilerin ihtiyaçlarına en iyi şekilde hizmet edecek kıyaslama standartlarını geliştirmek için bir endüstri hareketine katılmak istiyor.
Mevcut kıyaslama sonuçlarıyla ilgili karışıklığı önlemek için, tartışmanın ardından UL ve Huawei, kıyaslamayı geçici olarak listeden çıkardı Çok sayıda Huawei cihazı bulunuyor ve Huawei, tüm Huawei telefon kullanıcılarının Performansa erişmesine izin verdikten sonra bunları eski durumuna getirecek. Mod.