Sebuah laporan menyatakan Huawei ditemukan curang dalam benchmark. UL menghapus Huawei P20/P20 Pro, Huawei Nova 3, dan Honor Play dari 3DMark sebagai tanggapannya.
Benchmark selalu menjadi cara populer untuk mengukur kinerja perangkat keras, baik di PC maupun perangkat seluler. Kecurangan benchmark terjadi ketika pembuat perangkat secara tidak adil mencoba mempermainkan benchmark dengan membuat skor hasilnya lebih baik dari yang sebenarnya. Kecurangan dapat terjadi dalam pengujian benchmark apa pun termasuk pengujian yang mengukur kinerja CPU, sistem, atau GPU. Tujuan nyata dari kecurangan pada benchmark adalah agar pelanggan yakin bahwa produk A lebih baik dari produk B. Sayangnya, ini berarti kelemahan mendasar pada perangkat keras ditutupi oleh kecurangan. Sederhananya, ini adalah situasi yang merugikan semua pihak yang terlibat dalam industri ini: vendor chip, pembuat perangkat, dan yang paling penting, konsumen akhir.
Kecurangan merajalela di dunia PC lebih dari satu dekade yang lalu, namun untungnya, sebagian besar praktik tersebut telah berakhir. Di dunia seluler, Andrei Frumusanu (sekarang editor seluler di
AnandTech) menemukan kecurangan benchmark pada varian Exynos Samsung Galaxy S4 pada tahun 2013. Itu AnandTech editor seluler kemudian menemukan berbagai jenis kecurangan benchmark yang dilakukan oleh banyak vendor ponsel pintar. Bahkan cukup banyak smartphone besar seperti Galaxy S4 dan Samsung Galaxy Note 3 dihapuskan dari daftar tolok ukur seperti 3DMark, karena perusahaan seperti Futuremark memilih untuk secara terbuka menghubungi pembuat perangkat tersebut.Setelah dikecam pada tahun 2013 atas perilaku ini, sebagian besar pembuat perangkat telah menghentikan kecurangan benchmark mereka. Beberapa OEM seperti Meizu masih memiliki mode "Kinerja" di antarmuka penggunanya, tetapi mode tersebut sebagian besar dapat dikonfigurasi pengguna. Tahun lalu, kami menemukan bukti bahwa OnePlus melakukan kecurangan di beberapa tolok ukur populer seperti Geekbench. Satu ditambah menghentikan latihan dengan OnePlus 5T, dan secara umum, kecurangan benchmark sepertinya sudah ketinggalan zaman.
Perkembangan baru telah memperbaiki asumsi yang salah ini. AnandTech editor Andrei Frumusanu dan Ian Cutress memilikinya menerbitkan laporan merinci contoh-contoh kecurangan benchmark terverifikasi yang dilakukan pada benchmark GPU pada ponsel pintar Huawei dan Honor tahun 2018 seperti Huawei P20, Huawei P20 Pro, dan Honor Play.
Ringkasan: Ponsel Huawei/Honor 2018 ketahuan melakukan kecurangan dalam benchmark GPU
AnandTech mencatat bahwa di ulasan mereka, kinerja Huawei P20 mengalami kemunduran dibandingkan Huawei Mate 10 Pro. Pada saat itu, publikasi tersebut diberitahu oleh Huawei bahwa itu adalah masalah firmware, namun kenyataannya, bukan itu masalahnya. Ponsel terbaru Huawei dan Honor hadir dengan a mekanisme deteksi benchmark yang memungkinkan batas daya yang jauh lebih tinggi untuk SoC dengan ruang kepala termal yang lebih tinggi.
Seperti yang dijelaskan oleh AnandTech, ini berarti bahwa untuk aplikasi tertentu yang masuk daftar putih, kinerja ponsel Huawei dan Honor terbaru jauh lebih tinggi dibandingkan dengan apa yang diharapkan pengguna dari perangkat lunak serupa yang tidak masuk daftar putih. Praktik ini menghasilkan konsumsi daya yang lebih tinggi, efisiensi yang lebih rendah, dan masa pakai baterai yang berkurang.
Hasil akhirnya adalah angka kinerja lebih tinggi dari yang seharusnya. Angka-angka ini tidak realistis untuk dicapai oleh pengguna mana pun dalam skenario kinerja sebenarnya. Publikasi tersebut juga menyatakan bahwa efisiensi SoC menurun ketika melakukan hal ini, karena "didorong dengan baik di luar jendela operasi standarnya." Secara keseluruhan, ini membuat SoC terlihat lebih buruk demi benchmark yang lebih tinggi angka.
AnandTech menyatakan bahwa perilaku benchmark Huawei melampaui apa pun yang pernah dilihat oleh publikasi tersebut di masa lalu. Publikasi ini menggunakan tolok ukur edisi khusus, sehingga dapat diuji dengan mode deteksi aktif dan nonaktif. Menurut mereka, perbedaan besar dalam performa antara benchmark yang tersedia secara publik dan versi internal yang mereka gunakan "benar-benar mencengangkan".
Tanggapan Huawei terhadap AnandTechlaporan
AnandTech berbicara dengan Dr. Wang Chenglu, Presiden Perangkat Lunak di Grup Bisnis Konsumen Huawei. Chenglu mengakui bahwa perusahaan tersebut melakukan kecurangan dalam benchmarking karena "perusahaan lain melakukan hal yang sama, mendapat nilai tinggi, dan Huawei tidak bisa tinggal diam."
Dr. Chenglu menyatakan bahwa Huawei "ingin bekerja sama dengan pihak lain di Tiongkok untuk menemukan tolok ukur verifikasi terbaik untuk pengalaman pengguna." Dia menunjuk produsen lain yang menyesatkan dengan jumlah mereka, dengan menyebut produsen ponsel pintar populer yang tidak disebutkan namanya di Tiongkok sebagai yang terbesar pelaku. Menurutnya, kecurangan dalam benchmark menjadi “praktik umum di Tiongkok,” dan meskipun Huawei ingin “terbuka” kepada konsumen, mereka mengalami kesulitan ketika pesaingnya “terus-menerus memposting” skor yang tidak realistis." Huawei berusaha menghadapi pesaing utamanya dari Tiongkok, sebuah tugas yang tampaknya menjadi sulit ketika pembuat perangkat lain menghasilkan skor yang tidak realistis. angka.
Tujuan Huawei adalah membuat standarisasi tolok ukur untuk menyamakan kedudukan, dan mereka mengatakannya AnandTech bahwa mereka ingin media membantu. Sebagai AnandTech Namun, catatannya, Huawei sedang mempromosikannya memiliki skor yang tidak realistis untuk saat ini.
Reaksi Huawei terhadap AnandTech laporannya adalah itu perusahaan akan memastikan data tolok ukur masa depan dalam presentasi diverifikasi secara independen oleh pihak ketiga pada saat pengumuman.
AnandTechtemuannya secara rinci
AnandTech menemukan perbedaan yang mengejutkan dalam skor yang dihasilkan oleh benchmark GPU versi internal dibandingkan dengan benchmark yang tersedia untuk umum. Publikasi tersebut menguji Huawei P20, Huawei P20 Pro, dan Honor Play. Semua ponsel memiliki kinerja yang hampir sama dalam mode daya lebih tinggi karena mereka berbagi HiSilicon yang sama Kirin 970 SoC. Namun, kinerja sebenarnya dari ponsel sangat bervariasi karena semuanya memiliki batas termal yang berbeda. Batas termal yang berbeda disebabkan oleh perbedaan desain sasis/pendingin, misalnya AnandTech menjelaskan. Huawei P20 Pro memiliki termal terbaik (karena lebih besar dan lebih mahal dibandingkan dua lainnya), dan oleh karena itu, kinerjanya lebih baik. kinerja sebenarnya negara.
Poin penting yang diangkat dari publikasi tersebut adalah perbedaan metode benchmarking curang. Pak Frumusanu menyatakan:
“Di masa lalu kita telah melihat vendor benar-benar menaikkan frekuensi SoC, atau menguncinya ke kondisi maksimum, sehingga meningkatkan kinerja melebihi apa yang biasanya tersedia untuk aplikasi umum. Apa yang dilakukan Huawei adalah meningkatkan skor benchmark dengan mengambil pendekatan dari arah lain – yaitu aplikasi pembandingan adalah satu-satunya kasus penggunaan di mana SoC benar-benar bekerja sesuai dengan yang diiklankan kecepatan. Sementara itu, setiap aplikasi dunia nyata lainnya dibatasi hingga tingkat yang signifikan di bawah kondisi tersebut karena keterbatasan termal perangkat keras. Apa yang akhirnya kita lihat dengan kinerja yang tidak dibatasi mungkin adalah bentuk 'sebenarnya' dari SoC yang tidak dibatasi, meskipun ini sepenuhnya bersifat akademis jika dibandingkan dengan apa yang sebenarnya dialami pengguna." - Andrei Frumusanu dan Ian Cutress, AnandTech
Grafik daya menunjukkan bahwa ponsel terbaru Huawei sudah mencapai 3,5-4,4W dalam kondisi kinerja sebenarnya, sedangkan TDP 3,5W adalah jumlah maksimum yang dapat dipertahankan. Di sisi lain, ponsel mengalami overdrive dengan TDP saat melakukan benchmark yang tersedia untuk umum, dengan angka daya melebihi 6W dan memuncak pada 8,5W. Sebagaimana dicatat oleh AnandTech, angka-angka ini dengan cepat memicu pemberitahuan panas berlebih pada perangkat, yang menandakan ketidaksesuaian batas termal dengan ekspektasi perangkat lunak.
Kesimpulannya di sini adalah angka kinerja sebenarnya tidak stabil karena bergantung pada suhu ponsel. Huawei tidak menghalangi GPU untuk mencapai kondisi frekuensi GPU puncaknya. Perilaku default sebenarnya adalah "mekanisme pelambatan termal yang keras [...] yang akan mencoba mempertahankan tingkat suhu SoC yang jauh lebih rendah dan konsumsi daya secara keseluruhan."
Mode normal ponsel dapat mencapai angka konsumsi daya puncak yang sama selama benchmark GPU seperti yang diposting oleh varian yang tidak dibatasi. Namun angka-angka tersebut dengan cepat mundur secara signifikan, Dan AnandTech mencatat bahwa ponsel melambat hingga 2,2W dalam beberapa kasus, yang memiliki efek mengurangi kinerja secara signifikan.
Publikasi tersebut menyatakan bahwa tolok ukur perilaku menyontek tampaknya telah terjadi baru diperkenalkan di perangkat tahun ini. Ponsel seperti Huawei Mate 9 dan Huawei P10 tidak terpengaruh, dan tampaknya hanya EMUI 8.0 dan perangkat yang lebih baru yang terpengaruh. AnandTech juga diberitahu oleh Huawei bahwa ini adalah "murni implementasi perangkat lunak," yang menguatkan temuan publikasi tersebut.
AnandTech memposting angka sebenarnya kinerja GPU untuk ponsel bertenaga Kirin 970 yang terpengaruh, dan kesimpulannya adalah demikian Huawei tertinggal secara signifikan dari para pesaingnya dalam hal kinerja dan efisiensi GPU.
Publikasi ini juga memuat grafik perbandingan daya untuk perangkat Huawei yang didukung Kirin 970 dan Kirin 960. Grafik tersebut menunjukkan bahwa penyesuaian pelambatan daya yang dilakukan Huawei sebenarnya lebih baik bagi pengalaman pengguna karena dapat memitigasi masalah konsumsi daya yang lebih tinggi. AnandTech pengujian Kirin 960 menunjukkan bahwa ia memiliki "karakteristik kekuatan GPU yang buruk", sedangkan Kirin Perangkat bertenaga 970 memiliki mekanisme pelambatan baru yang ketat untuk menurunkan konsumsi daya dan suhu.
AnandTech menambahkan bahwa kebijakan pelambatan baru ini masuk akal ketika mempertimbangkan fakta bahwa Kirin 960 dan Kirin 970 menunjukkan penggunaan daya yang jauh di atas tingkat berkelanjutan untuk masing-masing faktor bentuknya.
Jelasnya, Huawei tidak melakukan kesalahan dalam memperkenalkan mekanisme pembatasan baru. Kesalahan besar di sini adalah pengecualian aplikasi benchmark populer melalui daftar putih, yang dalam hal ini disebut sebagai kecurangan benchmark.
Tanggapan: Pernyataan resmi Huawei
Huawei mengirimkan pernyataan berikut kepada kami tentang kecurangan benchmark:
Huawei selalu memprioritaskan pengalaman pengguna dibandingkan mengejar skor benchmark yang tinggi – terutama karena tidak ada hubungan langsung antara benchmark ponsel cerdas dan pengalaman pengguna. Ponsel pintar Huawei menggunakan teknologi canggih seperti AI untuk mengoptimalkan kinerja perangkat keras, termasuk CPU, GPU, dan NPU.
Saat seseorang meluncurkan aplikasi fotografi atau memainkan game yang grafisnya intensif, perangkat lunak cerdas Huawei akan menghasilkan gambar yang mulus dan stabil pengalaman pengguna dengan menerapkan kemampuan penuh perangkat keras, sekaligus mengelola suhu dan daya perangkat efisiensi. Untuk aplikasi yang tidak memerlukan banyak daya seperti menjelajahi web, ini hanya akan mengalokasikan sumber daya yang diperlukan untuk memberikan kinerja yang diperlukan.
Dalam skenario benchmarking normal, setelah perangkat lunak Huawei mengenali aplikasi benchmarking, perangkat lunak tersebut secara cerdas beradaptasi dengan “Mode Performa” dan memberikan performa optimal. Huawei berencana memberi pengguna akses ke “Mode Performa” sehingga mereka dapat menggunakan daya maksimum perangkat mereka saat diperlukan.
Huawei – sebagai pemimpin industri – bersedia bekerja sama dengan mitra untuk menemukan standar benchmarking terbaik yang dapat mengevaluasi pengalaman pengguna secara akurat.
Kesimpulan utama di sini adalah perusahaannya berencana untuk memberi pengguna akses ke "Mode Kinerja" (gaya Meizu) sehingga pengguna dapat menggunakan "daya maksimum" perangkat mereka "saat mereka membutuhkannya."
Tanggapan: UL menghapus ponsel Huawei dan Honor yang terkena dampak dalam tolok ukurnya
UL, setelah mengakuisisi Futuremark (perusahaan di balik PCMark dan 3DMark), telah menghapus Huawei P20, Huawei P20 Pro, Huawei Nova 3, dan Honor Play dari 3DMark. Perusahaan telah memverifikasi kecurangan benchmark pada Huawei P20 Pro, Huawei Nova 3, dan Honor Play. Atas dasar AnandTech pengujian dan pelaporan, mereka juga telah menghapus Huawei P20 standar. Pengguna tidak lagi dapat melihat hasil benchmark dari ponsel yang terkena dampak karena perusahaan tidak ingin menampung skor benchmark yang dicurangi.
Perusahaan menemukan bahwa skor dari aplikasi 3DMark publik lebih tinggi hingga 47% dibandingkan skornya dari aplikasi pribadi (yang tidak tersedia untuk umum), meskipun tesnya tersedia identik.
Dalam pengumumannya, UL menambahkan bahwa mereka senang melihat Huawei berkomitmen untuk mengadopsi pendekatan yang lebih transparan di masa depan. Pandangan UL adalah bahwa mode kinerja opsional yang dapat diatur oleh pengguna diperbolehkan berdasarkan aturan saat ini selama mereka dinonaktifkan secara default. Perusahaan menyatakan: "Perangkat harus menjalankan benchmark seolah-olah itu adalah aplikasi lain."
Kesimpulannya, semua tolok ukur performa GPU Huawei yang diambil menggunakan tolok ukur yang tersedia untuk umum tidak boleh dianggap sebagai representasi performa sebenarnya.
Tanggapan: UL dan Huawei mengeluarkan pernyataan bersama
Menanggapi keputusan UL untuk menghapus Huawei P20, Huawei P20 Pro, Huawei Nova 3, dan Honor Play dari 3DMark, Huawei menghubungi UL untuk mendiskusikan praktik terbaik untuk pengujian benchmark. Inilah pernyataan yang ditawarkan kepada kami:
Huawei dan UL (pencipta 3DMark) telah mengadakan diskusi komprehensif mengenai praktik benchmarking minggu ini, dan telah mencapai kesepakatan positif mengenai langkah kerja sama selanjutnya.
Dalam diskusi tersebut, Huawei menjelaskan bahwa ponsel pintar besutannya menggunakan mekanisme penjadwalan sumber daya dengan kecerdasan buatan. Karena skenario yang berbeda mempunyai kebutuhan sumber daya yang berbeda, ponsel Huawei terbaru memanfaatkan teknologi inovatif seperti kecerdasan buatan mengoptimalkan alokasi sumber daya sedemikian rupa sehingga perangkat keras dapat menunjukkan kemampuannya secara maksimal, sekaligus memenuhi permintaan pengguna secara keseluruhan skenario.
UL memahami maksud dari pendekatan Huawei, namun menentang pemaksaan penggunaan “Mode Kinerja” secara default ketika aplikasi benchmarking terdeteksi oleh perangkat. Aturan UL mengharuskan perangkat menjalankan benchmark seolah-olah itu adalah aplikasi lain.
Huawei menghormati hak konsumen untuk memilih apa yang akan dilakukan dengan perangkat mereka. Oleh karena itu, Huawei akan memberikan pengguna akses terbuka ke “Mode Performa” di EMUI 9.0, sehingga pengguna dapat memilih kapan akan menggunakan daya maksimum perangkatnya.
Huawei dan UL juga telah membahas metodologi pengujian benchmark umum saat ini secara umum. UL dan Huawei ingin berpartisipasi dalam gerakan industri untuk mengembangkan standar benchmarking yang paling sesuai dengan kebutuhan produsen, pers, dan konsumen.
Untuk mencegah kebingungan seputar hasil benchmarking saat ini, setelah berdiskusi, UL dan Huawei untuk sementara menghapus benchmark tersebut sejumlah perangkat Huawei, dan akan mengaktifkannya kembali setelah Huawei memberi semua pengguna ponsel Huawei akses ke Performance Mode.