У звіті стверджується, що Huawei виявили обман у тестах. У відповідь UL вилучила Huawei P20/P20 Pro, Huawei Nova 3 і Honor Play з 3DMark.
Тести завжди були популярним способом вимірювання продуктивності апаратного забезпечення як на ПК, так і на мобільному пристрої. Шахрайство в бенчмарках відбувається, коли виробник пристрою нечесно намагається обіграти бенчмарк, зробивши результати кращими, ніж вони є насправді. Шахрайство може статися в будь-яких порівняльних тестах, включаючи ті, які вимірюють продуктивність центрального процесора, системи або графічного процесора. Очевидна мета обману в еталонних тестах полягає в тому, щоб клієнти переконалися, що продукт A кращий за продукт B. На жаль, це означає, що основні недоліки апаратного забезпечення маскуються шахрайством. Простіше кажучи, це безпрограшна ситуація для всіх сторін, залучених у галузь: постачальників мікросхем, виробників пристроїв і, перш за все, кінцевих споживачів.
Шахрайство було поширеним у комп’ютерному просторі більше десяти років тому, але, на щастя, ця практика майже припинилася. У мобільному світі Андрій Фрумусану (зараз мобільний редактор сайту
AnandTech) виявлено обман тесту на варіанті Exynos Samsung Galaxy S4 у 2013 році. The AnandTech Мобільні редактори потім виявили різні варіанти шахрайства тестів, які здійснюються багатьма постачальниками смартфонів. Чимало великих смартфонів, таких як Galaxy S4 і Samsung Galaxy Note 3, були рівними вилучено з контрольних показників як 3DMark, оскільки такі компанії, як Futuremark, вирішили публічно закликати виробників пристроїв.Після того, як у 2013 році їх звинуватили у такій поведінці, більшість виробників пристроїв припинили шахрайство в еталонних тестах. Деякі OEM-виробники, такі як Meizu все ще мають режими «Продуктивність» у своїх інтерфейсах користувача, але такі режими здебільшого налаштовуються користувачем. Минулого року, ми знайшли докази того, що OnePlus обманював у деяких популярних тестах, таких як Geekbench. OnePlus припинив практику с OnePlus 5T і, загалом, обман тестів, здавалося, залишився в минулому.
Нова розробка виправила це помилкове припущення. AnandTech редактори Андрій Фрумусану та Ян Катресс опублікував звіт деталізовано підтверджені випадки шахрайства в тестах GPU на смартфонах Huawei і Honor 2018 року, таких як Huawei P20, Huawei P20 Pro і Honor Play.
Підсумок: телефони Huawei/Honor 2018 року попалися на шахрайстві в тестах GPU
AnandTech зазначає, що в їх огляд, продуктивність Huawei P20 знизилася порівняно з Huawei Mate 10 Pro. У той час Huawei повідомила виданню, що проблема була в прошивці, але насправді це було не так. Новіші телефони Huawei та Honor поставлялися з a механізм визначення тесту це забезпечує набагато більший ліміт потужності для SoC з більшим тепловим запасом.
Як пояснив в AnandTech, це означає, що для деяких програм із білого списку найновіші телефони Huawei та Honor працюють набагато краще, ніж користувачі очікують від іншого подібного програмного забезпечення, яке не входить до білого списку. Це призводить до більшого споживання енергії, нижчої ефективності та скорочення терміну служби акумулятора.
Кінцевим результатом є те, що показники продуктивності вищі, ніж вони повинні бути насправді. Ці цифри нереально досягти для будь-якого користувача в реальному сценарії продуктивності. У публікації також стверджується, що при цьому ефективність SoC знижується, оскільки він «добре натискається». за межами стандартного робочого вікна." Загалом, це робить SoC гіршим задля вищого тесту чисел.
AnandTech стверджує, що порівняльна поведінка Huawei перевищує все, що видання бачило в минулому. Видання використовувало спеціальні версії бенчмарків, тому вони можуть тестувати з увімкненим і вимкненим режимом виявлення. За їхніми словами, величезна різниця в продуктивності між загальнодоступними тестами та внутрішніми версіями, які вони використовують, «абсолютно вражаюча».
Відповідь Huawei на AnandTechдоповідь
AnandTech поспілкувався з доктором Ван Ченлу, президентом програмного забезпечення Consumer Business Group Huawei. Доктор Ченглу визнав, що компанія обманює в бенчмаркінгу, тому що «інші роблять те саме, отримують високі бали, а Huawei не може мовчати».
Доктор Ченглу заявив, що Huawei «хоче об’єднатися з іншими в Китаї, щоб знайти найкращий еталон верифікації для користувачів». Він вказав на інших виробників, які вводять в оману своїми цифрами, посилаючись на неназваного популярного виробника смартфонів у Китаї як найбільшого винуватця. За його словами, обман тестів стає «звичайною практикою в Китаї», і хоча Huawei хоче «відкритися» для споживачів, у них виникають проблеми, коли конкуренти «постійно публікують повідомлення». нереалістичні показники". Huawei намагається протистояти своїй основній китайській конкуренції, завдання, яке, здається, ускладнюється, коли інші виробники пристроїв дають нереалістичні результати чисел.
Метою Huawei є стандартизація тестів, щоб вирівняти умови гри, і вони сказали AnandTech що вони хочуть, щоб ЗМІ допомогли. як AnandTech зазначає, однак Huawei просуває свій власні наразі нереальні бали.
Реакція Huawei на AnandTech доповідь така компанія забезпечить незалежну перевірку майбутніх порівняльних даних у презентаціях третіми сторонами на момент оголошення.
AnandTechдокладно
AnandTech виявили дивовижну різницю в оцінках, отриманих їхніми внутрішніми версіями тестів GPU, порівняно з загальнодоступними тестами. Видання протестувало Huawei P20, Huawei P20 Pro і Honor Play. Усі телефони працювали майже однаково в режимі більшої потужності, оскільки вони використовують той самий HiSilicon Kirin 970 SoC. Однак реальна продуктивність телефонів значно відрізняється, оскільки всі вони мають різні температурні обмеження. Різні температурні обмеження пов’язані з різними конструкціями шасі/охолодження AnandTech пояснив. Huawei P20 Pro має найкращі теплові характеристики (оскільки він більший і дорожчий за два інших), і, отже, він може працювати краще в своєму справжня продуктивність стан.
Важливим моментом, який піднімає публікація, є різниця в методі накрутки бенчмарку. Пан Фрумусану заявив:
«У минулому ми бачили, як постачальники фактично підвищували частоти SoC або фіксували їх до максимальних станів, підвищуючи продуктивність понад те, що зазвичай доступно для загальних програм. Замість цього Huawei підвищує результати тестування, підходячи до нього з іншого боку – з Програми порівняльного аналізу є єдиними випадками використання, коли SoC справді відповідає заявленим швидкості. Тим часом будь-яка інша реальна програма придушується до значного рівня нижче цього стану через теплові обмеження апаратного забезпечення. Те, що ми в кінцевому підсумку бачимо з нерегульованою продуктивністю, можливо, є «справжньою» формою необмеженої SoC, хоча це абсолютно академічно, якщо порівнювати з тим, що насправді відчувають користувачі", - Андрій Фрумусану та Ян Катресс, AnandTech
Графіки потужності демонструють, що новітні телефони Huawei вже досягають 3,5-4,4 Вт у справжньому стані продуктивності, тоді як 3,5 Вт TDP є максимальною сумою, яку можна підтримувати. З іншого боку, під час виконання загальнодоступних тестів, показники потужності перевищують 6 Вт і досягають максимуму в 8,5 Вт. Як зазначив в AnandTech, ці цифри швидко викликають сповіщення про перегрів на пристрої, що означає невідповідність температурних обмежень очікуванням програмного забезпечення.
Висновок тут полягає в тому, що справжні показники продуктивності не є стабільними, оскільки вони залежать від температури телефону. Huawei не блокує GPU від досягнення максимальної частоти GPU. Поведінка за замовчуванням насправді є «суворим механізмом термічного дроселювання [...], який намагатиметься підтримувати значно нижчі рівні температури SoC і загального енергоспоживання».
Звичайний режим телефонів може досягати таких самих показників пікового енергоспоживання під час тестів графічного процесора, як і ті, що публікуються в нерегульованих варіантах. Проте ці цифри швидко відступити значно, і AnandTech зазначає, що в деяких випадках телефон зменшує споживання до 2,2 Вт, що призводить до значного зниження продуктивності.
Видання стверджує, що еталон шахрайської поведінки має, здавалося б було представлено лише в пристроях цього року. Такі телефони, як Huawei Mate 9 і Huawei P10, не впливають, і, здається, це стосується лише пристроїв EMUI 8.0 і новіших. AnandTech У Huawei також повідомили, що це «чисто програмна реалізація», що підтверджує висновки видання.
AnandTech опублікував реальні показники продуктивності GPU для постраждалих телефонів з Kirin 970, і висновок такий: Huawei значно відстає від своїх конкурентів як у продуктивності GPU, так і в ефективності.
Видання також опублікувало графіки порівняння потужності пристроїв Huawei на Kirin 970 і Kirin 960. Графіки показують, що налаштування регулювання потужності Huawei насправді кращі для взаємодії з користувачем, оскільки вони пом’якшують проблему більшого енергоспоживання. AnandTech's тестування Kirin 960 показало, що він мав «жахливі характеристики потужності GPU», тоді як Kirin Пристрої на базі 970 мають новий суворий механізм дроселювання для зниження енергоспоживання та температури.
AnandTech додає, що нова політика дроселювання має сенс, враховуючи той факт, що і Kirin 960, і Kirin 970 демонструє енергоспоживання, яке значно перевищує допустимі рівні для відповідних форм-факторів.
Щоб було зрозуміло, Huawei не помилилася, запровадивши новий механізм дроселювання. Великою помилкою тут є виключення популярних програм тестування через білий список, що в даному випадку називається обманом тестів.
Відповідь: офіційна заява Huawei
Компанія Huawei надіслала нам таку заяву про обман тестів:
Huawei завжди надає пріоритет користувальницькому досвіду, а не прагне до високих результатів тестів, особливо тому, що немає прямого зв’язку між тестами смартфонів і користувальницьким досвідом. Смартфони Huawei використовують передові технології, такі як штучний інтелект, для оптимізації продуктивності апаратного забезпечення, зокрема ЦП, ГП та НП.
Коли хтось запускає програму для фотозйомки або грає в гру з інтенсивною графікою, інтелектуальне програмне забезпечення Huawei створює плавну та стабільну користувацький досвід, застосовуючи всі можливості апаратного забезпечення, одночасно керуючи температурою та потужністю пристрою ефективність. Для додатків, які не такі енергоємні, як перегляд веб-сторінок, він виділить лише ресурси, необхідні для забезпечення необхідної продуктивності.
У звичайних сценаріях порівняльного аналізу, коли програмне забезпечення Huawei розпізнає програму порівняльного аналізу, воно інтелектуально адаптується до «Режиму продуктивності» та забезпечує оптимальну продуктивність. Huawei планує надати користувачам доступ до «Режиму продуктивності», щоб вони могли використовувати максимальну потужність свого пристрою, коли їм це потрібно.
Huawei – як лідер галузі – готова співпрацювати з партнерами, щоб знайти найкращі стандарти порівняльного аналізу, які можуть точно оцінити досвід користувача.
Ключовий висновок тут полягає в тому, що компанія є планує надати користувачам доступ до «Режиму продуктивності» (у стилі Meizu), щоб користувачі могли використовувати «максимальну потужність» свого пристрою, «коли їм потрібно."
Відповідь: UL виключає уражені телефони Huawei та Honor у своїх тестах
UL, придбавши Futuremark (компанію, що стоїть за PCMark і 3DMark), виключив Huawei P20, Huawei P20 Pro, Huawei Nova 3 і Honor Play з 3DMark. Компанія підтвердила шахрайство в тестах Huawei P20 Pro, Huawei Nova 3 і Honor Play. На основі AnandTech's тестування та звітування, він також виключив стандартний Huawei P20. Користувачі більше не зможуть переглядати результати бенчмарків телефонів, які постраждали, оскільки компанія не бажає розміщувати фальшиві результати бенчмарків.
Компанія виявила, що оцінки загальнодоступного додатку 3DMark були на 47% вищими за оцінки з приватного додатка (який недоступний для громадськості), незважаючи на те, що тести є однакові.
У повідомленні UL додав, що радий бачити, що Huawei прийме на себе більш прозорий підхід у майбутньому. Погляд UL полягає в тому, що додаткові режими продуктивності, які може встановлювати користувач, дозволені згідно з поточними правилами якщо вони вимкнені за замовчуванням. Компанія заявляє: «Пристрій повинен запускати тест, як якщо б це була будь-яка інша програма».
Підсумовуючи, усі контрольні показники продуктивності графічного процесора Huawei, отримані за допомогою загальнодоступних тестів, не слід сприймати як відображення фактичної продуктивності.
Відповідь: UL і Huawei видають спільну заяву
У відповідь на рішення UL вилучити Huawei P20, Huawei P20 Pro, Huawei Nova 3 і Honor Play з 3DMark, Huawei звернулась до UL, щоб обговорити найкращі методи порівняльного тестування. Ось запропонована нам заява:
Цього тижня Huawei та UL (творці 3DMark) провели всебічне обговорення практики порівняльного аналізу та досягли позитивної згоди щодо наступних кроків у спільній роботі.
Під час обговорення Huawei пояснила, що її смартфони використовують механізм планування ресурсів штучного інтелекту. Оскільки різні сценарії мають різні потреби в ресурсах, новітні телефони Huawei використовують інноваційні технології, такі як штучний інтелект, щоб оптимізувати розподіл ресурсів таким чином, щоб апаратне забезпечення могло продемонструвати свої можливості в повній мірі, одночасно задовольняючи вимоги користувачів у всіх сценарії.
UL розуміє мету підходу Huawei, але виступає проти примусового використання «Режиму продуктивності» за замовчуванням, коли пристрій виявляє програму порівняльного аналізу. Правила UL вимагають, щоб пристрій запускав еталонний тест так, ніби це будь-яка інша програма.
Huawei поважає право споживачів вибирати, що робити зі своїми пристроями. Тому Huawei надасть користувачам відкритий доступ до «Режиму продуктивності» в EMUI 9.0, щоб користувач міг вибрати, коли використовувати максимальну потужність свого пристрою.
Huawei та UL також обговорили поточні спільні методології тестування в цілому. UL і Huawei хотіли б взяти участь у галузевому русі з розробки стандартів порівняльного аналізу, які найкраще відповідають потребам виробників, преси та споживачів.
Щоб запобігти плутанині щодо поточних результатів порівняльного аналізу, після обговорення UL і Huawei тимчасово виключили цей тест із списку десятки пристроїв Huawei та відновить їх після того, як Huawei надасть усім користувачам телефонів Huawei доступ до Performance Режим.