В доклад се посочва, че Huawei е установено, че мами в бенчмаркове. В отговор UL премахна Huawei P20/P20 Pro, Huawei Nova 3 и Honor Play от 3DMark.
Бенчмарковете винаги са били популярен начин за измерване на производителността на хардуера, както в компютъра, така и в мобилното пространство. Измамването на бенчмарк се случва, когато производителят на устройство нечестно се опитва да изиграе бенчмарк, като направи резултатите по-добри, отколкото са в действителност. Измама може да се случи при всякакви тестове за сравнение, включително тези, които измерват производителността на процесора, системата или графичния процесор. Очевидната цел на измамата при бенчмаркове е клиентите да бъдат убедени, че продукт А е по-добър от продукт Б. За съжаление, това означава, че основните слабости в хардуера са маскирани от измама. Казано по-просто, това е безпроблемна ситуация за всички страни, участващи в индустрията: доставчици на чипове, производители на устройства и най-вече крайни потребители.
Измамата беше широко разпространена в компютърното пространство преди повече от десетилетие, но за щастие практиката почти приключи. В мобилния свят Андрей Фрумусану (сега мобилен редактор в
AnandTech) откри бенчмарк измама на варианта Exynos на Samsung Galaxy S4 през 2013 г. The AnandTech след това мобилните редактори откриха различни разновидности на измамни показатели, извършвани от много доставчици на смартфони. Доста големи смартфони като Galaxy S4 и Samsung Galaxy Note 3 бяха дори изключени от бенчмаркове като 3DMark, тъй като компании като Futuremark избраха да извикат публично производителите на устройства.След като бяха извикани през 2013 г. за това поведение, повечето производители на устройства са преустановили измамите на бенчмарка. Някои OEM производители като Meizu все още имат режими „Ефективност“ в своите потребителски интерфейси, но такива режими са предимно конфигурируеми от потребителя. Миналата година, открихме доказателства, че OnePlus мами в някои популярни бенчмаркове като Geekbench. OnePlus спря практиката с OnePlus 5T и като цяло измамите с бенчмаркове изглеждаха нещо от миналото.
Нова разработка коригира това погрешно предположение. AnandTech редакторите Андрей Фрумусану и Иън Кътрес имат публикува доклад подробно описание на проверени случаи на измама в бенчмаркове, извършени в бенчмаркове на GPU от смартфони Huawei и Honor от 2018 г., като Huawei P20, Huawei P20 Pro и Honor Play.
Резюме: Телефоните Huawei/Honor от 2018 г. са хванати да измамят в GPU бенчмаркове
AnandTech отбелязва, че в техният прегледпроизводителността на Huawei P20 е намаляла в сравнение с Huawei Mate 10 Pro. По това време на публикацията беше казано от Huawei, че това е проблем с фърмуера, но в действителност това не беше така. По-новите телефони на Huawei и Honor идваха с a механизъм за откриване на бенчмарк което позволява много по-високо ограничение на мощността за SoC с по-голям термичен запас.
Както е обяснено от AnandTech, това означава, че за определени приложения в белия списък най-новите телефони на Huawei и Honor се представят много по-добре в сравнение с това, което потребителите ще очакват от друг подобен софтуер, който не е в белия списък. Тази практика води до по-висока консумирана мощност, по-ниска ефективност и намален живот на батерията.
Крайният резултат е, че показателите за ефективност са по-високи от това, което всъщност трябва да бъдат. Тези числа са нереалистични за постигане за всеки потребител в реален сценарий на производителност. Публикацията също така заявява, че ефективността на SoC намалява, когато се прави това, тъй като се „натиска добре извън стандартния си работен прозорец." Като цяло, това кара SoC да изглежда по-зле в името на по-високия бенчмарк числа.
AnandTech заявява, че бенчмарк поведението на Huawei надхвърля всичко, което публикацията е виждала в миналото. Публикацията използва персонализирани издания на бенчмаркове, така че те могат да тестват с включен и изключен режим на откриване. По думите им огромните разлики в производителността между публично достъпните бенчмаркове и вътрешните версии, които използват, са „абсолютно удивителни“.
Отговорът на Huawei на AnandTechдоклад на
AnandTech говори с д-р Уанг Ченглу, президент на софтуера в Consumer Business Group на Huawei. Д-р Ченглу призна, че компанията мами при сравнителния анализ, защото „други правят същото, получават високи резултати, а Huawei не може да мълчи“.
Д-р Ченглу заяви, че Huawei „иска да се обедини с други в Китай, за да намери най-добрия бенчмарк за проверка на потребителското изживяване“. Той посочи други производители, които подвеждат с техните числа, цитирайки неназован популярен производител на смартфони в Китай като най-големия виновник. Според него измамите с бенчмарк се превръщат в „честа практика в Китай“ и докато Huawei иска да се „отвори“ към потребителите, те имат проблеми, когато конкурентите „непрекъснато публикуват нереалистични резултати." Huawei се опитва да се изправи срещу основната си китайска конкуренция, задача, която изглежда се затруднява, когато други производители на устройства дават нереалистични резултати числа.
Целта на Huawei е стандартизация на бенчмарковете, за да се изравнят условията, и те казаха AnandTech че искат медиите да помогнат. Като AnandTech отбелязва обаче, че Huawei популяризира своя собствен нереални резултати за сега.
Реакцията на Huawei на AnandTech доклад е това компанията ще гарантира, че бъдещите сравнителни данни в презентациите са независимо проверени от трети страни към момента на обявяването.
AnandTechконстатациите в детайли
AnandTech откриха изненадваща разлика в резултатите, получени от техните вътрешни версии на GPU бенчмаркове в сравнение с публично достъпните бенчмаркове. Изданието тества Huawei P20, Huawei P20 Pro и Honor Play. Всички телефони се представиха почти идентично в режим на по-висока мощност, защото споделят един и същ HiSilicon Кирин 970 SoC. Реалната производителност на телефоните обаче варира значително, тъй като всички те имат различни термични граници. Различните топлинни граници се дължат на различните дизайни на шасито/охлаждането, напр AnandTech обясни. Huawei P20 Pro има най-добрите термични характеристики (защото е по-голям и по-скъп от другите два) и следователно може да се представи по-добре в своите истинско представяне състояние.
Важен момент, повдигнат от публикацията, е разликата в метода на бенчмарк измама. Г-н Фрумусану заяви:
„В миналото сме виждали доставчици действително да повишават честотите на SoC или да ги заключват до техните максимални състояния, повишавайки производителността отвъд това, което обикновено е достъпно за общи приложения. Това, което Huawei прави вместо това, е да повиши резултатите от бенчмарка, като го направи от другата посока – от Приложенията за сравнителен анализ са единствените случаи на употреба, при които SoC действително се справя с рекламираното скорости. Междувременно всяко друго приложение в реалния свят е ограничено до значителна степен под това състояние поради термичните ограничения на хардуера. Това, което в крайна сметка виждаме с неуморена производителност, е може би „истинската“ форма на неограничен SoC, въпреки че това е напълно академично в сравнение с това, което потребителите действително изпитват." - Андрей Фрумусану и Иън Кътрес, AnandTech
Графиките на мощността показват, че най-новите телефони на Huawei вече достигат 3,5-4,4 W в истинското си състояние на производителност, докато 3,5 W TDP е максималното количество, което може да се поддържа. От друга страна, телефонът се ускорява с TDP, когато изпълнява публично достъпните бенчмаркове, като стойностите на мощността надхвърлят 6W и достигат пик при 8,5W. Както е отбелязано от AnandTech, тези цифри бързо задействат известие за прегряване на устройството, което означава несъответствие на топлинните ограничения с очакванията на софтуера.
Изводът тук е, че реалните данни за производителността не са стабилни, тъй като зависят от температурата на телефона. Huawei не блокира графичния процесор да достигне своето състояние на пикова честота на графичния процесор. Поведението по подразбиране всъщност е „суров термичен дроселиращ механизъм [...], който ще се опита да поддържа значително по-ниски температурни нива на SoC и обща консумация на енергия.“
Нормалният режим на телефоните може да достигне същите стойности на пикова консумация на енергия по време на GPU бенчмаркове като тези, публикувани от нерегулираните варианти. Въпреки това, тези числа бързо се отдръпвам значително, и AnandTech отбелязва, че телефонът намалява до 2,2 W в някои случаи, което води до значително намаляване на производителността.
Изданието посочва, че еталонното поведение на измама е привидно въведен само в устройствата от тази година. Телефони като Huawei Mate 9 и Huawei P10 не са засегнати и изглежда, че са засегнати само EMUI 8.0 и по-нови устройства. AnandTech също беше казано от Huawei, че това е "чисто софтуерна реализация", което потвърждава констатациите на публикацията.
AnandTech публикува реални данни за производителността на GPU за засегнатите телефони, захранвани с Kirin 970, и заключението е, че Huawei изостава значително от своите конкуренти както по производителност, така и по ефективност на GPU.
Изданието също така публикува графики за сравнение на мощността за устройствата на Huawei, работещи с Kirin 970 и Kirin 960. Графиките показват, че настройките за регулиране на мощността на Huawei всъщност са по-добри за потребителското изживяване, тъй като смекчават проблема с по-високата консумация на енергия. на AnandTech тестването на Kirin 960 показа, че той има "ужасни характеристики на мощността на GPU", докато Kirin Устройствата, захранвани от 970, имат нов строг дроселиращ механизъм за намаляване на консумацията на енергия и температури.
AnandTech добавя, че новата политика за дроселиране има смисъл, като се има предвид фактът, че както Kirin 960, така и Kirin 970 показва потребление на енергия, което е много над техните устойчиви нива за съответните им форм фактори.
За да бъде ясно, Huawei не е сгрешил с въвеждането на новия механизъм за дроселиране. Голямата грешка тук е изключването на популярни бенчмарк приложения чрез бял списък, което в този случай се нарича бенчмарк измама.
Отговор: Официално изявление на Huawei
Huawei ни изпрати следното изявление относно измама в бенчмарк:
Huawei винаги дава приоритет на потребителското изживяване, вместо да преследва високи бенчмарк резултати – особено след като няма пряка връзка между бенчмарковете на смартфоните и потребителското изживяване. Смартфоните на Huawei използват усъвършенствани технологии като AI, за да оптимизират производителността на хардуера, включително CPU, GPU и NPU.
Когато някой стартира приложение за фотография или играе графично интензивна игра, интелигентният софтуер на Huawei създава плавен и стабилен потребителско изживяване чрез прилагане на пълните възможности на хардуера, като същевременно управлява температурата и мощността на устройството ефективност. За приложения, които не са толкова енергоемки като сърфирането в интернет, той ще разпредели само ресурсите, необходими за осигуряване на необходимата производителност.
При нормални сценарии за сравнителен анализ, след като софтуерът на Huawei разпознае приложение за сравнителен анализ, той интелигентно се адаптира към „Режим на производителност“ и осигурява оптимална производителност. Huawei планира да предостави на потребителите достъп до „Режим на производителност“, така че да могат да използват максималната мощност на устройството си, когато имат нужда.
Huawei – като лидер в индустрията – има желание да работи с партньори, за да намери най-добрите стандарти за сравнителен анализ, които могат точно да оценят потребителското изживяване.
Ключовият извод тук е, че компанията е планира да предостави на потребителите достъп до „Режим на производителност“ (в стил Meizu), така че потребителите да могат да използват „максималната мощност“ на своето устройство, „когато трябва."
Отговор: UL премахва засегнатите телефони Huawei и Honor в своите бенчмаркове
UL, след като придоби Futuremark (компанията зад PCMark и 3DMark), премахна Huawei P20, Huawei P20 Pro, Huawei Nova 3 и Honor Play от 3DMark. Компанията е потвърдила измама при Huawei P20 Pro, Huawei Nova 3 и Honor Play. Въз основа на на AnandTech тестване и докладване, той също така премахна стандартния Huawei P20. Потребителите вече няма да могат да преглеждат резултатите от бенчмарка на засегнатите телефони, тъй като компанията не желае да хоства измамени резултати от бенчмарк.
Компанията установи, че резултатите от публичното приложение 3DMark са с до 47% по-високи от резултатите от частното приложение (което не е публично достъпно), въпреки факта, че тестовете са идентичен.
В съобщението UL добави, че се радва да види как Huawei се ангажира да приеме по-прозрачен подход в бъдеще. Гледната точка на UL е, че незадължителните режими на производителност, които могат да бъдат зададени от потребителя, са разрешени съгласно настоящите правила стига да са деактивирани по подразбиране. Компанията заявява: „Устройството трябва да изпълнява бенчмарка, сякаш е друго приложение.“
В заключение, всички бенчмаркове за производителност на GPU на Huawei, които са взети с помощта на публично достъпни бенчмаркове, не трябва да се приемат като представяне на действителната производителност.
Отговор: UL и Huawei издават съвместно изявление
В отговор на решението на UL да премахне Huawei P20, Huawei P20 Pro, Huawei Nova 3 и Honor Play от 3DMark, Huawei се свърза с UL, за да обсъди най-добрите практики за бенчмарк тестване. Ето изявлението, което ни се предлага:
Huawei и UL (създателите на 3DMark) проведоха изчерпателни дискусии относно практиките за сравнителен анализ тази седмица и постигнаха положително споразумение за следващите стъпки в съвместната работа.
В дискусията Huawei обясни, че нейните смартфони използват механизъм за планиране на ресурси с изкуствен интелект. Тъй като различните сценарии имат различни нужди от ресурси, най-новите телефони на Huawei използват иновативни технологии като изкуствен интелект за оптимизирайте разпределението на ресурсите по начин, така че хардуерът да може да демонстрира своите възможности в най-пълна степен, като същевременно отговаря на изискванията на потребителите във всички сценарии.
UL разбира намерението на подхода на Huawei, но се противопоставя на принудителното използване на „Режим на производителност“ по подразбиране, когато приложение за сравнителен анализ бъде открито от устройството. Правилата на UL изискват устройство да изпълнява бенчмарка, сякаш е друго приложение.
Huawei уважава правото на потребителите да избират какво да правят с устройствата си. Поради това Huawei ще предостави на потребителите отворен достъп до „Режим на производителност“ в EMUI 9.0, така че потребителят да може да избере кога да използва максималната мощност на своето устройство.
Huawei и UL също обсъдиха настоящите общи методи за тестване на бенчмарк като цяло. UL и Huawei биха искали да участват в индустриално движение за разработване на стандарти за сравнителен анализ, които най-добре обслужват нуждите на производителите, пресата и потребителите.
За да предотвратят объркване около текущите резултати от сравнителния анализ, след обсъждане UL и Huawei временно премахнаха бенчмарка десетки от набор от устройства Huawei и ще ги възстанови, след като Huawei предостави на всички потребители на телефони Huawei достъп до Performance Режим.