У извештају се наводи да је Хуавеи откривено да вара у тестовима. УЛ је као одговор уклонио Хуавеи П20/П20 Про, Хуавеи Нова 3 и Хонор Плаи са 3ДМарк-а.
Мерења су одувек била популаран начин за мерење перформанси хардвера, како на рачунару тако и на мобилном простору. Варање у бенчмарк-у се дешава када произвођач уређаја неправедно покуша да игра бенчмарк тако што даје резултате бољим него што јесу. Варање се може десити у било којим тестовима, укључујући оне који мере перформансе ЦПУ-а, система или ГПУ-а. Очигледни циљ варања на референтним вредностима је да купци буду уверени да је производ А бољи од производа Б. Нажалост, то значи да су основне слабости у хардверу маскиране варањем. Једноставније речено, то је ситуација без губитка за све стране укључене у индустрију: продавце чипова, произвођаче уређаја и пре свега крајње потрошаче.
Варање је било распрострањено у ПЦ простору пре више од једне деценије, али на срећу, пракса је углавном престала. У мобилном свету, Андреј Фрумусану (сада уредник мобилних уређаја на
АнандТецх) открили бенчмарк варање на Екинос варијанти Самсунг Галаки С4 у 2013. Тхе АнандТецх мобилни уредници су затим открили различите врсте варања референтних вредности које раде многи продавци паметних телефона. Доста великих паметних телефона као што су Галаки С4 и Самсунг Галаки Ноте 3 били су уједначени скинут са листе референтних вредности попут 3ДМарк-а, пошто су компаније као што је Футуремарк одлучиле да јавно прозову произвођаче уређаја.Након што су 2013. године прозвани због оваквог понашања, већина произвођача уређаја је престала са варањем стандарда. Неки произвођачи оригиналне опреме попут Меизуа и даље имају режиме „Перформансе“ у својим корисничким интерфејсима, али такви режими се углавном могу конфигурисати од стране корисника. Прошле године, пронашли смо доказе да је ОнеПлус варао у неким популарним мерилима као што је Геекбенцх. ОнеПлус прекинуо праксу са чинило се да су ОнеПлус 5Т и углавном варање са бенчмарком постали ствар прошлости.
Нови развој је исправио ову погрешну претпоставку. АнандТецх уредници Андреи Фрумусану и Иан Цутресс имају објавио извештај са детаљима верификованих инстанци варања бенчмарка урађених у ГПУ тестовима од стране Хуавеи и Хонор паметних телефона из 2018. као што су Хуавеи П20, Хуавеи П20 Про и Хонор Плаи.
Резиме: Хуавеи/Хонор телефони из 2018. ухваћени да варају у тестовима ГПУ-а
АнандТецх напомиње да у њихов преглед, перформансе Хуавеи П20 су назадовале у поређењу са Хуавеи Мате 10 Про. У то време, Хуавеи је публикацији рекао да је у питању проблем са фирмвером, али у стварности то није био случај. Хуавеи и Хонор новији телефони су долазили са а механизам за детекцију бенчмарка што омогућава много већу границу снаге за СоЦ са већим термичким простором.
Како је објашњено од АнандТецх, то значи да за одређене апликације са беле листе, најновији Хуавеи и Хонор телефони раде много боље у поређењу са оним што корисници очекују од другог сличног софтвера који није са беле листе. Ова пракса резултира већом потрошњом енергије, мањом ефикасношћу и смањеним трајањем батерије.
Нето резултат је да су бројеви перформанси већи од онога што би заправо требало да буду. Ове бројке су нереалне за било ког корисника у стварном сценарију перформанси. У публикацији се такође наводи да се ефикасност СоЦ-а смањује када се то ради, јер се „добро гура изван свог стандардног оперативног прозора." Све у свему, чини СоЦ лошијим зарад вишег стандарда бројевима.
АнандТецх наводи да Хуавејово референтно понашање премашује све што је публикација видела у прошлости. Публикација је користила прилагођена издања референтних вредности, тако да могу да тестирају са укљученим и искљученим режимом детекције. По њиховим речима, огромне разлике у перформансама између јавно доступних мерила и интерних верзија које користе су „апсолутно запањујуће“.
Хуавејев одговор на АнандТецх'с репорт
АнандТецх разговарао је са др Ванг Ченглуом, председником софтвера у компанији Хуавеи Цонсумер Бусинесс Гроуп. Др Ченглу је признао да је компанија варала у бенчмаркингу јер „други раде исту ствар, добијају високе резултате, а Хуавеи не може да ћути“.
Др Ченглу је изјавио да Хуавеи „жели да се удружи са другима у Кини како би пронашао најбоље мерило за верификацију за корисничко искуство“. Он указао на друге произвођаче који обмањују својим бројевима, наводећи неименованог популарног произвођача паметних телефона у Кини као највећег кривац. Према његовим речима, варање стандарда постаје „уобичајена пракса у Кини“, и док Хуавеи жели да се „отвори“ за потрошаче, они имају проблема када конкуренти „континуирано објављују нереални резултати." Хуавеи покушава да се суочи са својом великом кинеском конкуренцијом, задатак који је наизглед отежан када други произвођачи уређаја дају нереалне резултате бројевима.
Хуавеи-ов циљ је стандардизација мерила за изједначавање терена, рекли су АнандТецх да желе да медији помогну. Као АнандТецх напомиње, међутим, Хуавеи промовише своје сопствени нереални резултати за сада.
Реакција Хуавеја на АнандТецх извештај је то компанија ће осигурати да будуће референтне податке у презентацијама независно верификују трећа лица у време објаве.
АнандТецхналази детаљно
АнандТецх открили су изненађујућу разлику у резултатима које су произвеле њихове интерне верзије ГПУ референтних вредности у поређењу са јавно доступним мерилима. Публикација је тестирала Хуавеи П20, Хуавеи П20 Про и Хонор Плаи. Сви телефони су радили скоро идентично у режиму веће снаге јер деле исти ХиСилицон Кирин 970 СоЦ. Међутим, стварне перформансе телефона значајно варирају јер сви имају различита термичка ограничења. Различите термалне границе су због њиховог различитог дизајна шасије/хлађења, као АнандТецх објаснио. Хуавеи П20 Про има најбољу термику (јер је већи и скупљи од друга два) и стога може боље да ради у прави учинак држава.
Важна тачка коју је објавила публикација је разлика у методи варања стандарда. Г. Фрумусану је изјавио:
„У прошлости смо видели да продавци заправо подижу фреквенције СоЦ-а или их закључавају на њихова максимална стања, подижући перформансе изнад онога што је обично доступно генеричким апликацијама. Оно што Хуавеи уместо тога ради је да повећава резултате на тестовима тако што на њега долази из другог правца – од бенцхмаркинг апликације су једини случајеви употребе у којима СоЦ заправо ради на оглашеном брзине. У међувремену, свака друга апликација у стварном свету је смањена у значајној мери испод тог стања због термичких ограничења хардвера. Оно што на крају видимо са неугушеним перформансама је можда 'прави' облик неограниченог СоЦ-а, иако ово је потпуно академско у поређењу са оним што корисници заправо доживљавају." - Андреи Фрумусану и Иан Цутресс, АнандТецх
Графикони снаге показују да Хуавеијеви најновији телефони већ достижу 3,5-4,4В у свом стварном стању перформанси, док је ТДП од 3,5В максимална количина која се може одржати. Са друге стране, телефон иде у преоптерећење са ТДП-ом када обавља јавно доступне бенцхмаркове, са цифрама снаге изнад 6В и врхунском снагом од 8,5В. Како је приметио АнандТецх, ове бројке брзо покрећу обавештење о прегревању на уређају, што означава неусклађеност термичких ограничења са очекивањима софтвера.
Закључак је да стварне бројке перформанси нису стабилне јер зависе од температуре телефона. Хуавеи не спречава ГПУ да достигне своју врхунску фреквенцију ГПУ-а. Подразумевано понашање је заправо „оштри термички механизам за пригушивање [...] који ће покушати да одржи значајно ниже нивое температуре СоЦ и укупну потрошњу енергије“.
Нормални режим телефона може да достигне исте бројке вршне потрошње енергије током ГПУ бенцхмарка као оне које постављају варијанте без притиска. Међутим, ови бројеви брзо се значајно повући, и АнандТецх напомиње да се телефон смањује на 2,2 В у неким случајевима, што има ефекат значајног смањења перформанси.
Публикација наводи да је референтно понашање варања наизглед уведен је само у овогодишње уређаје. Телефони попут Хуавеи Мате 9 и Хуавеи П10 нису погођени, а чини се да су погођени само ЕМУИ 8.0 и новији уређаји. АнандТецх Хуавеј је такође рекао да је ово била „чисто софтверска имплементација“, што је потврдило налазе публикације.
АнандТецх објавио је тачне податке о перформансама ГПУ-а за погођене телефоне са Кирин 970, а закључак је да Хуавеи значајно заостаје за својим конкурентима и у ГПУ перформансама и ефикасности.
Публикација је такође објавила графиконе за поређење снаге за Хуавеи уређаје са Кирин 970 и Кирин 960. Графикони показују да су Хуавеијева подешавања за смањење снаге у ствари боља за корисничко искуство јер ублажавају проблем веће потрошње енергије. АнандТецх'с Тестирање Кирин 960 показало је да има „ужасне карактеристике ГПУ снаге“, док Кирин Уређаји са погоном на 970 имају нови механизам за стриктно пригушивање за смањење потрошње енергије и температуре.
АнандТецх додаје да нова политика пригушења има смисла имајући у виду чињеницу да и Кирин 960 и Кирин 970 показује потрошњу енергије која је много изнад њихових одрживих нивоа за њихове одговарајуће факторе облика.
Да будемо јасни, Хуавеи није погрешио у увођењу новог механизма за пригушивање. Велика грешка овде је искључивање популарних бенцхмарк апликација путем беле листе, што се у овом случају назива варањем бенцхмарк-а.
Одговор: Званична изјава компаније Хуавеи
Хуавеи нам је послао следећу изјаву о варању референтних вредности:
Хуавеи увек даје приоритет корисничком искуству уместо да тежи високим резултатима – посебно зато што не постоји директна веза између мерила перформанси паметног телефона и корисничког искуства. Хуавеи паметни телефони користе напредне технологије као што је АИ за оптимизацију перформанси хардвера, укључујући ЦПУ, ГПУ и НПУ.
Када неко покрене апликацију за фотографисање или игра графички интензивну игру, Хуавеијев интелигентни софтвер ствара глатку и стабилну корисничко искуство применом пуних могућности хардвера, уз истовремено управљање температуром и снагом уређаја ефикасност. За апликације које не захтевају толико енергије као што је прегледање веба, она ће доделити само ресурсе неопходне за испоруку перформанси које су потребне.
У нормалним сценаријима бенцхмаркинга, када Хуавеи-ов софтвер препозна апликацију за бенчмаркинг, интелигентно се прилагођава „Режиму перформанси“ и пружа оптималне перформансе. Хуавеи планира да корисницима омогући приступ „Режиму перформанси“ како би могли да искористе максималну снагу свог уређаја када им је потребно.
Хуавеи – као лидер у индустрији – спреман је да сарађује са партнерима на проналажењу најбољих стандарда бенчмаркинга који могу прецизно проценити корисничко искуство.
Кључни закључак је да компанија јесте планира да обезбеди корисницима приступ „Режиму перформанси“ (у Меизу стилу) како би корисници могли да користе „максималну снагу“ свог уређаја „када им је потребно."
Одговор: УЛ уклања погођене Хуавеи и Хонор телефоне у својим мерилима
УЛ, након што је купио Футуремарк (компанију која стоји иза ПЦМарк-а и 3ДМарк-а), је уклонио Хуавеи П20, Хуавеи П20 Про, Хуавеи Нова 3 и Хонор Плаи са 3ДМарк-а. Компанија је потврдила варање у бенчмарк-у на Хуавеи П20 Про, Хуавеи Нова 3 и Хонор Плаи. На основу АнандТецх'с тестирајући и извештавајући, такође је уклонио стандардни Хуавеи П20. Корисници више неће моћи да виде резултате бенчмарка за погођене телефоне јер компанија не жели да хостује преварене бенцхмарк резултате.
Компанија је открила да су резултати из јавне апликације 3ДМарк до 47% већи од резултата из приватне апликације (која није доступна јавности), упркос чињеници да су тестови идентичне.
У саопштењу, УЛ је додао да је срећан што се Хуавеи обавезао да ће усвојити транспарентнији приступ у будућности. УЛ-ов став је да су опциони режими перформанси које може да подеси корисник дозвољени према његовим тренутним правилима све док су подразумевано онемогућени. Компанија наводи: „Уређај мора да покреће бенцхмарк као да је у питању било која друга апликација.“
У закључку, сви тестови перформанси Хуавеи ГПУ-а који су узети коришћењем јавно доступних мерила перформанси не би требало да се узимају као приказ стварних перформанси.
Одговор: УЛ и Хуавеи издају заједничку изјаву
Као одговор на одлуку УЛ-а да уклони Хуавеи П20, Хуавеи П20 Про, Хуавеи Нова 3 и Хонор Плаи са 3ДМарк-а, Хуавеи је контактирао УЛ како би разговарао о најбољим праксама за бенцхмарк тестирање. Ево изјаве која нам је понуђена:
Хуавеи и УЛ (креатори 3ДМарк-а) одржали су опсежне дискусије о праксама бенчмаркинга ове недеље и постигли позитиван договор о следећим корацима у заједничком раду.
У дискусији, Хуавеи је објаснио да његови паметни телефони користе вештачки интелигентни механизам за планирање ресурса. Пошто различити сценарији имају различите потребе за ресурсима, најновији Хуавеи телефони користе иновативне технологије као што је вештачка интелигенција за оптимизовати алокацију ресурса на начин да хардвер може да демонстрира своје могућности у највећој мери, док испуњава захтеве корисника у свим сценарија.
УЛ разуме намеру Хуавеиовог приступа, али се противи принудном коришћењу „Режима перформанси“ када уређај открије апликацију за мерење перформанси. УЛ правила захтевају да уређај покреће бенцхмарк као да је у питању било која друга апликација.
Хуавеи поштује право потрошача да бирају шта да раде са својим уређајима. Због тога ће Хуавеи корисницима омогућити отворен приступ „Режиму перформанси“ у ЕМУИ 9.0, тако да корисник може да бира када ће користити максималну снагу свог уређаја.
Хуавеи и УЛ су такође разговарали о актуелним уобичајеним методологијама тестирања уопште. УЛ и Хуавеи би желели да учествују у индустријском покрету за развој стандарда бенчмаркинга који најбоље одговарају потребама произвођача, штампе и потрошача.
Да би се спречила забуна око тренутних резултата бенцхмаркинга, након дискусије, УЛ и Хуавеи су привремено уклонили референтну вредност десетине низа Хуавеи уређаја, и вратиће их након што Хуавеи свим корисницима Хуавеи телефона одобри приступ Перформансама Моде.