Z raportu wynika, że Huawei oszukiwał w testach porównawczych. W odpowiedzi firma UL wycofała Huawei P20/P20 Pro, Huawei Nova 3 i Honor Play z 3DMark.
Benchmarki zawsze były popularną metodą pomiaru wydajności sprzętu, zarówno w komputerach stacjonarnych, jak i w przestrzeni mobilnej. Oszukiwanie w benchmarkach ma miejsce wtedy, gdy producent urządzenia nieuczciwie próbuje wykorzystać benchmark, podając wyniki lepsze niż w rzeczywistości. Oszukiwanie może zdarzyć się w dowolnych testach porównawczych, w tym w tych mierzących wydajność procesora, systemu lub karty graficznej. Oczywistym celem oszukiwania w benchmarkach jest przekonanie klientów, że produkt A jest lepszy od produktu B. Niestety oznacza to, że podstawowe słabości sprzętu są maskowane przez oszustwa. Mówiąc prościej, jest to sytuacja, w której tracą wszystkie strony zaangażowane w branżę: dostawcy chipów, producenci urządzeń, a przede wszystkim konsumenci końcowi.
Oszukiwanie było powszechne na komputerach PC ponad dziesięć lat temu, ale na szczęście praktyka ta w większości się skończyła. W mobilnym świecie Andrei Frumusanu (obecnie redaktor mobilny w
Po wezwaniu w 2013 r. za takie zachowanie większość producentów urządzeń zaprzestała oszukiwania w testach porównawczych. Niektórzy producenci OEM, tacy jak Meizu nadal mają tryby „Wydajności” w swoich interfejsach użytkownika, ale takie tryby są w większości konfigurowalne przez użytkownika. Ostatni rok, znaleźliśmy dowody na to, że OnePlus oszukiwał w niektórych popularnych testach porównawczych, takich jak Geekbench. OnePlus przerwał praktykę z OnePlus 5T i ogólnie rzecz biorąc, oszukiwanie w benchmarkach wydawało się już przeszłością.
Nowe opracowanie skorygowało to fałszywe założenie. AnandTech redaktorzy Andrei Frumusanu i Ian Cutress opublikował raport opisując szczegółowo zweryfikowane przypadki oszukiwania w benchmarkach w testach GPU w smartfonach Huawei i Honor z 2018 roku, takich jak Huawei P20, Huawei P20 Pro i Honor Play.
Podsumowanie: Telefony Huawei/Honor 2018 przyłapane na oszukiwaniu w testach porównawczych GPU
AnandTech zauważa, że w ich recenzjęwydajność Huawei P20 uległa pogorszeniu w porównaniu do Huawei Mate 10 Pro. W tym czasie Huawei powiedział w publikacji, że jest to problem z oprogramowaniem sprzętowym, ale w rzeczywistości tak nie było. Nowsze telefony Huawei i Honor były dostarczane z mechanizm wykrywania wzorców umożliwia to znacznie wyższy limit mocy dla SoC przy większym zapasie cieplnym.
Jak wyjaśnił AnandTechoznacza to, że w przypadku niektórych aplikacji znajdujących się na białej liście najnowsze telefony Huawei i Honor działają znacznie lepiej w porównaniu z tym, czego użytkownicy będą oczekiwać od innych podobnych programów spoza białej listy. Praktyka ta powoduje większe zużycie energii, niższą wydajność i krótszą żywotność baterii.
W rezultacie wskaźniki wydajności są wyższe niż faktycznie powinny. Liczby te są nierealne do osiągnięcia dla dowolnego użytkownika w scenariuszu prawdziwej wydajności. W publikacji stwierdza się również, że wydajność SoC spada w takim przypadku, ponieważ jest on „dobrze popychany”. poza standardowym oknem operacyjnym.” Podsumowując, sprawia to, że SoC wygląda gorzej ze względu na wyższy benchmark liczby.
AnandTech stwierdza, że wzorcowe zachowanie Huawei przewyższa wszystko, co publikacja widziała w przeszłości. W publikacji wykorzystano niestandardowe edycje testów porównawczych, dzięki czemu można je testować przy włączonym i wyłączonym trybie wykrywania. Ich słowami ogromne różnice w wydajności pomiędzy publicznie dostępnymi testami porównawczymi a używanymi przez nie wersjami wewnętrznymi są „absolutnie zdumiewające”.
Odpowiedź Huawei na AnandTechraport
AnandTech rozmawiał z dr Wang Chenglu, prezesem ds. oprogramowania w dziale Consumer Business Group firmy Huawei. Doktor Chenglu przyznał, że firma oszukiwała w benchmarkach, bo „inni robią to samo, uzyskują wysokie wyniki, a Huawei nie może milczeć”.
Dr Chenglu stwierdził, że Huawei „chce współpracować z innymi firmami w Chinach, aby znaleźć najlepszy punkt odniesienia weryfikujący wygodę użytkownika”. On wskazał na innych producentów wprowadzających w błąd swoimi liczbami, powołując się na anonimowego, popularnego producenta smartfonów w Chinach, jako największego winowajca. Według niego oszukiwanie na benchmarkach staje się „powszechną praktyką w Chinach” i chociaż Huawei chce „otworzyć się” na konsumentów, ma problemy, gdy konkurenci „ciągle publikują nierealistyczne wyniki.” Huawei próbuje stawić czoła swojej głównej chińskiej konkurencji, a zadanie to pozornie staje się trudne, gdy inni producenci urządzeń uzyskują nierealistyczne wyniki liczby.
Celem Huawei jest standaryzacja testów porównawczych w celu wyrównania szans, i powiedzieli AnandTech że chcą pomocy mediów. Jak AnandTech zauważa jednak, że Huawei promuje swoje własny na razie nierealne wyniki.
Reakcja Huawei na AnandTech raport to jest to spółka zapewni, że przyszłe dane porównawcze w prezentacjach zostaną niezależnie zweryfikowane przez osoby trzecie w momencie ogłoszenia.
AnandTechszczegółowe ustalenia
AnandTech odkryli zaskakującą różnicę w wynikach uzyskanych przez ich wewnętrzne wersje testów porównawczych GPU w porównaniu z publicznie dostępnymi testami. W publikacji testowano Huawei P20, Huawei P20 Pro i Honor Play. Wszystkie telefony działały niemal identycznie w trybie wyższej mocy, ponieważ mają ten sam HiSilicon Kirina 970 SoC. Jednak rzeczywista wydajność telefonów znacznie się różni, ponieważ wszystkie mają różne limity termiczne. Różne limity termiczne wynikają z różnych konstrukcji obudowy/chłodzenia, np AnandTech wyjaśnione. Huawei P20 Pro ma najlepszą termikę (bo jest większy i droższy od pozostałych dwóch), dzięki czemu może lepiej spisywać się w swoich zadaniach. prawdziwa wydajność państwo.
Ważną kwestią poruszoną w publikacji jest różnica w sposobie oszukiwania benchmarków. Pan Frumusanu stwierdził:
„W przeszłości widzieliśmy, jak dostawcy faktycznie podnosili częstotliwości SoC lub blokowali je do maksymalnych stanów, zwiększając wydajność wykraczającą poza to, co jest zwykle dostępne w zastosowaniach ogólnych. Zamiast tego Huawei podnosi wyniki testów porównawczych, podchodząc do tego z drugiej strony – z aplikacje do testów porównawczych to jedyne przypadki użycia, w których SoC faktycznie działa zgodnie z reklamą prędkości. Tymczasem każda inna aplikacja w świecie rzeczywistym jest ograniczana w znacznym stopniu poniżej tego stanu ze względu na ograniczenia termiczne sprzętu. To, co widzimy w przypadku niezakłóconej wydajności, jest być może „prawdziwą” formą nieograniczonego SoC, chociaż jest to całkowicie akademickie w porównaniu z tym, czego faktycznie doświadczają użytkownicy.” – Andrei Frumusanu i Ian Cutress, AnandTech
Wykresy mocy pokazują, że najnowsze telefony Huawei już osiągają 3,5–4,4 W w rzeczywistym stanie wydajności, podczas gdy 3,5 W TDP to maksymalna wartość, jaką można utrzymać. Z drugiej strony, podczas wykonywania ogólnodostępnych testów porównawczych telefon osiąga overdrive z TDP, a wartości mocy przekraczają 6 W i osiągają szczyt na poziomie 8,5 W. Jak zauważył AnandTech, liczby te szybko powodują powiadomienie o przegrzaniu urządzenia, co oznacza niedopasowanie limitów temperaturowych do oczekiwań oprogramowania.
Wniosek jest taki, że rzeczywiste dane dotyczące wydajności nie są stabilne, ponieważ zależą od temperatury telefonu. Huawei nie blokuje GPU przed osiągnięciem maksymalnego stanu częstotliwości GPU. Domyślnym zachowaniem jest w rzeczywistości „ostry mechanizm dławienia termicznego [...], który będzie próbował utrzymać znacznie niższy poziom temperatury SoC i ogólne zużycie energii”.
Telefony w trybie normalnym mogą osiągać te same wartości maksymalnego zużycia energii podczas testów porównawczych GPU, co modele bez dławików. Jednak te liczby szybko znacznie się cofają, I AnandTech zauważa, że telefon w niektórych przypadkach ogranicza pobór mocy do 2,2 W, co skutkuje znacznym obniżeniem wydajności.
W publikacji stwierdza się, że pozornie wzorcowe zachowanie oszukiwania ma wprowadzono dopiero w tegorocznych urządzeniach. Nie dotyczy to telefonów takich jak Huawei Mate 9 i Huawei P10 i wydaje się, że dotyczy to tylko urządzeń EMUI 8.0 i nowszych. AnandTech Huawei powiedział również, że jest to „wyłącznie implementacja oprogramowania”, co potwierdziło ustalenia zawarte w publikacji.
AnandTech opublikowało prawdziwe dane dotyczące wydajności procesora graficznego dla telefonów z procesorem Kirin 970, których dotyczy problem, i wniosek jest taki Huawei znacznie pozostaje w tyle za swoimi konkurentami zarówno pod względem wydajności, jak i wydajności procesora graficznego.
W publikacji zamieszczono także wykresy porównania mocy urządzeń Huawei wyposażonych w Kirin 970 i Kirin 960. Wykresy pokazują, że regulacje ograniczania mocy Huawei są w rzeczywistości lepsze dla komfortu użytkownika, ponieważ łagodzą problem większego zużycia energii. firmy AnandTech testy Kirina 960 wykazały, że ma on „okropną charakterystykę mocy procesora graficznego”, podczas gdy Kirin Urządzenia zasilane 970 mają nowy, rygorystyczny mechanizm dławiący, który pozwala obniżyć zużycie energii i temperatury.
AnandTech dodaje, że nowa polityka dławienia ma sens, biorąc pod uwagę fakt, że zarówno Kirin 960, jak i Kirin 970 wykazuje pobór mocy znacznie przekraczający dopuszczalne poziomy dla odpowiednich współczynników kształtu.
Żeby było jasne, Huawei nie popełnił błędu wprowadzając nowy mechanizm dławiący. Dużym błędem jest tutaj wykluczenie popularnych aplikacji benchmarkowych z białej listy, co w tym przypadku określa się mianem oszukiwania w benchmarkach.
Odpowiedź: oficjalne oświadczenie Huawei
Huawei przesłał nam następujące oświadczenie dotyczące oszukiwania w benchmarkach:
Huawei zawsze stawia na pierwszym miejscu wygodę użytkownika, zamiast dążyć do wysokich wyników w testach porównawczych – zwłaszcza, że nie ma bezpośredniego związku między testami porównawczymi smartfonów a doświadczeniami użytkowników. Smartfony Huawei wykorzystują zaawansowane technologie, takie jak sztuczna inteligencja, w celu optymalizacji wydajności sprzętu, w tym procesora, karty graficznej i NPU.
Kiedy ktoś uruchamia aplikację fotograficzną lub gra w grę wymagającą dużej wydajności graficznej, inteligentne oprogramowanie Huawei tworzy płynną i stabilną grę. doświadczenie użytkownika poprzez wykorzystanie pełnych możliwości sprzętu, jednocześnie zarządzając temperaturą i mocą urządzenia efektywność. W przypadku aplikacji, które nie wymagają tak dużego zużycia energii, jak przeglądanie Internetu, przydziela jedynie zasoby niezbędne do zapewnienia wymaganej wydajności.
W normalnych scenariuszach testów porównawczych, gdy oprogramowanie Huawei rozpozna aplikację testową, inteligentnie dostosowuje się do „trybu wydajności” i zapewnia optymalną wydajność. Huawei planuje zapewnić użytkownikom dostęp do „trybu wydajności”, dzięki któremu będą mogli wykorzystać maksymalną moc swojego urządzenia, kiedy zajdzie taka potrzeba.
Huawei – jako lider branży – jest chętny do współpracy z partnerami w celu znalezienia najlepszych standardów porównawczych, które pozwolą dokładnie ocenić doświadczenia użytkownika.
Kluczowym wnioskiem jest to, że firma jest planuje zapewnić użytkownikom dostęp do „trybu wydajności” (w stylu Meizu), aby użytkownicy mogli korzystać z „maksymalnej mocy” swojego urządzenia „kiedy tego potrzebują”."
Odpowiedź: Firma UL usuwa ze swoich testów porównawczych telefony Huawei i Honor, których dotyczy problem
UL po przejęciu Futuremark (firmy stojącej za PCMark i 3DMark), usunął Huawei P20, Huawei P20 Pro, Huawei Nova 3 i Honor Play z 3DMark. Firma zweryfikowała oszukiwanie w testach porównawczych na Huawei P20 Pro, Huawei Nova 3 i Honor Play. Na podstawie firmy AnandTech testów i raportów, usunął także standardowy Huawei P20. Użytkownicy nie będą już mogli przeglądać wyników testów porównawczych telefonów, których dotyczy problem, ponieważ firma nie chce udostępniać oszukanych wyników testów porównawczych.
Firma stwierdziła, że wyniki z publicznej aplikacji 3DMark były aż o 47% wyższe od wyników z aplikacji prywatnej (która nie jest dostępna publicznie), mimo że testy są identyczny.
W oświadczeniu UL dodał, że cieszy się, że Huawei zobowiązał się do przyjęcia w przyszłości bardziej przejrzystego podejścia. Firma UL jest zdania, że zgodnie z obecnymi przepisami dozwolone są opcjonalne tryby wydajności, które może ustawić użytkownik o ile są one domyślnie wyłączone. Firma stwierdza: „Urządzenie musi uruchomić test porównawczy tak, jakby było jakąkolwiek inną aplikacją”.
Podsumowując, wszystkie testy wydajności procesorów graficznych Huawei przeprowadzone przy użyciu publicznie dostępnych testów nie powinny być traktowane jako reprezentacja rzeczywistej wydajności.
Odpowiedź: Firmy UL i Huawei wydają wspólne oświadczenie
W odpowiedzi na decyzję UL o wycofaniu Huawei P20, Huawei P20 Pro, Huawei Nova 3 i Honor Play z 3DMark, Huawei skontaktował się z UL, aby omówić najlepsze praktyki w zakresie testów porównawczych. Oto zaoferowane nam oświadczenie:
Huawei i UL (twórcy 3DMark) przeprowadzili w tym tygodniu kompleksowe dyskusje na temat praktyk związanych z benchmarkingiem i osiągnęły pozytywne porozumienie w sprawie kolejnych kroków wspólnej pracy.
W dyskusji Huawei wyjaśnił, że jego smartfony wykorzystują sztuczny inteligentny mechanizm planowania zasobów. Ponieważ różne scenariusze wymagają różnych zasobów, najnowsze telefony Huawei wykorzystują innowacyjne technologie, takie jak sztuczna inteligencja zoptymalizować alokację zasobów w taki sposób, aby sprzęt mógł w najszerszym zakresie zaprezentować swoje możliwości, jednocześnie spełniając we wszystkich wymaganiach użytkowników scenariusze.
UL rozumie intencje podejścia Huawei, ale sprzeciwia się wymuszaniu domyślnego korzystania z „trybu wydajności”, gdy urządzenie wykryje aplikację testującą. Przepisy UL wymagają, aby urządzenie uruchamiało test porównawczy tak, jakby była to jakakolwiek inna aplikacja.
Huawei szanuje prawo konsumentów do wyboru, co zrobić ze swoimi urządzeniami. Dlatego Huawei zapewni użytkownikom otwarty dostęp do „Trybu wydajności” w EMUI 9.0, dzięki czemu użytkownik będzie mógł wybrać, kiedy wykorzystać maksymalną moc swojego urządzenia.
Huawei i UL ogólnie omówiły także obecne wspólne metodologie testów porównawczych. Firmy UL i Huawei chciałyby wziąć udział w ruchu branżowym mającym na celu opracowanie standardów benchmarkingu, które najlepiej odpowiadają potrzebom producentów, prasy i konsumentów.
Aby zapobiec nieporozumieniom wokół bieżących wyników testów porównawczych, po dyskusji firmy UL i Huawei tymczasowo usunęły test porównawczy wielu urządzeń Huawei i przywróci je po tym, jak Huawei zapewni wszystkim użytkownikom telefonów Huawei dostęp do aplikacji Performance Tryb.