화웨이가 벤치마크에서 부정행위를 한 것으로 밝혀졌다는 보고서가 나왔습니다. UL은 이에 대응하여 Huawei P20/P20 Pro, Huawei Nova 3 및 Honor Play를 3DMark에서 제외했습니다.
벤치마크는 PC와 모바일 공간 모두에서 하드웨어 성능을 측정하는 인기 있는 방법이었습니다. 벤치마크 부정행위는 장치 제조업체가 결과 점수를 실제보다 더 좋게 만들어 부당하게 벤치마크 게임을 시도할 때 발생합니다. 부정 행위는 CPU, 시스템 또는 GPU 성능을 측정하는 테스트를 포함한 모든 벤치마크 테스트에서 발생할 수 있습니다. 벤치마크 부정행위의 분명한 목표는 고객이 제품 A가 제품 B보다 낫다고 확신하도록 하는 것입니다. 불행하게도 이는 하드웨어의 근본적인 약점이 부정행위로 가려진다는 것을 의미합니다. 간단히 말해서, 이는 칩 공급업체, 장치 제조업체, 그리고 무엇보다도 최종 소비자 등 업계에 관련된 모든 당사자에게 손실과 손실이 발생하는 상황입니다.
10여년 전 PC계에는 부정행위가 만연했지만 다행히도 이러한 행위는 대부분 끝났습니다. 모바일 세계에서는 Andrei Frumusanu(현재 모바일 편집자) 아난드테크) 벤치마크 부정행위 발견 2013년 삼성 갤럭시 S4의 엑시노스 변종. 그만큼 아난드테크 그 후 모바일 편집자들은 많은 스마트폰 공급업체가 수행하는 다양한 벤치마크 부정 행위를 발견했습니다. 갤럭시S4, 삼성 갤럭시노트3 등 주요 스마트폰도 상당수 등장했다. 벤치마크에서 제외됨 3DMark와 같은 Futuremark와 같은 회사는 장치 제조업체를 공개적으로 불러내기로 결정했습니다.
2013년에 이러한 행위로 인해 문제가 제기된 이후 대부분의 장치 제조업체는 벤치마크 부정 행위를 중단했습니다. Meizu와 같은 일부 OEM 사용자 인터페이스에는 여전히 "성능" 모드가 있지만 이러한 모드는 대부분 사용자가 구성할 수 있습니다. 작년, 우리는 Geekbench와 같은 일부 인기 벤치마크에서 OnePlus가 부정행위를 하고 있다는 증거를 발견했습니다.. 원플러스 연습을 중단했다 OnePlus 5T, 그리고 전반적으로 벤치마크 부정 행위는 과거의 일이 된 것 같습니다.
새로운 개발로 이러한 잘못된 가정이 수정되었습니다. 아난드테크 편집자 Andrei Frumusanu와 Ian Cutress는 보고서를 발표했다 Huawei P20, Huawei P20 Pro 및 Honor Play와 같은 2018년 Huawei 및 Honor 스마트폰의 GPU 벤치마크에서 수행된 벤치마크 부정 행위의 확인된 사례를 자세히 설명합니다.
요약: GPU 벤치마크에서 부정 행위가 적발된 2018년 Huawei/Honor 휴대폰
아난드테크 에 메모 그들의 리뷰화웨이 P20의 성능은 화웨이 메이트 10 프로에 비해 후퇴했다. 당시 화웨이 측은 해당 출판물에 펌웨어 문제라고 설명했지만 실제로는 그렇지 않았다. Huawei와 Honor의 최신 휴대폰에는 벤치마크 탐지 메커니즘 이는 더 높은 열 헤드룸으로 SoC에 대해 훨씬 더 높은 전력 제한을 가능하게 합니다.
설명대로 아난드테크, 이는 특정 화이트리스트 애플리케이션의 경우 최신 Huawei 및 Honor 휴대폰이 화이트리스트에 없는 다른 유사한 소프트웨어에서 사용자가 기대하는 것보다 훨씬 더 높은 성능을 발휘한다는 것을 의미합니다. 이렇게 하면 전력 소비가 높아지고 효율성이 낮아지며 배터리 수명이 단축됩니다.
결과적으로 성능 수치는 실제 예상 수치보다 높습니다. 이러한 수치는 실제 성능 시나리오에서 모든 사용자가 달성하기에는 비현실적입니다. 이 간행물은 또한 SoC가 "잘 추진되고 있기 때문에 이렇게 하면 SoC의 효율성이 감소한다"고 명시합니다. 표준 운영 기간을 벗어났습니다." 전체적으로 더 높은 벤치마크를 위해 SoC를 더 나쁘게 보이게 만듭니다. 숫자.
아난드테크 화웨이의 벤치마크 행동은 과거 출판물에서 본 어떤 것보다 뛰어납니다. 이 출판물에서는 맞춤형 벤치마크 버전을 사용하여 감지 모드를 켜거나 끄고 테스트할 수 있었습니다. 그들의 말에 따르면, 공개적으로 사용 가능한 벤치마크와 그들이 사용하는 내부 버전 사이의 엄청난 성능 차이는 "절대적으로 놀랍습니다."
화웨이의 대응 아난드테크님의 보고서
아난드테크 Huawei 소비자 비즈니스 그룹의 소프트웨어 사장인 Wang Chenglu 박사와 대화를 나눴습니다. Chenglu 박사는 "다른 사람들도 똑같은 일을 하고 높은 점수를 얻는데 화웨이는 침묵을 지킬 수 없기 때문에" 회사가 벤치마킹에서 부정행위를 하고 있다고 인정했습니다.
Chenglu 박사는 Huawei가 "사용자 경험에 대한 최고의 검증 벤치마크를 찾기 위해 중국의 다른 업체들과 협력하기를 원합니다"라고 말했습니다. 그 중국의 익명의 인기 스마트폰 제조업체를 가장 큰 규모로 언급하면서 다른 제조업체의 숫자가 오해를 불러일으킨다고 지적했습니다. 범죄자. 그에 따르면 벤치마크 부정 행위는 '중국에서 일반적인 관행'이 되고 있으며 화웨이는 소비자에게 '개방'을 원하지만 경쟁업체가 '지속적으로 게시'하면 어려움을 겪습니다. 비현실적인 점수." 화웨이는 주요 중국 경쟁업체들과 맞서려고 노력하고 있는데, 이는 다른 기기 제조사들이 비현실적인 점수를 내는 경우 어려워 보이는 작업이다. 숫자.
화웨이의 목표는 벤치마크 표준화를 통해 공평한 경쟁의 장을 마련하는 것입니다. 아난드테크 언론이 도와주길 바라는 거죠. 처럼 아난드테크 그러나 화웨이는 자사의 제품을 홍보하고 있습니다. 소유하다 지금으로서는 비현실적인 점수입니다.
이에 대한 화웨이의 반응 아난드테크 보고서는 그게 회사는 프레젠테이션의 향후 벤치마크 데이터가 발표 시점에 제3자에 의해 독립적으로 검증되도록 보장할 것입니다.
아난드테크의 조사 결과를 자세히
아난드테크 공개적으로 사용 가능한 벤치마크와 비교하여 GPU 벤치마크의 내부 버전에서 생성된 점수에서 놀라운 차이를 발견했습니다. 이 간행물은 Huawei P20, Huawei P20 Pro 및 Honor Play를 테스트했습니다. 모든 휴대폰은 동일한 HiSilicon을 공유하기 때문에 고전력 모드에서 거의 동일하게 작동합니다. 기린 970 SoC. 그러나 휴대폰마다 열 제한이 다르기 때문에 휴대폰의 실제 성능은 크게 다릅니다. 열 제한이 다른 이유는 섀시/냉각 설계가 다르기 때문입니다. 아난드테크 설명했다. Huawei P20 Pro는 열 성능이 가장 뛰어나며(다른 두 제품보다 더 크고 비싸기 때문에) 더 나은 성능을 발휘할 수 있습니다. 진정한 성능 상태.
이 출판물에서 제기된 중요한 점은 벤치마크 부정행위 방법의 차이입니다. Frumusanu 씨는 다음과 같이 말했습니다.
"과거에는 공급업체가 실제로 SoC 주파수를 높이거나 최대 상태로 고정하여 일반 애플리케이션에서 일반적으로 사용할 수 있는 것 이상으로 성능을 높이는 것을 보았습니다. 대신 화웨이가 하고 있는 일은 다른 방향에서 접근해 벤치마크 점수를 높이는 것입니다. 벤치마킹 애플리케이션은 SoC가 실제로 광고된 대로 수행되는 유일한 사용 사례입니다. 속도. 한편, 다른 모든 실제 응용 프로그램은 하드웨어의 열 제한으로 인해 해당 상태보다 훨씬 낮은 수준으로 제한됩니다. 우리가 제한되지 않은 성능으로 보게 되는 것은 아마도 제한되지 않은 SoC의 '진정한' 형태일 것입니다. 이는 사용자가 실제로 경험하는 것과 비교할 때 완전히 학문적입니다." - Andrei Frumusanu 및 Ian Cutress, 아난드테크
전력 그래프는 Huawei의 최신 휴대폰이 실제 성능 상태에서 이미 3.5~4.4W에 도달했으며, 3.5W TDP가 유지할 수 있는 최대량임을 보여줍니다. 반면, 공개적으로 사용 가능한 벤치마크를 수행할 때 전화기는 TDP로 오버드라이브되며 전력 수치는 6W를 초과하고 최고 8.5W에 이릅니다. 에 의해 언급된 바와 같이 아난드테크, 이러한 수치는 장치에 과열 알림을 빠르게 트리거하여 열 제한과 소프트웨어 기대치가 일치하지 않음을 나타냅니다.
여기서 중요한 점은 실제 성능 수치는 휴대폰 온도에 따라 달라지므로 안정적이지 않다는 것입니다. Huawei는 GPU가 최고 GPU 주파수 상태에 도달하는 것을 차단하지 않습니다. 기본 동작은 실제로 "상당히 낮은 SoC 온도 수준과 전체 전력 소비를 유지하려고 시도하는 가혹한 열 조절 메커니즘 [...]"입니다.
전화기의 일반 모드는 GPU 벤치마크 중에 조절되지 않은 변형이 게시한 것과 동일한 최대 전력 소비 수치에 도달할 수 있습니다. 그러나 이러한 수치는 빠르게 크게 뒤로 물러나고, 그리고 아난드테크 어떤 경우에는 전화기가 2.2W까지 조절되어 성능이 크게 저하되는 효과가 있습니다.
간행물에는 벤치마크 부정 행위 행위가 겉보기에 올해의 장치에만 도입되었습니다. Huawei Mate 9 및 Huawei P10과 같은 휴대폰은 영향을 받지 않으며, EMUI 8.0 이상의 장치만 영향을 받는 것으로 보입니다. 아난드테크 화웨이는 또한 이것이 "순수한 소프트웨어 구현"이라고 말했으며 이는 출판물의 조사 결과를 확증했습니다.
아난드테크 영향을 받는 Kirin 970 기반 휴대폰의 GPU 성능 실제 수치를 게시했으며 결론은 다음과 같습니다. Huawei는 GPU 성능과 효율성 모두에서 경쟁사보다 훨씬 뒤처져 있습니다.
이 출판물은 또한 Kirin 970 및 Kirin 960 기반 Huawei 장치에 대한 전력 비교 그래프를 게시했습니다. 그래프는 Huawei의 전력 조절 조정이 실제로 더 높은 전력 소비 문제를 완화하므로 사용자 경험에 더 좋다는 것을 보여줍니다. 아난드테크의 Kirin 960의 테스트에서는 "끔찍한 GPU 전력 특성"이 있는 것으로 나타났습니다. 970 기반 장치에는 전력 소비를 낮추고 온도.
아난드테크 Kirin 960과 Kirin 970은 각각의 폼 팩터에 대해 지속 가능한 수준보다 훨씬 높은 전력 소비를 보여줍니다.
분명히 말하면 화웨이는 새로운 제한 메커니즘을 도입하는 데 있어 잘못된 일을 하지 않았습니다. 여기서 가장 큰 실수는 화이트리스트를 통해 인기 있는 벤치마크 애플리케이션을 제외하는 것인데, 이 경우 벤치마크 부정행위라고 합니다.
답변: 화웨이 공식 성명
Huawei는 벤치마크 부정 행위에 대해 다음과 같은 성명을 우리에게 보냈습니다.
Huawei는 항상 높은 벤치마크 점수를 추구하기보다는 사용자 경험을 우선시합니다. 특히 스마트폰 벤치마크와 사용자 경험 사이에는 직접적인 연관성이 없기 때문에 더욱 그렇습니다. Huawei 스마트폰은 AI와 같은 첨단 기술을 사용하여 CPU, GPU, NPU를 포함한 하드웨어 성능을 최적화합니다.
누군가가 사진 앱을 실행하거나 그래픽 집약적인 게임을 할 때 Huawei의 지능형 소프트웨어는 부드럽고 안정적인 화면을 생성합니다. 하드웨어의 모든 기능을 적용하는 동시에 장치의 온도와 전력을 관리하여 사용자 경험을 향상시킵니다. 능률. 웹 검색처럼 전력을 많이 사용하지 않는 애플리케이션의 경우 필요한 성능을 제공하는 데 필요한 리소스만 할당합니다.
일반적인 벤치마킹 시나리오에서 Huawei의 소프트웨어가 벤치마킹 애플리케이션을 인식하면 "성능 모드"에 지능적으로 적응하여 최적의 성능을 제공합니다. 화웨이는 사용자에게 필요할 때 장치의 최대 성능을 사용할 수 있도록 "성능 모드"에 대한 액세스를 제공할 계획입니다.
업계 리더인 화웨이는 사용자 경험을 정확하게 평가할 수 있는 최고의 벤치마킹 표준을 찾기 위해 파트너와 협력할 의향이 있습니다.
여기서 중요한 점은 회사가 사용자가 필요할 때 장치의 "최대 전력"을 사용할 수 있도록 "성능 모드"(Meizu 스타일)에 대한 액세스 권한을 사용자에게 제공할 계획입니다.."
대응: UL은 벤치마크에서 영향을 받은 Huawei 및 Honor 휴대폰을 삭제했습니다.
UL은 Futuremark(PCMark 및 3DMark의 배후 회사)를 인수하여 Huawei P20, Huawei P20 Pro, Huawei Nova 3 및 Honor Play가 3DMark에서 제외되었습니다.. 이 회사는 Huawei P20 Pro, Huawei Nova 3 및 Honor Play에 대한 벤치마크 부정 행위를 확인했습니다. 에 기초 아난드테크의 테스트 및 보고를 통해 표준 Huawei P20도 삭제했습니다. 회사는 부정한 벤치마크 점수를 호스팅하는 것을 원하지 않기 때문에 사용자는 더 이상 영향을 받는 휴대폰의 벤치마크 결과를 볼 수 없습니다.
회사는 공개 3DMark 앱의 점수가 점수보다 최대 47% 더 높다는 것을 발견했습니다. 테스트가 가능하다는 사실에도 불구하고 비공개 앱(대중에게 공개되지 않음)에서 동일한.
UL은 발표에서 화웨이가 앞으로 더욱 투명한 접근 방식을 채택하는 것을 보게 되어 기쁘다고 덧붙였습니다. UL의 견해는 사용자가 설정할 수 있는 선택적 성능 모드가 현재 규칙에 따라 허용된다는 것입니다. 기본적으로 비활성화되어 있는 한. 회사는 다음과 같이 말합니다. "기기는 마치 다른 애플리케이션인 것처럼 벤치마크를 실행해야 합니다."
결론적으로 공개적으로 사용 가능한 벤치마크를 사용하여 수행된 모든 Huawei GPU 성능 벤치마크는 실제 성능을 나타내는 것으로 간주되어서는 안 됩니다.
대응: UL과 Huawei는 공동 성명을 발표합니다.
Huawei P20, Huawei P20 Pro, Huawei Nova 3 및 3DMark의 Honor Play를 상장 폐지하기로 한 UL의 결정에 따라 Huawei는 벤치마크 테스트를 위한 모범 사례를 논의하기 위해 UL에 연락했습니다. 우리에게 제시된 성명은 다음과 같습니다.
Huawei와 UL(3DMark 개발사)은 이번 주에 벤치마킹 관행에 관해 포괄적인 논의를 가졌으며 협력의 다음 단계에 대해 긍정적인 합의에 도달했습니다.
토론에서 화웨이는 자사 스마트폰이 인공지능 자원 스케줄링 메커니즘을 사용한다고 설명했다. 다양한 시나리오에는 리소스 요구 사항이 다르기 때문에 최신 Huawei 휴대폰은 인공 지능과 같은 혁신적인 기술을 활용하여 하드웨어가 그 기능을 최대한 발휘할 수 있도록 하는 동시에 모든 영역에서 사용자 요구를 충족할 수 있도록 리소스 할당을 최적화합니다. 시나리오.
UL은 Huawei의 접근 방식의 의도를 이해하지만 장치에서 벤치마킹 애플리케이션이 감지될 때 기본적으로 "성능 모드"를 강제로 사용하는 것에 반대합니다. UL 규칙에 따르면 장치는 마치 다른 애플리케이션인 것처럼 벤치마크를 실행해야 합니다.
Huawei는 소비자가 자신의 장치를 어떻게 사용할지 선택할 권리를 존중합니다. 따라서 Huawei는 사용자에게 EMUI 9.0의 "성능 모드"에 대한 공개 액세스를 제공하여 사용자가 장치의 최대 전력을 언제 사용할지 선택할 수 있습니다.
Huawei와 UL은 또한 일반적인 현재 공통 벤치마크 테스트 방법론에 대해서도 논의했습니다. UL과 Huawei는 제조업체, 언론, 소비자의 요구에 가장 부합하는 벤치마킹 표준을 개발하기 위한 업계 운동에 참여하기를 원합니다.
현재 벤치마킹 결과에 대한 혼란을 방지하기 위해 UL과 Huawei는 논의 후 일시적으로 벤치마크를 삭제했습니다. 다양한 Huawei 장치에 대해 Huawei가 모든 Huawei 휴대폰 사용자에게 Performance에 대한 액세스 권한을 부여한 후 이를 복원할 예정입니다. 방법.