Un informe afirma que se ha descubierto que Huawei hace trampa en los puntos de referencia. En respuesta, UL eliminó de la lista el Huawei P20/P20 Pro, el Huawei Nova 3 y el Honor Play de 3DMark.
Los puntos de referencia siempre han sido una forma popular de medir el rendimiento del hardware, tanto en el ámbito de las PC como de los dispositivos móviles. El fraude en los puntos de referencia se produce cuando un fabricante de dispositivos intenta injustamente jugar con un punto de referencia haciendo que los resultados obtengan mejores resultados de lo que realmente son. Las trampas pueden ocurrir en cualquier prueba comparativa, incluidas aquellas que miden el rendimiento de la CPU, el sistema o la GPU. El objetivo obvio de hacer trampa en los puntos de referencia es que los clientes estén convencidos de que el producto A es mejor que el producto B. Desafortunadamente, esto significa que las debilidades subyacentes del hardware quedan enmascaradas por las trampas. En pocas palabras, es una situación en la que todos los involucrados en la industria pierden: proveedores de chips, fabricantes de dispositivos y, sobre todo, consumidores finales.
Las trampas estaban muy extendidas en el espacio de las PC hace más de una década, pero afortunadamente, la práctica prácticamente ha terminado. En el mundo móvil, Andrei Frumusanu (ahora editor móvil de anandtech) descubrió trampas en el punto de referencia en la variante Exynos del Samsung Galaxy S4 en 2013. El anandtech Luego, los editores móviles descubrieron diferentes variedades de trampas en los puntos de referencia realizadas por muchos proveedores de teléfonos inteligentes. Muchos smartphones importantes como el Galaxy S4 y el Samsung Galaxy Note 3 fueron incluso eliminado de la lista de puntos de referencia como 3DMark, ya que empresas como Futuremark optaron por denunciar públicamente a los fabricantes de dispositivos.
Después de ser denunciados en 2013 por este comportamiento, la mayoría de los fabricantes de dispositivos dejaron de hacer trampa en los puntos de referencia. Algunos fabricantes de equipos originales como Meizu todavía tienen modos de "Rendimiento" en sus interfaces de usuario, pero dichos modos son en su mayoría configurables por el usuario. El año pasado, encontramos evidencia de que OnePlus estaba haciendo trampa en algunos puntos de referencia populares como Geekbench. OnePlus Detuvo la práctica con el OnePlus 5T y, en general, las trampas en los puntos de referencia parecían haberse convertido en una cosa del pasado.
Un nuevo acontecimiento ha corregido esta falsa suposición. anandtech Los editores Andrei Frumusanu e Ian Cutress han publicó un informe que detalla casos verificados de trampas en los puntos de referencia de GPU realizados por teléfonos inteligentes Huawei y Honor 2018, como el Huawei P20, Huawei P20 Pro y Honor Play.
Resumen: los teléfonos Huawei/Honor 2018 fueron descubiertos haciendo trampa en los puntos de referencia de GPU
anandtech señala que en su revisión, el rendimiento del Huawei P20 había retrocedido en comparación con el Huawei Mate 10 Pro. En ese momento, Huawei le dijo a la publicación que se trataba de un problema de firmware, pero en realidad ese no era el caso. Los teléfonos más nuevos de Huawei y Honor venían con un mecanismo de detección de referencia eso permite un límite de potencia mucho más alto para el SoC con un mayor margen térmico.
Como lo explica anandtech, esto significa que para ciertas aplicaciones incluidas en la lista blanca, los últimos teléfonos Huawei y Honor tienen un rendimiento mucho mayor en comparación con lo que los usuarios esperarían de otro software similar que no esté en la lista blanca. Esta práctica da como resultado un mayor consumo de energía, una menor eficiencia y una menor duración de la batería.
El resultado neto es que las cifras de rendimiento son más altas de lo que realmente deberían ser. Estos números no son realistas para cualquier usuario en un escenario de rendimiento real. La publicación también afirma que la eficiencia del SoC disminuye al hacer esto, ya que está "bien impulsado". fuera de su ventana operativa estándar". En general, hace que el SoC se vea peor en aras de un punto de referencia más alto. números.
anandtech afirma que el comportamiento de referencia de Huawei supera todo lo que la publicación haya visto en el pasado. La publicación utilizó ediciones personalizadas de puntos de referencia, por lo que pueden realizar pruebas con el modo de detección activado y desactivado. En sus palabras, las enormes diferencias de rendimiento entre los puntos de referencia disponibles públicamente y las versiones internas que utilizan son "absolutamente asombrosas".
La respuesta de Huawei a anandtechel informe
anandtech habló con el Dr. Wang Chenglu, presidente de software del Consumer Business Group de Huawei. El Dr. Chenglu admitió que la empresa estaba haciendo trampa en las evaluaciones comparativas porque "otros hacen lo mismo, obtienen puntuaciones altas y Huawei no puede permanecer en silencio".
El Dr. Chenglu afirmó que Huawei "quiere unirse con otros en China para encontrar el mejor punto de referencia de verificación para la experiencia del usuario". Él señaló a otros fabricantes de engañosos con sus números, citando a un popular fabricante anónimo de teléfonos inteligentes en China como el mayor culpable. Según él, el fraude en los índices de referencia se está convirtiendo en una "práctica común en China" y, aunque Huawei quiere "abrirse" a los consumidores, tiene problemas cuando los competidores "publican continuamente puntuaciones poco realistas." Huawei está tratando de enfrentarse a su principal competencia china, una tarea que aparentemente se complica cuando otros fabricantes de dispositivos producen puntuaciones poco realistas. números.
El objetivo de Huawei es la estandarización de los puntos de referencia para nivelar el campo de juego, y dijeron anandtech que quieren que los medios ayuden. Como anandtech señala, sin embargo, que Huawei está promocionando su propio puntuaciones poco realistas por ahora.
La reacción de Huawei ante el anandtech informe es que La compañía se asegurará de que los datos de referencia futuros en las presentaciones sean verificados de forma independiente por terceros en el momento del anuncio.
anandtechLos hallazgos en detalle
anandtech encontró una diferencia sorprendente en las puntuaciones producidas por sus versiones internas de los puntos de referencia de GPU en comparación con los puntos de referencia disponibles públicamente. La publicación probó el Huawei P20, el Huawei P20 Pro y el Honor Play. Todos los teléfonos funcionaron casi de manera idéntica en el modo de mayor potencia porque comparten el mismo HiSilicon. Kirin 970 SoC. Sin embargo, el rendimiento real de los teléfonos varía significativamente ya que todos tienen límites térmicos diferentes. Los diferentes límites térmicos se deben a sus diferentes diseños de chasis/refrigeración, así como anandtech explicado. El Huawei P20 Pro tiene las mejores térmicas (porque es más grande y más caro que los otros dos) y, por lo tanto, puede funcionar mejor en su verdadero rendimiento estado.
Un punto importante que plantea la publicación es la diferencia en el método de trampa de los índices de referencia. El señor Frumusanu declaró:
"En el pasado, hemos visto a los proveedores aumentar las frecuencias del SoC o bloquearlas en sus estados máximos, elevando el rendimiento más allá de lo que normalmente está disponible para las aplicaciones genéricas. En cambio, lo que Huawei está haciendo es mejorar las puntuaciones de los puntos de referencia acercándose desde la otra dirección: la Las aplicaciones de evaluación comparativa son los únicos casos de uso en los que el SoC realmente funciona según lo anunciado. velocidades. Mientras tanto, todas las demás aplicaciones del mundo real se limitan en un grado significativo por debajo de ese estado debido a las limitaciones térmicas del hardware. Lo que terminamos viendo con un rendimiento sin límites es quizás la forma "verdadera" de un SoC sin restricciones, aunque Esto es completamente académico en comparación con lo que los usuarios realmente experimentan." - Andrei Frumusanu e Ian Cutress, anandtech
Los gráficos de potencia demuestran que los teléfonos más nuevos de Huawei ya alcanzan entre 3,5 y 4,4 W en su estado de rendimiento real, mientras que 3,5 W de TDP es la cantidad máxima que se puede mantener. Por otro lado, el teléfono se acelera con el TDP cuando realiza las pruebas de referencia disponibles públicamente, con cifras de potencia que superan los 6 W y alcanzan un máximo de 8,5 W. Como lo señaló anandtech, estas cifras activan rápidamente una notificación de sobrecalentamiento en el dispositivo, lo que significa que los límites térmicos no coinciden con las expectativas del software.
La conclusión aquí es que las cifras reales de rendimiento no son estables ya que dependen de la temperatura del teléfono. Huawei no impide que la GPU alcance su estado de frecuencia máxima de GPU. El comportamiento predeterminado es en realidad un "mecanismo severo de estrangulación térmica [...] que intentará mantener niveles de temperatura del SoC y un consumo general de energía significativamente más bajos".
El modo normal de los teléfonos puede alcanzar las mismas cifras máximas de consumo de energía durante las pruebas de GPU que las publicadas por las variantes no limitadas. Sin embargo, estos números rápidamente retrocede significativamente, y anandtech señala que el teléfono se reduce a 2,2 W en algunos casos, lo que tiene el efecto de reducir significativamente el rendimiento.
La publicación afirma que el comportamiento de trampa de referencia aparentemente ha solo se introdujo en los dispositivos de este año. Teléfonos como el Huawei Mate 9 y el Huawei P10 no se ven afectados, y parece que solo EMUI 8.0 y dispositivos más nuevos se ven afectados. anandtech Huawei también le dijo que se trataba de "puramente una implementación de software", lo que corroboró los hallazgos de la publicación.
anandtech publicó cifras reales de rendimiento de GPU para los teléfonos afectados con Kirin 970, y la conclusión es que Huawei está muy por detrás de sus competidores tanto en rendimiento como en eficiencia de GPU.
La publicación también publicó gráficos comparativos de potencia para los dispositivos Huawei con Kirin 970 y Kirin 960. Los gráficos muestran que los ajustes de limitación de energía de Huawei son, de hecho, mejores para la experiencia del usuario, ya que mitigan el problema del mayor consumo de energía. AnandTech Las pruebas del Kirin 960 mostraron que tenía "pésimas características de potencia de GPU", mientras que el Kirin Los dispositivos con tecnología 970 tienen un nuevo mecanismo de aceleración estricto para reducir el consumo de energía y temperaturas.
anandtech agrega que la nueva política de aceleración tiene sentido si se considera el hecho de que tanto el Kirin 960 como el Kirin 970 muestra consumos de energía muy por encima de sus niveles sostenibles para sus respectivos factores de forma.
Para ser claros, Huawei no ha hecho mal al introducir el nuevo mecanismo de aceleración. El gran error aquí es la exclusión de aplicaciones de pruebas de referencia populares a través de una lista blanca, lo que en este caso se denomina trampa de pruebas de referencia.
Respuesta: declaración oficial de Huawei
Huawei nos envió la siguiente declaración sobre el fraude en los benchmarks:
Huawei siempre prioriza la experiencia del usuario en lugar de buscar altas puntuaciones en los puntos de referencia, especialmente porque no existe una conexión directa entre los puntos de referencia de los teléfonos inteligentes y las experiencias del usuario. Los teléfonos inteligentes de Huawei utilizan tecnologías avanzadas como la IA para optimizar el rendimiento del hardware, incluidas la CPU, GPU y NPU.
Cuando alguien inicia una aplicación de fotografía o juega un juego con muchos gráficos, el software inteligente de Huawei crea una experiencia fluida y estable. experiencia del usuario aplicando todas las capacidades del hardware, mientras se administra simultáneamente la temperatura y la energía del dispositivo eficiencia. Para aplicaciones que no consumen tanta energía como navegar por la web, solo asignará los recursos necesarios para ofrecer el rendimiento necesario.
En escenarios normales de evaluación comparativa, una vez que el software de Huawei reconoce una aplicación de evaluación comparativa, se adapta inteligentemente al "Modo de rendimiento" y ofrece un rendimiento óptimo. Huawei planea brindar a los usuarios acceso al "Modo de rendimiento" para que puedan usar la máxima potencia de su dispositivo cuando lo necesiten.
Huawei, como líder de la industria, está dispuesto a trabajar con socios para encontrar los mejores estándares de evaluación comparativa que puedan evaluar con precisión la experiencia del usuario.
La conclusión clave aquí es que la empresa está planea proporcionar a los usuarios acceso al "Modo de rendimiento" (estilo Meizu) para que los usuarios puedan utilizar la "potencia máxima" de su dispositivo "cuando lo necesiten".."
Respuesta: UL elimina los teléfonos Huawei y Honor afectados de sus puntos de referencia
UL, tras adquirir Futuremark (la empresa detrás de PCMark y 3DMark), ha eliminado de la lista el Huawei P20, el Huawei P20 Pro, el Huawei Nova 3 y el Honor Play de 3DMark. La compañía ha verificado trampas en los puntos de referencia del Huawei P20 Pro, Huawei Nova 3 y Honor Play. Sobre la base de AnandTech pruebas e informes, también ha eliminado de la lista el Huawei P20 estándar. Los usuarios ya no podrán ver los resultados de las pruebas comparativas de los teléfonos afectados, ya que la empresa no desea albergar puntuaciones de referencia fraudulentas.
La empresa descubrió que las puntuaciones de la aplicación pública 3DMark eran hasta un 47% más altas que las puntuaciones desde la aplicación privada (que no está disponible al público), a pesar de que las pruebas son idéntico.
En el anuncio, UL agregó que estaba feliz de ver que Huawei se comprometiera a adoptar un enfoque más transparente en el futuro. La opinión de UL es que los modos de rendimiento opcionales que puede configurar el usuario están permitidos según sus reglas actuales. siempre y cuando estén deshabilitados por defecto. La empresa afirma: "Un dispositivo debe ejecutar el benchmark como si fuera cualquier otra aplicación".
En conclusión, todos los puntos de referencia de rendimiento de la GPU de Huawei que se tomaron utilizando puntos de referencia disponibles públicamente no deben tomarse como una representación del rendimiento real.
Respuesta: UL y Huawei emiten una declaración conjunta
En respuesta a la decisión de UL de eliminar de la lista Huawei P20, Huawei P20 Pro, Huawei Nova 3 y Honor Play de 3DMark, Huawei contactó a UL para analizar las mejores prácticas para las pruebas comparativas. Aquí está el comunicado que nos ofrecen:
Huawei y UL (creadores de 3DMark) mantuvieron discusiones exhaustivas sobre prácticas de evaluación comparativa esta semana y llegaron a un acuerdo positivo sobre los próximos pasos en el trabajo conjunto.
En la discusión, Huawei explicó que sus teléfonos inteligentes utilizan un mecanismo de programación de recursos inteligente artificial. Debido a que diferentes escenarios tienen diferentes necesidades de recursos, los últimos teléfonos de Huawei aprovechan tecnologías innovadoras como la inteligencia artificial para optimizar la asignación de recursos de manera que el hardware pueda demostrar sus capacidades al máximo, al mismo tiempo que satisface las demandas de los usuarios en todos escenarios.
UL comprende la intención del enfoque de Huawei, pero se opone a forzar el uso de un "Modo de rendimiento" de forma predeterminada cuando el dispositivo detecta una aplicación de evaluación comparativa. Las reglas de UL requieren que un dispositivo ejecute la prueba como si fuera cualquier otra aplicación.
Huawei respeta el derecho de los consumidores a elegir qué hacer con sus dispositivos. Por ello, Huawei proporcionará a los usuarios acceso abierto al “Modo Rendimiento” en EMUI 9.0, para que el usuario pueda elegir cuándo utilizar la máxima potencia de su dispositivo.
Huawei y UL también han discutido las metodologías de prueba de referencia comunes actuales en general. A UL y Huawei les gustaría participar en un movimiento industrial para desarrollar estándares de evaluación comparativa que satisfagan mejor las necesidades de los fabricantes, la prensa y los consumidores.
Para evitar confusión en torno a los resultados actuales de las evaluaciones comparativas, después de una discusión, UL y Huawei eliminaron temporalmente la evaluación comparativa. puntuaciones de una variedad de dispositivos Huawei, y los restablecerá después de que Huawei otorgue a todos los usuarios de teléfonos Huawei acceso a Performance Modo.