El OnePlus 5 vuelve a participar en trampas de referencia en un intento de engañar a críticos y clientes. ¡Descubra cómo lo hicieron en nuestro artículo principal!
A principios de este año, nosotros publicó un informe que denunciaba a OnePlus (y otras empresas) por su comportamiento inadecuado con respecto a la manipulación de puntos de referencia en versiones más nuevas de OxygenOS. Hoy, lamentablemente, debemos continuar con nuestras acusaciones, ya que la empresa una vez más ha estado manipulando de manera inapropiada las puntuaciones de los índices de referencia en el OnePlus 5.
Si bien ningún cliente tiene un dispositivo en sus manos (después de todo, acaba de lanzarse), hemos aprendido sobre el nuevo mecanismo de trampa de referencia de OnePlus. a través de nuestra unidad de revisión, que recibimos hace unos diez días antes del día en que se rompa el embargo y los revisores puedan informar sobre el dispositivo. Desafortunadamente, es casi seguro que Cada revisión del OnePlus 5 que contiene un punto de referencia utiliza resultados engañosos.
Antes de entrar en detalles, me gustaría afirmar que estamos decepcionados con la empresa por recurrir una vez más a estas prácticas. Tampoco proporcionaremos un análisis de rendimiento completo. involucrando todas nuestras pruebas incluidas, ya que muchos de nuestros puntos de referencia preferidos se ven afectados por el mecanismo de trampa. Finalmente, compartimentaremos este informe a partir de nuestro juicio general sobre el dispositivo en sí, porque estamos seguros El código culpable se eliminará de las compilaciones de los consumidores después de este informe y nuestras conversaciones con OnePlus. representantes. Si bien no creemos en este artículo destacado necesariamente Si debería alterar su percepción del hardware en sí, es correcto que modifique su opinión sobre la empresa, dado que es su segunda transgresión.
Unas breves palabras sobre metodología
Todas las puntuaciones de este artículo se obtuvieron en una unidad de revisión OnePlus 5 que ejecuta OxygenOS versión 4.5.0 (A5000_22_170603); Esta es una unidad de preproducción y originalmente se cargó con un software de preproducción que recibió una OTA para la versión mencionada anteriormente. OnePlus envió instrucciones a los revisores para habilitar la posibilidad de descargar aplicaciones de referencia Play Store, y presumiblemente esto se hizo para que no hubiera filtraciones de puntajes de referencia antes de tiempo. Me dio una pista sobre el hecho de que OnePlus se refería a los paquetes de referencia por su nombre en su ROM. En cuanto a las pruebas, la ROM tenía procesos en segundo plano mínimos sin aplicaciones de terceros y ejecutando el Modo Avión cuando correspondía; Las frecuencias de la CPU se registraron sólo para determinar el alcance de las trampas y no en las pruebas que produjeron puntuaciones para este artículo. Todas las temperaturas se midieron utilizando un FLIR C2 compacto con cada carrera de resistencia comenzando a una temperatura exterior de 28,5°C | 83,3°F.
Manipulación de puntos de referencia: cómo se hace
En enero pasado, nuestro informe descubrió un mecanismo de trampa que se encuentra en las versiones Beta de OxygenOS y en el software de envío del OnePlus 3T. Atribuimos estos cambios a la reciente fusión de los entonces dispares OxygenOS e HydrogenOS equipos de desarrolladores y la base de código subyacente de OxygenOS que ahora se compartiría con HydrogenOS, aunque esta especulación aún no se ha confirmado. Tenía sentido para nosotros en ese momento y los comentarios de los representantes de OnePlus hechos a XDA-Developers agregaron credibilidad a nuestra teoría. Con el OnePlus 5, vemos un tipo diferente de mecanismo de trampa, pero no podemos precisar si fue introducido conscientemente por los mismos desarrolladores que lo agregaron la primera vez. Sólo sabemos que apunta a los mismos paquetes.
Entonces, ¿cómo funciona y cuál es la diferencia? La última vez, OnePlus introdujo cambios en el comportamiento de su ROM cada vez que detectaba que se abría una aplicación de referencia. Dichos nombres de aplicaciones se enumeraban explícitamente por sus ID de paquete dentro de la ROM en un manifiesto que especificaba los objetivos. Luego, la ROM alteraría la frecuencia en relación con una carga de CPU ajustada: nuestras herramientas mostraron que la carga de la CPU caería al 0% independientemente de actividad obvia dentro de la aplicación, y la CPU vería una frecuencia casi mínima de 1,29 GHz en los núcleos grandes y 0,98 GHz en los pequeños. núcleos. Esta frecuencia mínima redujo el rango de frecuencia efectivo, lo que a su vez redujo el número de frecuencias de paso; en los puntos de referencia, esto resultó en una variación ligeramente menor y, como mostramos, un rendimiento sostenido más alto ya que la frecuencia mínima más alta no podía ser anulada por la estrangulación térmica. En resumen, el comportamiento de trampa fue claro y demostrable al observar la variación de la puntuación y al monitorear las frecuencias de la CPU a lo largo del proceso. punto de referencia, que mostró un piso de frecuencia que, en su mayor parte, permitió que el dispositivo obtuviera una puntuación consistentemente más cercana a su máximo potencial.
El OnePlus 5, por otro lado, es una bestia completamente diferente: recurre al tipo de mecanismos de trampa obvios y calculados. Vimos en los buques insignia en los primeros días de Android, un enfoque que claramente tiene como objetivo maximizar las puntuaciones de la manera más engañosa. moda. Si bien no hay interruptores de gobernador cuando un usuario ingresa a un punto de referencia (al menos, parece que no podemos ver ese es el caso), la frecuencia mínima del pequeño grupo salta a la frecuencia máxima como se ve en los reguladores de rendimiento. Todos los pequeños núcleos se ven afectados y se mantienen a 1,9 GHz, y es a través de este truco que OnePlus logra algunos de los GeekBench 4 más altos. puntuaciones de un Snapdragon 835 hasta la fecha, y probablemente la más alta posible dada su configuración sin concesiones con su específico configuración. Puntuaciones ciertamente superiores a las obtenidas por dispositivos similares y al propio dispositivo de prueba MSM8998 de Qualcomm que tuvimos la suerte de comparar. A continuación se muestra una lista de aplicaciones de referencia afectadas:
- antutu (com.antutu.benchmark.full)
- banco androb (com.andrómeda.androbench2)
- Banco Geek 4 (com.primatelabs.geekbench)
- GFXBanco (com.glbenchmark.glbenchmark27)
- Cuadrante (com.aurorasoftworks.quadrant.ui.standard)
- Nenamarca 2 (se.nena.nenamark2)
- Vélamo (com.quicinc.vellamo)
Lo que no sorprende en absoluto es Las aplicaciones afectadas son exactamente las mismas que la última vez., y OnePlus claramente apunta a los mismos paquetes. La diferencia en las puntuaciones es justo lo que cabría esperar, en su mayor parte. Pudimos falsificar las trampas del benchmark y evadirlas con GeekBench 4, de manera similar a nuestras pruebas en nuestro último informe. Descubrimos que mientras ejecutaba GeekBench 4 desde Play Store, el dispositivo obtuvo una puntuación de más de 6700 en multinúcleo. aunque nunca obtuvimos una puntuación de 6500 una vez que el dispositivo se comporta como se esperaba con nuestra compilación oculta de Banco Geek. A continuación puede ver un gráfico de frecuencia en el tiempo para el pequeño grupo del OnePlus 5 cuando se ejecuta GeekBench 4 desde Play Store. y la misma configuración ejecutando una compilación de GeekBench 4 sin identificadores que puede engañar a las trampas de OnePlus mecanismo.
En caso de que no sea evidente en el gráfico anterior: sondeamos la frecuencia de la CPU cada 100 ms y, en total, solo el 24,4% de las lecturas arrojaron la frecuencia máxima de 1,9 Ghz al desactivar las trampas. Mientras tanto, la carrera con trampa habilitada pasó un asombroso 95% de las lecturas en su estado de frecuencia máxima. Es absolutamente evidente que OnePlus mantiene las frecuencias de CPU de estos núcleos artificialmente altas durante la prueba, lo que resulta en una frecuencia significativamente mayor. puntuaciones generales en la prueba de múltiples núcleos y también se manifiesta en varias subpuntuaciones vinculadas a la CPU en el desglose detallado de cada prueba (particularmente en números enteros y flotantes). operaciones). Sin embargo, la diferencia es más clara y ventajosa en las puntuaciones de múltiples núcleos, y los resultados de un solo núcleo son sorprendentemente similares. entre las carreras con y sin trampa de referencia, siendo la puntuación central única en realidad más alta en promedio sin manipulación.
Aún así, el multinúcleo es la cifra que la mayoría de la gente considera y nota de inmediato cuando se trata de este punto de referencia específico, dado Android es un sistema operativo altamente paralelo que ahora está lleno de aplicaciones multiproceso después de años de soporte para múltiples núcleos. Incluso si el aumento sólo fuera significativo en las pruebas y puntos de referencia de subprocesos múltiples, seguiría dando como resultado un precio considerable e injusto. y ventaja no representativa sobre otros dispositivos que permiten que su regulador estándar y su configuración de rendimiento funcionen bajo las punto de referencia; Estos resultados alterados no son representativos del rendimiento del OnePlus 5 en el mundo real de ninguna manera, como lo son reflejando un rendimiento máximo y de otro modo inalcanzable del dispositivo en condiciones artificiales y sin restricciones.
El delta de puntuación de Multi Core entre puntuaciones cuando se ejecuta GeekBench 4 con y sin el mecanismo de trampa puede ser de hasta el 6,5%, aunque en promedio es de alrededor del 5%. Que podría mirar insignificante, pero ese empujón es suficiente para impulsar el dispositivo por delante de otros dispositivos Snapdragon 835. Arriba puedes ver un diagrama de puntos de múltiples ejecuciones independientes de GeekBench 4 con y sin el mecanismo de trampa. El abismo es evidente y, como se puede inferir del diagrama de caja, no puede ser el resultado de una variación inherente. En resumen, aumentar artificialmente las frecuencias de la CPU produce resultados mucho mejores en las pruebas sintéticas.
A continuación puede ver un gráfico del rendimiento a lo largo del tiempo con las temperaturas que lo acompañan, como queríamos determinar. si también hay relajación térmica en juego, o si hubo una diferencia en las puntuaciones durante el ejercicio sostenido evaluación comparativa.
Configuramos las pruebas GeekBench 4 con un descanso de dos segundos entre la pantalla de resultados y el inicio de otra ejecución de referencia; La temperatura del dispositivo externo (no la temperatura de la batería según lo informado por Android) se midió utilizando un dispositivo térmico FLIR. cámara después de un segundo de calibración, promediando las tres mediciones inmediatas en los dos segundos entre carreras. Me sorprendió bastante ver que, en general, estos dos dispositivos se calentaron aproximadamente al mismo ritmo y ninguno de ellos experimentó una caída en la puntuación. Todos los resultados en cada conjunto de datos están dentro de la variación esperada, lo que sugiere que no hay estrangulamiento térmico en juego. Tras una inspección más cercana, esto realmente no debería ser una sorpresa dado que el desempeño sostenido es una de las fortalezas inherentes de los núcleos Cortex-A73 en los que se basan los núcleos Kryo del Snapdragon 835 en. Los núcleos afectados son los núcleos energéticamente eficientes y el hecho de que GeekBench 4 viene específicamente con medidas para evitar la aceleración que altera las puntuaciones de las subpruebas cerca del final de una ejecución, es algo aprendimos de nuestra entrevista con John Poole.
Curiosamente, no todos los puntos de referencia populares están sujetos al mecanismo de trampa de OnePlus. 3DMark, por ejemplo, en realidad no detectó ninguno de estos problemas al ejecutar pruebas o incluso al abrir la aplicación. Sin embargo, se apuntan a otros puntos de referencia como GFXBench y vemos el mismo comportamiento de la CPU al abrirlos y ejecutarlos. De hecho, durante una prueba de rendimiento sostenido utilizando la prueba de batería Manhattan de GFXBench, el OnePlus 5 alcanzó temperaturas de más de 50°C | 122°F (temperatura exterior), a Esto ocurre muy raramente entre los dispositivos que he probado en el pasado, todos los cuales experimentan cierto grado de estrangulamiento térmico que les impide alcanzar ese nivel. caliente.
Si me engañas una vez, la culpa es mía; Engáñame dos veces, la culpa es tuya
Es un poco perturbador que hayamos llegado al punto en que tengamos que denunciar dos veces a la misma empresa por manipular las puntuaciones de los puntos de referencia. El hecho de que todo esto se haya hecho también en unidades de revisión exacerba aún más el problema: este mecanismo de trampa tiene como objetivo maximizar el rendimiento y hacer que el dispositivo se vea mejor o más rápido en las secciones de rendimiento de las revisiones. El sistema de focalización y manipulación fue empaquetado en unidades de preproducción enviadas a los periodistas quienes basarán sus hallazgos en su dispositivo de OnePlus, muchos de ellos no pueden o no quieren verificar la existencia de trampas en sus unidad de revisión. De ninguna manera es su culpa, pero XDA está atento a la manipulación de los puntos de referencia solo porque la encontramos en el pasado y pensamos que era mejor informar a nuestros lectores y posibles compradores de teléfonos.
Esperamos que este artículo pueda reavivar una conversación más amplia sobre los puntos de referencia, su papel y su utilidad en las revisiones de teléfonos inteligentes actuales. No se equivoquen, empresas como Qualcomm y Samsung hacer Se preocupan por los puntos de referencia y los consideran una forma válida, aunque incompleta, para que los clientes juzguen el rendimiento de sus dispositivos a pesar de que tienen herramientas más sofisticadas a las que recurrir cuando desarrollan sus procesadores. En última instancia, los puntos de referencia pueden ser de gran importancia si se comprende qué está midiendo el software y en qué medida sus resultados pueden usarse para deducir la clasificación. de un procesador particular, una configuración particular de hardware o, en términos más holísticos, un teléfono específico con los cambios en el comportamiento que su software introduce como Bueno. Creo que hemos llegado a un momento en el que es más importante centrarse en el rendimiento y la eficiencia energética del mundo real que en la informática o el procesamiento en bruto. destreza, porque obviamente está claro en este punto que el cuello de botella para el rendimiento en el mundo real proviene de Android y sus implementaciones particulares por parte de OEM.
Volviendo a OnePlus, realmente no sé por qué el equipo de software de la compañía, y qué lado del equipo de software específicamente, reintrodujo la manipulación de los puntos de referencia después de haber sido denunciado. Esta vez es peor, con el aparente propósito de inflar las puntuaciones producidas por los teléfonos de las reseñas. El OnePlus 5 sigue siendo un dispositivo con un rendimiento increíble que realmente no necesita hacer trampa en los puntos de referencia para hacer una declaración; de verdad, me ha sorprendido su fluidez y su rendimiento general. capacidad de respuesta y después de mi tiempo con los dispositivos de la empresa, así como de las entrevistas y conversaciones con su gerencia, me queda claro que saben que el rendimiento es un aspecto importante de sus teléfonos. Es una medida calculada, muy probablemente, ya que podrían haber descubierto que valía la pena molestar a un pequeño sector de la población. principalmente el lado occidental del mercado entusiasta para tal vez cubrir Internet con los puntajes de referencia más altos que podría reunir. Cualquiera sea el caso, honestamente espero que la compañía corrija este error porque, si bien tengo grandes cosas que decir sobre su hardware, comenzaron el lanzamiento con el pie izquierdo en mis ojos.
Declaración de OnePlus
Nos comunicamos con OnePlus para solicitar un comentario sobre este problema y esto es lo que dijeron:
La gente usa aplicaciones de referencia para determinar el rendimiento de su dispositivo y queremos que los usuarios vean el rendimiento real del OnePlus 5. Por lo tanto, hemos permitido que las aplicaciones de referencia se ejecuten en un estado similar al uso diario, incluida la ejecución de aplicaciones y juegos que consumen muchos recursos. Además, al iniciar aplicaciones, el OnePlus 5 se ejecuta en un estado similar para aumentar la velocidad a la que se abren las aplicaciones. No estamos haciendo overclocking en el dispositivo, sino que mostramos el potencial de rendimiento del OnePlus 5.
Esta declaración que recibimos esta mañana es un poco impactante de escuchar, ya que la trampa del punto de referencia coloca el dispositivo en un estado que es explícitamente no cómo funcionará el dispositivo en el uso diario y representa un rendimiento que no verá en otras aplicaciones que no están específicamente dirigidas a tales mejoras.
Tenga en cuenta que, a diferencia del overclocking competitivo, la mayoría de las pruebas comparativas de teléfonos están diseñadas para representar cómo funcionará un teléfono en el uso diario. No es solo una puntuación para intentar lograr los mejores resultados posibles, sino más bien un intento de representar cómo funciona el teléfono bajo perfiles térmicos y uso de batería regulares. Un intento de representar cómo funciona realmente el teléfono en el uso diario. Estos puntos de referencia no están diseñados para medir algún "potencial de rendimiento" que no se pueda alcanzar en el mundo real. uso, y cualquier intento de atacarlos con un código de trampa de referencia estilo "dispositivo de derrota" es engañoso para los usuarios. Si bloquea las velocidades del reloj de la CPU a su valor máximo y permite que la temperatura corporal del teléfono aumente hasta ser inutilizable niveles cuando se abren ciertas aplicaciones, entonces eso no es indicativo de cómo funcionará el teléfono en la realidad. usar.
Si bien el perfil térmico era relativamente normal en el Geekbench 4 con CPU pesada, donde el fantástico rendimiento sostenido de los núcleos Kryo 280 basados en ARM Cortex-A73 permite Cuando el teléfono funcionó con los mayores niveles de uso de la batería que trajo el engaño de referencia sin calentarse demasiado, vimos una historia completamente diferente con las aplicaciones con uso intensivo de GPU. Como se mencionó, al probar el rendimiento sostenido con la prueba de batería Manhattan de GFXBench, el OnePlus 5 alcanzó temperaturas de alrededor de 50°C | 122 °F (temperatura exterior), que es abrasadora para un teléfono y está completamente incómodo de sostener. Intentar jugar videojuegos o utilizar otras aplicaciones con uso intensivo de GPU a 50 °C | Un teléfono a 122°F sería simplemente una mala experiencia para el usuario.
Incluso si OnePlus también apunta a aplicaciones que no son de referencia con su código de trampa de referencia, seguiría siendo un problema, ya que significaría que el rendimiento que se ve en Las aplicaciones intensivas de hoy serán completamente diferentes de lo que ve en las aplicaciones actuales que no están en la lista, o en las aplicaciones intensivas futuras una vez que OnePlus deje de actualizar la lista. Esto podría modificarse permitiendo a los usuarios incluir en la lista blanca qué aplicaciones se benefician de mejoras ocultas, así como Mostrar de forma transparente cuáles se benefician del incumplimiento: sugerimos esto en nuestro último informe, pero no ha sido así. implementado.
Estamos decepcionados con las acciones de OnePlus en este asunto y esperamos que OnePlus, por segunda vez, elimine el código de trampa de referencia de su software. Es una tergiversación de su teléfono ante sus clientes, y no es el tipo de comportamiento que nos gusta ver con dispositivos tan impresionantes como el OnePlus 3T y el OnePlus 5.
DECLARACIÓN ACTUALIZADA
OnePlus ha proporcionado una declaración actualizada que explica mejor su posición sobre el tema:
"Hemos configurado el OnePlus 5 para ejecutar pruebas comparativas a un nivel de alto rendimiento que es natural y sostenible para todos dispositivos, medios y consumidores, para que los usuarios puedan ver el verdadero potencial del dispositivo, cuando ejecutan aplicaciones que consumen muchos recursos y juegos. En ningún momento realizamos overclocking de la CPU, ni establecemos un piso de frecuencia de CPU.
Estamos seguros de que nuestro enfoque muestra mejor las verdaderas capacidades de rendimiento del OnePlus 5".
La declaración establece correctamente que no hay overclocking involucrado (lo que estaría un paso por encima de su actual mecanismo, en términos de producir puntuaciones ilegítimas), y no hay un piso de frecuencia de CPU como lo que efectivamente vimos ultima vez. A través de esta declaración y después de conversaciones con representantes de OnePlus, me queda claro que no lo han hecho. implementaron este mecanismo por pura malicia, sino porque querían mostrar las "capacidades" de desempeño del dispositivo. Pero, una vez más, debemos señalar que "capacidades" aquí (y a ellas) se refiere al potencial máximo, no El nivel real de rendimiento que la experiencia del usuario seguramente proporcionará a través de la frecuencia tradicional. escalada. De acuerdo o en desacuerdo, se confirma que esta manipulación del índice de referencia se mantendrá, aunque hemos sugerido la posibilidad. de hacer que dicho perfil de rendimiento sea accesible para el usuario para aplicaciones seleccionadas, y creo que OnePlus es receptivo a eso idea. Hay otras empresas que hacen que estos ajustes sean accesibles para el usuario, incluidas HTC y Samsung, aunque sus soluciones giran principalmente en torno a la disminución del consumo de energía (aunque los cambios en la resolución por aplicación aumentan el rendimiento en los juegos, también).
El hecho es que los productores de referencia, los ingenieros de Android y los entusiastas ven estos mecanismos como injustos y no representativos del mercado. experiencia de usuario, un poco engañosa y, en definitiva, un desperdicio de recursos que podrían haberse destinado a otro aspecto del desarrollo del producto. Si desea ver hasta qué punto el OnePlus 5 puede impulsar su hardware, probablemente estará de acuerdo con la decisión de OnePlus. Si desea ver cómo se compara la combinación de hardware y software estándar del OnePlus 5 con otros dispositivos con hardware similar, no tienes suerte, porque manipular las frecuencias de la CPU de tal manera hace que las puntuaciones sean totalmente inconmensurable.
Por último, y a riesgo de parecer conflictivo, también me gustaría tomarme un momento para mencionar algo que me disgustó de la recepción de este informe: ha sido compartido en todo el mundo miles de veces y reblogueado también por miles de medios, pero su mensaje y detalles están envueltos en una niebla o se pierden por completo. el camino. He visto una cobertura incorrecta tan flagrante y espantosa de este artículo, con terribles tergiversaciones de lo que dijimos, lo que encontramos, el mecanismo en sí y la declaración de OnePlus y planes para el futuro. De hecho, aquí hay algunas cosas que quiero que sepan estos blogs: OnePlus no "manipuló" las unidades de revisión; la cuestión también se extiende a las unidades de consumo; es una decisión consciente de OnePlus; no, no nos dijeron que eso cambiaría; la limitación térmica puede relajarse, pero el teléfono no corre riesgo de explosión; no existe un "código de trampa"; De hecho, estamos contentos con el rendimiento real del dispositivo, no tergiversemos nuestras palabras; Qualcomm no tiene nada que ver con esto; Nunca "avergonzamos" a HTC y Samsung en nuestros informes, los mencionamos de pasada y como contexto en nuestro primer artículo, debido a un incidente mucho más antiguo. Eso es sólo una fracción de los errores comunes que desearía poder abordar. Demasiados artículos y videos que hemos visto tienen un defecto fundamental y un malentendido que, en nuestra opinión, arruinan las horas de cuidadosa recopilación y análisis de datos que se dedicaron a este artículo. Lo que es peor, el problema se exacerba cuando leemos blogs indios o chinos que destruyen aún más nuestros hallazgos debido a las dificultades inherentes a la traducción. En última instancia, estamos extremadamente decepcionados con el manejo de este informe por parte de los medios tecnológicos, especialmente aquellos que utilizaron nuestra conclusión para escribir "artículos críticos" contra OnePlus, lo que realmente nunca fue nuestra intención. Lo dijimos arriba, lo dijimos en nuestras primeras impresiones y lo dijimos nuevamente: el producto en sí es bueno, el rendimiento es fenomenal.