OnePlus 5 снова участвует в мошенничестве с тестами, пытаясь обмануть рецензентов и клиентов. Узнайте, как им это удалось, в нашей тематической статье!
Ранее в этом году мы опубликовал отчет, осуждающий OnePlus (и другие компании) за ненадлежащее поведение в отношении манипулирования тестами новых версий OxygenOS. Сегодня нам, к сожалению, приходится опровергать наши обвинения, поскольку компания снова ненадлежащим образом манипулирует показателями тестов в OnePlus 5.
Хотя ни у одного клиента нет в руках устройства (в конце концов, оно только что выпущено), мы узнали о новом механизме мошенничества с тестами OnePlus. через наш отдел проверки, которое мы получили около десяти дней назад, до того дня, когда будет снято эмбарго и рецензентам будет разрешено сообщить об устройстве. К сожалению, почти наверняка каждый обзор OnePlus 5, содержащий тесты, использует вводящие в заблуждение результаты., поскольку OnePlus предоставил рецензентам устройство, которое жульничает в тестах. Это непростительный шаг, поскольку в конечном итоге это попытка ввести в заблуждение не только клиентов, но и испортить работу рецензентов и журналистов вводящими в заблуждение данными, которые большинство из них не в состоянии проверить или проверять. В результате каждый обзор OnePlus 5, в котором в качестве признания успеха телефона упоминаются результаты тестов, является вводят в заблуждение как авторов, так и читателей, а анализ производительности, основанный на синтетических тестах, признан недействительным. Хуже всего то, что на этот раз
механизм читерства вопиющий и направлен на максимизацию производительности, в отличие от прошлого раза, который в среднем не сильно увеличил результаты, но уменьшил дисперсию и термическое регулирование, как мы нашли.Прежде чем перейти к деталям, я хотел бы заявить, что мы разочарованы тем, что компания снова прибегла к такой практике. Мы также не предоставим полный анализ производительности. включая все наши включенные тесты, поскольку на многие из наших предпочтительных тестов влияет механизм мошенничества. Наконец, мы будем отделять этот отчет от нашего общего суждения о самом устройстве, потому что мы уверены виновный код будет удален из потребительских сборок после этого отчета и наших разговоров с OnePlus. представители. Хотя мы не верим в эту тематическую статью обязательно должно изменить ваше восприятие самого оборудования, это правильно, если оно подтолкнет вас к мнению о компании, поскольку это их второй проступок.
Несколько слов о методологии
Все оценки в этой статье были получены на обзорном устройстве OnePlus 5 под управлением OxygenOS версии 4.5.0 (A5000_22_170603); это опытный образец, и изначально в него было загружено предсерийное программное обеспечение, получившее OTA версию, указанную выше. OnePlus направил рецензентам инструкции, позволяющие отключить возможность загрузки тестовых приложений. Play Store, и предположительно это было сделано для того, чтобы не было утечек результатов тестов перед время. Это подсказало мне тот факт, что OnePlus ссылался на пакеты тестов по имени в своем ПЗУ. Что касается тестирования, в ПЗУ было минимальное количество фоновых процессов, не было сторонних приложений и использовался режим полета, где это применимо; Частоты процессора регистрировались только для определения степени мошенничества, а не в тестах, в результате которых были выставлены оценки для этой статьи. Все температуры измерялись с помощью FLIR C2 Компактный при этом каждый забег на выносливость начинается при внешней температуре 28,5°C | 83,3°Ф.
Манипулирование бенчмарками: как это делается
В январе прошлого года в нашем отчете был обнаружен механизм мошенничества, обнаруженный в бета-сборках OxygenOS и в поставляемом программном обеспечении OnePlus 3T. Мы связываем эти изменения с недавним слияние тогда еще разрозненных OxygenOS и HydrogenOS команды разработчиков и базовый код OxygenOS, который теперь должен был использоваться совместно с HydrogenOS, хотя это предположение еще не подтверждено. В то время это имело для нас смысл, а комментарии представителей OnePlus, сделанные XDA-Developers, добавили достоверности нашей теории. В OnePlus 5 мы видим другой механизм мошенничества, но мы не можем точно определить, было ли это сознательно введено теми же разработчиками, которые добавили его в первый раз. Мы знаем только, что он нацелен на одни и те же пакеты.
Так как же это работает и в чем разница? В прошлый раз OnePlus внесла изменения в поведение своего ПЗУ всякий раз, когда обнаруживала открытие тестового приложения. Имена таких приложений были явно указаны по идентификаторам их пакетов в ПЗУ в манифесте, в котором были указаны цели. Затем ПЗУ будет изменять частоту в зависимости от скорректированной нагрузки ЦП — наши инструменты показали, что загрузка ЦП упадет до 0% независимо от очевидная активность внутри приложения, и процессор будет видеть почти минимальную частоту 1,29 ГГц в больших ядрах и 0,98 ГГц в маленьких. ядра. Эта минимальная частота уменьшила эффективный диапазон частот, что, в свою очередь, уменьшило количество ступенчатых частот; в тестах это привело к несколько меньшей дисперсии и, как мы показали, к более высокой устойчивой производительности, поскольку более высокая минимальная частота не могла быть отменена тепловым регулированием. Короче говоря, мошенническое поведение было очевидным и очевидным как при взгляде на разницу в баллах, так и при мониторинге частот процессора на протяжении всего процесса. тест, который показал нижнюю частоту, которая, по большей части, позволяла устройству постоянно приближаться к своему полному потенциалу.
С другой стороны, OnePlus 5 — совершенно другой зверь — он прибегает к очевидным и рассчитанным механизмам мошенничества. мы видели во флагманах на заре Android подход, который явно предназначен для максимизации результатов в самых вводящих в заблуждение мода. Хотя нет переключателей регулятора, когда пользователь входит в тест (по крайней мере, мы не можем этого сделать). видеть это так), минимальная частота маленького кластера подскакивает до максимальной частоты, как видно из регуляторов производительности. Все маленькие ядра затронуты и поддерживаются на частоте 1,9 ГГц, и именно благодаря этому читу OnePlus достигает одних из самых высоких показателей в GeekBench 4. баллы Snapdragon 835 на сегодняшний день — и, вероятно, самые высокие из достижимых, учитывая его бескомпромиссную конфигурацию со специфическими конфигурация. Результаты определенно выше, чем у аналогичных устройств и собственного тестового устройства Qualcomm MSM8998. которые нам посчастливилось протестировать. Ниже приведен список затронутых тестовых приложений:
- АнТуТу (com.antutu.benchmark.full)
- Андробенч (com.andromeda.androbench2)
- Гикбенч 4 (com.primatelabs.geekbench)
- GFXBench (com.glbenchmark.glbenchmark27)
- Квадрант (com.aurorasoftworks.quadrant.ui.standard)
- Ненамарк 2 (se.nena.nenamark2)
- Велламо (com.quicinc.vellamo)
Что совершенно неудивительно, так это затронутые приложения те же, что и в прошлый раз, и OnePlus явно нацелен на те же самые пакеты. Разница в баллах по большей части именно такая, как и следовало ожидать. Нам удалось подделать обман при тестировании и обойти его с помощью GeekBench 4, аналогично тестированию в нашем последнем отчете. Мы обнаружили, что при запуске GeekBench 4 из Play Store устройство набрало более 6700 баллов в многоядерном режиме. хотя мы никогда не получали оценку 6500, если устройство ведет себя так, как ожидалось, с нашей скрытой сборкой GeekBench. Ниже вы можете увидеть график зависимости частоты от времени для небольшого кластера OnePlus 5 при запуске GeekBench 4 из Play Store. и в той же конфигурации используется сборка GeekBench 4, лишенная идентификаторов, которая способна обмануть обман OnePlus. механизм.
Если из графика выше не видно: мы опрашивали частоту процессора каждые 100мс, и в общей сложности только 24,4% показаний вернули максимальную частоту 1,9ГГц при отключении читерства. Тем временем, прогон с включенным читерством провел ошеломляющие 95% показаний в состоянии максимальной частоты. Совершенно очевидно, что OnePlus во время теста искусственно поддерживает частоты процессора этих ядер на высоком уровне, что приводит к значительно более высоким результатам. общие оценки в многоядерном тесте, а также проявляются в различных подоценках, связанных с процессором, в подробной разбивке каждого теста (особенно в целых числах и числах с плавающей запятой). операции). Однако разница наиболее очевидна и выгодна в результатах многоядерных вычислений, а результаты одноядерных игр на самом деле удивительно похожи. между запусками с мошенничеством в тестах и без него, при этом оценка одного ядра фактически была в среднем выше без манипуляций.
Тем не менее, многоядерность — это цифра, которую большинство людей учитывают и сразу замечают, когда дело доходит до этого конкретного теста, учитывая Android — это высокопараллельная операционная система, которая теперь полна многопоточных приложений после многих лет поддержки нескольких ядра. Даже если увеличение имеет смысл только в многопоточных тестах и тестах, оно все равно приведет к значительному и несправедливому увеличению производительности. и нерепрезентативное преимущество перед другими устройствами, которые позволяют своим стандартным настройкам регулятора и производительности работать под эталон; эти измененные результаты никоим образом не отражают реальную производительность OnePlus 5, поскольку они отражающий пиковую и иным образом недостижимую производительность устройства в искусственных условиях и без ограничения.
Разница между оценками многоядерности при запуске GeekBench 4 с механизмом мошенничества и без него может достигать 6,5%, хотя в среднем она составляет около 5%. Это могло бы смотреть незначительно, но этого толчка достаточно, чтобы продвинуть устройство вперед других устройств Snapdragon 835. Выше вы можете увидеть точечный график нескольких независимых запусков GeekBench 4 с механизмом мошенничества и без него. Пропасть очевидна, и, как можно заключить из диаграммы, она не может быть результатом внутренней дисперсии. Короче говоря, искусственное повышение частоты процессора действительно дает гораздо лучшие результаты в синтетических тестах.
Ниже вы можете увидеть график изменения производительности с течением времени с сопутствующими температурами, которые мы хотели определить. имеет ли место также термическая релаксация, или была ли разница в баллах во время продолжительного бенчмаркинг.
Мы настроили тесты GeekBench 4 с двухсекундным перерывом между экраном результатов и началом следующего запуска теста; Температура внешнего устройства (а не температура батареи, сообщаемая Android) измерялась с помощью термометра FLIR. камеру после секунды калибровки, усредняя три непосредственных измерения за две секунды между бежит. Я был весьма удивлен, увидев, что в целом эти два устройства нагревались примерно с одинаковой скоростью, и ни у одного из них не наблюдалось снижения показателей. Все результаты в каждом наборе данных находятся в пределах ожидаемой дисперсии, что позволяет предположить отсутствие термического регулирования. При ближайшем рассмотрении это действительно не должно вызывать удивления, учитывая устойчивую производительность. одна из сильных сторон ядер Cortex-A73, на которой основаны ядра Kryo Snapdragon 835. на. Затронутые ядра — это энергоэффективные ядра, и тот факт, что GeekBench 4 специально поставляется с меры по предотвращению регулирования, которое изменяет результаты подтестов ближе к концу цикла, что-нибудь мы узнали из нашего интервью с Джоном Пулом.
Интересно, что не все популярные тесты подвергаются мошенничеству OnePlus. 3DMark, например, не обнаружил ни одной из этих проблем ни при запуске тестов, ни даже при открытии приложения. Однако другие тесты, такие как GFXBench, являются целевыми, и мы видим такое же поведение процессора при их открытии и запуске. Фактически, во время продолжительной работы с использованием Манхэттенского теста батареи GFXBench OnePlus 5 достиг температуры более 50°C | 122°F (внешняя температура), а очень редкое явление среди устройств, которые я тестировал в прошлом, и все они испытывают некоторую степень теплового дросселирования, которая не позволяет им получить такой результат. горячий.
Обмани меня однажды, позор мне; Обмани меня дважды, как тебе не стыдно
Немного расстраивает то, что дошло до того, что нам приходится дважды обращаться к одной и той же компании за манипулирование показателями тестов. Тот факт, что все это было сделано и на обзорных единицах, еще больше усугубляет проблему: этот механизм мошенничества нацелен на максимальное повышение производительности и улучшение или ускорение внешнего вида устройства в разделах обзоров, посвященных производительности. Система нацеливания и манипулирования была упакована в предварительные образцы и отправлена журналистам, которые будут основывать свои результаты на своем устройстве от OnePlus, многие из них не могут или не хотят проверять наличие мошенничества в своих обзорный блок. Это ни в коем случае не их вина, но XDA ищет возможности манипулирования тестами только потому, что мы обнаружили это в прошлом и решили, что лучше всего проинформировать наших читателей и потенциальных покупателей телефонов.
Мы надеемся, что эта статья может возобновить более широкий разговор о тестах, их роли и полезности в сегодняшних обзорах смартфонов. Не заблуждайтесь, такие компании, как Qualcomm и Samsung делать заботятся об эталонах и считают их действенным, хотя и неполным, способом, с помощью которого клиенты могут судить о производительность своих устройств, даже несмотря на то, что у них есть более сложные инструменты, на которые можно опираться при разработке своих устройств. процессоры. В конечном счете, тесты могут иметь большое значение, если понимать, что измеряет программное обеспечение и в какой степени его результаты могут быть использованы для определения рейтинга. конкретного процессора, конкретной конфигурации оборудования или, в более целостном смысле, конкретного телефона с изменениями в поведении, которые его программное обеспечение вносит как хорошо. Я думаю, что мы подошли к моменту, когда важнее сосредоточиться на реальной производительности и энергоэффективности, чем на чистых вычислениях или обработке. мастерство, потому что на данный момент очевидно, что узким местом для реальной производительности является Android и отдельные его реализации. OEM-производители.
Возвращаясь к OnePlus, я действительно не знаю, почему команда разработчиков программного обеспечения компании и какая конкретно часть команды программного обеспечения вновь ввела манипуляции с тестами после того, как меня вызвали. На этот раз все еще хуже, очевидно, с целью завышения оценок, полученных с помощью мобильных телефонов-рецензентов. OnePlus 5 по-прежнему остается невероятно производительным устройством, которому действительно не нужно обманывать тесты, чтобы заявить о себе. Честно говоря, я был поражен его плавностью и общими характеристиками. отзывчивость, и после моего опыта работы с устройствами компании, а также интервью и разговоров с их руководством мне стало ясно, что они знают, что производительность является сильным аспектом их телефоны. Скорее всего, это продуманный ход, поскольку они могли посчитать, что стоит раздражать небольшой сектор в первую очередь - западная часть рынка энтузиастов, чтобы, возможно, наделить Интернет высшими оценками, которые они мог собраться. В любом случае, я искренне надеюсь, что компания исправит эту ошибку, поскольку, хотя я могу сказать много хорошего об их оборудовании, они начали выпуск не с той ноги в моих глазах.
Заявление от OnePlus
Мы обратились в OnePlus за комментариями по этому вопросу, и вот что они сказали:
Люди используют тестовые приложения, чтобы оценить производительность своего устройства, и мы хотим, чтобы пользователи увидели истинную производительность OnePlus 5. Поэтому мы разрешили тестовым приложениям работать в состоянии, аналогичном повседневному использованию, включая запуск ресурсоемких приложений и игр. Кроме того, при запуске приложений OnePlus 5 работает в аналогичном состоянии, чтобы увеличить скорость открытия приложений. Мы не разгоняем устройство, а демонстрируем потенциал производительности OnePlus 5.
Это заявление, которое мы получили сегодня утром, немного шокирует, поскольку мошенничество в тесте переводит устройство в состояние, которое явно нет как устройство будет работать в повседневном использовании, и оно представляет производительность, которую вы не увидите в других приложениях, на которые специально не нацелены такие улучшения.
Имейте в виду, что в отличие от конкурентного разгона большинство тестов телефона предназначены для представления того, как телефон будет работать в повседневном использовании. Это не просто попытка достичь максимально возможных результатов, а скорее попытка представить, как телефон работает при обычных температурных профилях и использовании батареи. Попытка представить, как телефон на самом деле работает в повседневном использовании. Эти тесты не предназначены для измерения какого-то «потенциала производительности», который недостижим в реальном мире. использования, и любые попытки нацелиться на них с помощью читерского кода эталонного теста в стиле «победить устройство» вводят пользователей в заблуждение. Если вы зафиксируете тактовую частоту процессора на максимальном значении и позволите температуре корпуса телефона подняться до непригодной для использования уровни, когда открываются определенные приложения, то это не указывает на то, как телефон будет работать в реальном времени. использовать.
В то время как температурный профиль был относительно нормальным в тяжелом процессоре Geekbench 4, где фантастическая устойчивая производительность ядер Kryo 280 на базе ARM Cortex-A73 позволяет Чтобы телефон работал при увеличенном уровне использования батареи, который был вызван мошенничеством в тесте, не перегреваясь, мы увидели совершенно другую историю с приложениями, интенсивно использующими графический процессор. Как уже упоминалось, при тестировании устойчивой производительности с помощью Манхэттенского теста батареи GFXBench OnePlus 5 достиг температура около 50°C | 122°F (внешняя температура), что очень жарко для телефона и полностью неудобно держать. Попытка играть в видеоигры или использовать другие приложения, интенсивно использующие графический процессор, при температуре 50°C | Телефон с температурой 122°F будет просто неудобен для пользователя.
Даже если OnePlus нацеливается на приложения, не являющиеся эталонными, с помощью своего мошеннического кода для тестов, это все равно будет проблемой, поскольку это будет означать, что производительность, которую вы видите в Сегодняшние интенсивные приложения будут полностью отличаться от того, что вы видите в текущих приложениях, которых нет в списке, или в будущих интенсивных приложениях, когда OnePlus перестанет обновлять список. Это можно изменить, разрешив пользователям вносить в белый список приложения, которые получают преимущества от скрытых улучшений, а также прозрачно отображать те, которые получают выгоду от использования по умолчанию – мы предлагали это в нашем последнем отчете, но это не было сделано реализовано.
Мы разочарованы действиями OnePlus в этом вопросе и надеемся, что OnePlus во второй раз удалит мошеннический код теста из своего программного обеспечения. Это искажает представление об их телефоне клиентам, и это не тот тип поведения, который нам хотелось бы видеть на таких замечательных устройствах, как OnePlus 3T и OnePlus 5.
ОБНОВЛЕННОЕ ЗАЯВЛЕНИЕ
OnePlus предоставил обновленное заявление, которое лучше объясняет их позицию по этому вопросу:
«Мы настроили OnePlus 5 для проведения тестов на высоком уровне производительности, который является одновременно естественным и устойчивым для всех. устройства, носители и потребитель, чтобы пользователи могли увидеть истинный потенциал устройства при запуске ресурсоемких приложений и игры. Мы ни в коем случае не разгоняем процессор и не устанавливаем минимальную частоту процессора.
Мы уверены, что наш подход лучше всего отображает истинные возможности OnePlus 5».
В заявлении правильно указано, что разгон не используется (что было бы на шаг выше их нынешнего уровня). механизм, с точки зрения выдачи незаконных оценок), и нет минимальной частоты процессора, подобной той, которую мы фактически видели последний раз. Из этого заявления и после разговоров с представителями OnePlus мне стало ясно, что они этого не сделали. реализовали этот механизм из чистого злого умысла, а потому, что они действительно хотели продемонстрировать производительность «возможностей» устройство. Но, еще раз, мы должны отметить, что «способности» здесь (и к ним) относятся к пиковому потенциалу, а не к пиковому потенциалу. фактический уровень производительности, который должен обеспечить пользовательский опыт за счет традиционной частоты масштабирование. Согласитесь или нет, подтверждено, что эта манипуляция тестами останется, хотя мы предположили такую возможность. сделать такой профиль производительности доступным пользователю для избранных приложений, и я считаю, что OnePlus восприимчив к этому идея. Есть и другие компании, которые делают такие настройки доступными для пользователя, в том числе HTC и Samsung, хотя их решения в основном вращаются вокруг снижения энергопотребления (хотя изменения разрешения для каждого приложения повышают производительность в играх, слишком).
Факт остается фактом: производители тестов, инженеры Android и энтузиасты считают эти механизмы несправедливыми и нерепрезентативными для пользовательский опыт, немного обманчивый и, в конечном итоге, пустая трата ресурсов, которые могли бы пойти на другой аспект разработки продукта. Если вы хотите увидеть, насколько сильно OnePlus 5 может продвигать свое оборудование, то вы, скорее всего, согласитесь с решением OnePlus. Если вы хотите увидеть, как сочетание аппаратного и стандартного программного обеспечения OnePlus 5 сравнивается с другими устройствами с аналогичное железо, вам не повезло, потому что манипулирование частотами процессора таким образом делает баллы сплошь несоизмеримо.
Наконец, рискуя показаться конфронтационным, я также хотел бы упомянуть кое-что, что вызвало у меня недовольство в восприятии этого отчета: им поделились по всему миру тысячи раз, а также перепостили в блоги тысячи СМИ, но его послание и детали либо окутаны туманом, либо полностью утеряны. путь. Я видел такое вопиющее и ужасно неправильное освещение этой статьи, с ужасным искажение того, что мы сказали, что мы нашли, самого механизма и заявления OnePlus и планы на будущее. На самом деле, вот некоторые вещи, которые я хочу, чтобы такие блоги знали: OnePlus не «подмешивал» устройства рецензентов; проблема также распространяется на потребительские единицы; это сознательное решение OnePlus; нет, они не сказали нам, что это изменится; термическое регулирование можно ослабить, но риск взрыва телефона отсутствует; нет «чит-кода»; мы на самом деле довольны фактической производительностью устройства, не искажайте слова; Qualcomm не имеет к этому никакого отношения; мы никогда не «позорили» HTC и Samsung в наших отчетах, мы упомянули их вскользь и для контекста в нашей первой статье из-за гораздо более старого инцидента. Это лишь малая часть распространенных ошибок, на которые мне хотелось бы обратить внимание. Слишком многие статьи и видеоролики, которые мы видели, содержали фундаментальные ошибки и недопонимания, которые, по нашему мнению, сводят на нет часы тщательного сбора и анализа данных, потраченные на создание этой статьи. Что еще хуже, проблема усугубляется, когда мы читаем индийские или китайские блоги, которые еще больше разрушают наши выводы из-за присущих им трудностей перевода. В конечном счете, мы крайне разочарованы тем, как технические СМИ отреагировали на этот отчет, особенно те, кто использовал наше заключение для написания «критических статей» против OnePlus, чего мы на самом деле никогда не планировали. Мы сказали это выше, мы сказали это в наших первых впечатлениях и сказали это снова: сам продукт хорош, производительность феноменальна.