Huawei P20, Nova 3 и Honor Play были уличены в мошенничестве при тестировании

Тесты всегда были популярным способом измерения производительности оборудования как на ПК, так и на мобильных устройствах. Обман с тестом производительности происходит, когда производитель устройства несправедливо пытается обмануть тест, заставляя результаты быть лучше, чем они есть на самом деле. Обман может произойти в любых тестах производительности, включая те, которые измеряют производительность процессора, системы или графического процессора. Очевидная цель мошенничества при тестировании — убедить клиентов, что продукт А лучше, чем продукт Б. К сожалению, это означает, что основные недостатки аппаратного обеспечения маскируются мошенничеством. Проще говоря, это проигрышная ситуация для всех сторон, участвующих в отрасли: поставщиков чипов, производителей устройств и, прежде всего, конечных потребителей.

Читерство было широко распространено в сфере ПК более десяти лет назад, но, к счастью, эта практика практически прекратилась. В мобильном мире Андрей Фрумусану (ныне мобильный редактор

АнандТех) обнаружил мошенничество в тестах на варианте Exynos Samsung Galaxy S4 в 2013 году. АнандТех затем мобильные редакторы обнаружили различные варианты мошенничества в тестах, применяемые многими производителями смартфонов. Многие крупные смартфоны, такие как Galaxy S4 и Samsung Galaxy Note 3, были даже исключен из сравнительных тестов например, 3DMark, поскольку такие компании, как Futuremark, решили публично призвать производителей устройств.

После того, как в 2013 году их обвинили в таком поведении, большинство производителей устройств прекратили мошенничество с тестами. Некоторые OEM-производители, такие как Meizu в пользовательских интерфейсах по-прежнему есть режимы «Производительность», но такие режимы в основном настраиваются пользователем. В прошлом году, мы нашли доказательства того, что OnePlus жульничал в некоторых популярных тестах, таких как Geekbench.. OnePlus прекратил практику с OnePlus 5T и, по большому счету, мошенничество в тестах, похоже, ушли в прошлое.

Новая разработка исправила это ложное предположение. АнандТех редакторы Андрей Фрумусану и Ян Катресс опубликовал отчет с подробным описанием подтвержденных случаев мошенничества в тестах графического процессора на смартфонах Huawei и Honor 2018 года, таких как Huawei P20, Huawei P20 Pro и Honor Play.

Резюме: телефоны Huawei/Honor 2018 года уличены в мошенничестве в тестах графического процессора

АнандТех отмечает, что в их обзорПроизводительность Huawei P20 снизилась по сравнению с Huawei Mate 10 Pro. Тогда в Huawei сообщили изданию, что это проблема прошивки, но на самом деле это не так. Новые телефоны Huawei и Honor поставлялись с механизм обнаружения тестов это обеспечивает гораздо более высокий предел мощности для SoC с более высоким тепловым запасом.

Как объяснил АнандТехЭто означает, что для некоторых приложений из белого списка новейшие телефоны Huawei и Honor работают намного лучше по сравнению с тем, что пользователи ожидают от другого аналогичного программного обеспечения, не внесенного в белый список. Такая практика приводит к увеличению потребляемой мощности, снижению эффективности и сокращению срока службы батареи.

Конечным результатом является то, что показатели производительности выше, чем они должны быть на самом деле. Этих цифр нереально достичь для любого пользователя в реальном сценарии производительности. В публикации также говорится, что эффективность SoC при этом снижается, поскольку его «хорошо продвигают». за пределами стандартного рабочего окна». В целом, это ухудшает внешний вид SoC ради более высоких показателей. цифры.

АнандТех заявляет, что поведение Huawei в тестах превосходит все, что издание видело в прошлом. В публикации использовались специальные версии тестов, поэтому их можно тестировать как с включенным, так и с выключенным режимом обнаружения. По их словам, огромные различия в производительности между общедоступными тестами и внутренними версиями, которые они используют, «совершенно поразительны».

Ответ Huawei на АнандТехотчет

АнандТех побеседовал с доктором Ван Чэнлу, президентом отдела программного обеспечения потребительской бизнес-группы Huawei. Доктор Чэнлу признал, что компания жульничала при бенчмаркинге, потому что «другие делают то же самое, получают высокие баллы, а Huawei не может молчать».

Доктор Чэнлу заявил, что Huawei «хочет объединиться с другими компаниями в Китае, чтобы найти лучший эталон проверки пользовательского опыта». Он указал на других производителей, вводящих в заблуждение своими цифрами, назвав неназванного популярного производителя смартфонов в Китае крупнейшим преступник. По его словам, мошенничество с тестами становится «обычной практикой в ​​Китае», и хотя Huawei хочет «открыться» для потребителей, у них возникают проблемы, когда конкуренты «постоянно публикуют Huawei пытается противостоять своему главному китайскому конкуренту, и эта задача, по-видимому, усложняется, когда другие производители устройств выставляют нереалистичные оценки. цифры.

Цель Huawei — стандартизировать тесты, чтобы уравнять правила игры, и они заявили, что АнандТех что они хотят, чтобы средства массовой информации помогли. Как АнандТех отмечает, однако, Huawei продвигает свою собственный нереальные оценки на данный момент.

Реакция Huawei на АнандТех отчет в том, что Компания обеспечит независимую проверку будущих эталонных данных в презентациях третьими сторонами на момент объявления.

АнандТехвыводы в деталях

АнандТех обнаружили удивительную разницу в результатах своих внутренних версий тестов графического процессора по сравнению с общедоступными тестами. Издание протестировало Huawei P20, Huawei P20 Pro и Honor Play. Все телефоны работали почти одинаково в режиме повышенной мощности, поскольку они используют один и тот же процессор HiSilicon. Кирин 970 SoC. Однако реальная производительность телефонов существенно различается, поскольку все они имеют разные температурные ограничения. Различные температурные ограничения обусловлены разной конструкцией шасси/охлаждения. АнандТех объяснил. Huawei P20 Pro имеет лучшие тепловые характеристики (потому что он больше и дороже, чем два других), и, следовательно, он может работать лучше в своей настоящая производительность состояние.

Важным моментом, поднятым в публикации, является разница в методе обмана тестов. Г-н Фрумусану заявил:

«В прошлом мы видели, как поставщики фактически повышали частоты SoC или фиксировали их до максимальных значений, повышая производительность сверх того, что обычно доступно для обычных приложений. Вместо этого Huawei повышает результаты тестов, подходя к этому с другого направления – приложения для сравнительного анализа — единственные варианты использования, в которых SoC действительно соответствует заявленным характеристикам. скорости. Между тем, любое другое реальное приложение регулируется в значительной степени ниже этого состояния из-за тепловых ограничений оборудования. То, что мы в конечном итоге видим при неограниченной производительности, возможно, является «истинной» формой неограниченной SoC, хотя это совершенно академический подход по сравнению с тем, что на самом деле испытывают пользователи», — Андрей Фрумусану и Ян Катресс, АнандТех

Графики мощности показывают, что новейшие телефоны Huawei уже достигают 3,5–4,4 Вт в своем истинном состоянии производительности, а TDP 3,5 Вт — это максимальное значение, которое можно поддерживать. С другой стороны, при выполнении общедоступных тестов телефон перегружается с TDP: показатели мощности превышают 6 Вт и достигают пика 8,5 Вт. Как отметил АнандТех, эти цифры быстро вызывают на устройстве уведомление о перегреве, что указывает на несоответствие температурных ограничений ожиданиям программного обеспечения.

Вывод: реальные показатели производительности нестабильны, поскольку зависят от температуры телефона. Huawei не блокирует достижение максимальной частоты графического процессора. Поведение по умолчанию на самом деле представляет собой «механизм жесткого теплового регулирования [...], который пытается поддерживать значительно более низкие уровни температуры SoC и общего энергопотребления».

В обычном режиме телефоны могут достигать тех же значений пикового энергопотребления во время тестов графического процессора, что и те, которые были опубликованы в нерегулируемых вариантах. Однако эти цифры быстро отступить значительно, и АнандТех отмечает, что в некоторых случаях мощность телефона снижается до 2,2 Вт, что приводит к значительному снижению производительности.

В публикации говорится, что эталонное мошенническое поведение, похоже, был представлен только в устройствах этого года. Такие телефоны, как Huawei Mate 9 и Huawei P10, не затронуты, и, похоже, затронуты только EMUI 8.0 и более новые устройства. АнандТех Huawei также сообщила, что это «чисто программная реализация», что подтвердило выводы публикации.

АнандТех опубликовала реальные данные о производительности графического процессора для затронутых телефонов на базе Kirin 970, и пришел к выводу, что Huawei значительно отстает от своих конкурентов как по производительности, так и по эффективности графического процессора.

Издание также опубликовало графики сравнения мощности устройств Huawei на базе Kirin 970 и Kirin 960. Графики показывают, что настройки регулирования мощности Huawei на самом деле лучше для пользователя, поскольку они смягчают проблему более высокого энергопотребления. АнандТек тестирование Kirin 960 показало, что у него «ужасные характеристики мощности графического процессора», в то время как Kirin Устройства на базе 970 оснащены новым строгим механизмом регулирования, позволяющим снизить энергопотребление и температуры.

АнандТех добавляет, что новая политика регулирования имеет смысл, если принять во внимание тот факт, что и Kirin 960, и Kirin 970 демонстрирует энергопотребление, которое намного превышает устойчивый уровень для соответствующих форм-факторов.

Чтобы внести ясность, Huawei не ошиблась, внедрив новый механизм регулирования. Большой ошибкой здесь является исключение популярных тестовых приложений из белого списка, что в данном случае называется мошенничеством с тестами.

Ответ: официальное заявление Huawei

Компания Huawei направила нам следующее заявление о мошенничестве в тестах:

Huawei всегда отдает приоритет пользовательскому опыту, а не гонится за высокими оценками в тестах, особенно потому, что нет прямой связи между тестами смартфонов и пользовательским опытом. В смартфонах Huawei используются передовые технологии, такие как искусственный интеллект, для оптимизации производительности оборудования, включая центральный процессор, графический процессор и NPU.

Когда кто-то запускает приложение для фотографий или играет в игру с насыщенной графикой, интеллектуальное программное обеспечение Huawei создает плавную и стабильную работу. пользовательский опыт, применяя все возможности оборудования, одновременно управляя температурой и мощностью устройства эффективность. Для приложений, которые не так энергоемки, как просмотр веб-страниц, будут выделены только те ресурсы, которые необходимы для обеспечения необходимой производительности.

В обычных сценариях бенчмаркинга, как только программное обеспечение Huawei распознает приложение для бенчмаркинга, оно интеллектуально адаптируется к «Режиму производительности» и обеспечивает оптимальную производительность. Huawei планирует предоставить пользователям доступ к «Режиму производительности», чтобы они могли использовать максимальную мощность своего устройства, когда им это необходимо.

Huawei, как лидер отрасли, готова работать с партнерами, чтобы найти лучшие стандарты сравнительного анализа, которые смогут точно оценить пользовательский опыт.

Ключевым выводом здесь является то, что компания Планируем предоставить пользователям доступ к «Режиму производительности» (в стиле Meizu), чтобы пользователи могли использовать «максимальную мощность» своего устройства «когда им нужно».."

Ответ: UL исключила затронутые телефоны Huawei и Honor из своих тестов

UL, приобретя Futuremark (компанию, создающую PCMark и 3DMark), исключил Huawei P20, Huawei P20 Pro, Huawei Nova 3 и Honor Play из 3DMark. Компания подтвердила мошенничество в тестах Huawei P20 Pro, Huawei Nova 3 и Honor Play. На основе АнандТек тестирования и отчетности, он также исключил из списка стандартный Huawei P20. Пользователи больше не смогут просматривать результаты тестов затронутых телефонов, поскольку компания не желает размещать обманные результаты тестов.

Компания обнаружила, что оценки общедоступного приложения 3DMark были на 47% выше, чем оценки из частного приложения (которое недоступно для публики), несмотря на то, что тесты идентичны.

В своем объявлении UL добавила, что рада видеть, что Huawei обязуется принять более прозрачный подход в будущем. По мнению UL, дополнительные режимы производительности, которые могут быть установлены пользователем, разрешены в соответствии с текущими правилами. пока они отключены по умолчанию. Компания заявляет: «Устройство должно запускать тест, как если бы это было любое другое приложение».

В заключение следует отметить, что все тесты производительности графических процессоров Huawei, полученные с использованием общедоступных тестов, не следует рассматривать как отражение фактической производительности.

Ответ: UL и Huawei опубликовали совместное заявление

В ответ на решение UL исключить Huawei P20, Huawei P20 Pro, Huawei Nova 3 и Honor Play из 3DMark, компания Huawei обратилась к UL, чтобы обсудить лучшие практики сравнительного тестирования. Вот заявление, предложенное нам:

На этой неделе Huawei и UL (создатели 3DMark) провели всестороннее обсуждение методов сравнительного тестирования и достигли положительного соглашения о следующих шагах совместной работы.

В ходе обсуждения компания Huawei пояснила, что в ее смартфонах используется искусственный интеллектуальный механизм планирования ресурсов. Поскольку разные сценарии требуют разных ресурсов, в новейших телефонах Huawei используются инновационные технологии, такие как искусственный интеллект, для оптимизировать распределение ресурсов таким образом, чтобы оборудование могло продемонстрировать свои возможности в полной мере, одновременно выполняя требования пользователей во всех сценарии.

UL понимает цель подхода Huawei, но выступает против принудительного использования «Режима производительности» по умолчанию, когда устройство обнаруживает приложение для сравнительного анализа. Правила UL требуют, чтобы устройство запускало тест, как если бы это было любое другое приложение.

Huawei уважает право потребителей выбирать, что делать со своими устройствами. Поэтому Huawei предоставит пользователям открытый доступ к «Режиму производительности» в EMUI 9.0, чтобы пользователь мог выбирать, когда использовать максимальную мощность своего устройства.

Huawei и UL также обсудили текущие общие методологии эталонного тестирования в целом. UL и Huawei хотели бы принять участие в отраслевом движении по разработке стандартов сравнительного анализа, которые лучше всего удовлетворяют потребности производителей, прессы и потребителей.

Чтобы избежать путаницы в отношении текущих результатов тестирования, после обсуждения UL и Huawei временно исключили этот тест из списка. десятков устройств Huawei и восстановит их после того, как Huawei предоставит всем пользователям телефонов Huawei доступ к Performance. Режим.