דוח קובע כי Huawei נמצאה בוגדת במדדים. UL הסירה את ה-Huawei P20/P20 Pro, Huawei Nova 3 ו-Honor Play מ-3DMark בתגובה.
בנצ'מרקים תמיד היו דרך פופולרית למדידת ביצועי החומרה, הן במחשב האישי והן בחלל הנייד. רמאות בנצ'מארק מתרחשת כאשר יצרן מכשירים מנסה לשחק בנצ'מרק באופן לא הוגן על ידי ביצוע ציון התוצאות טוב יותר ממה שהם באמת. רמאות עלולה להתרחש בכל מבחני השוואת ביצועים, כולל אלו המודדים את ביצועי המעבד, המערכת או ה-GPU. המטרה הברורה של רמאות במדדים היא כך שהלקוחות יהיו משוכנעים שמוצר א' טוב יותר ממוצר ב'. למרבה הצער, זה אומר שחולשות בסיסיות בחומרה מוסוות על ידי רמאות. במילים פשוטות, מדובר במצב של הפסד-הפסד עבור כל הצדדים המעורבים בתעשייה: ספקי שבבים, יצרני מכשירים, ובעיקר, צרכני קצה.
רמאות השתוללה בתחום המחשבים לפני יותר מעשור, אבל למרבה המזל, התרגול הסתיים ברובו. בעולם המובייל, אנדריי פרומוסאנו (כיום עורך הסלולר ב אננדטק) גילה רמאות בנצ'מרק על גרסת ה-Exynos של ה-Samsung Galaxy S4 ב-2013. ה אננדטק עורכי סלולר גילו אז סוגים שונים של רמאות בנצ'מרק שנעשו על ידי ספקי סמארטפונים רבים. לא מעט סמארטפונים גדולים כמו ה-Galaxy S4 וה-Samsung Galaxy Note 3 היו שווים
נמחק מהרשימה ממדדים כמו 3DMark, שכן חברות כמו Futuremark בחרו לקרוא בפומבי את יצרניות המכשירים.לאחר שהוזעקו ב-2013 בגין התנהגות זו, רוב יצרניות המכשירים הפסיקו את רמאות המבחן שלהן. כמה יצרני OEM כמו Meizu עדיין יש מצבי "ביצועים" בממשקי המשתמש שלהם, אבל מצבים כאלה ניתנים לרוב להגדרה על ידי המשתמש. שנה שעברה, מצאנו ראיות לכך ש-OnePlus בגד בכמה מדדים פופולריים כמו Geekbench. OnePlus הפסיק את התרגול עם נראה היה שה-OnePlus 5T, ובגדול, רמאות בנצ'מרק הפכו לנחלת העבר.
פיתוח חדש תיקן את ההנחה השגויה הזו. אננדטק עורכים אנדריי פרומוסאנו ואיאן קאטרס פרסם דו"ח פירוט מקרים מאומתים של רמאות בנצ'מרק שנעשו במדדי GPU על ידי סמארטפונים Huawei ו-Honor משנת 2018 כגון Huawei P20, Huawei P20 Pro ו-Honor Play.
תקציר: טלפונים של Huawei/Honor 2018 נתפסו בוגדים במדדי GPU
אננדטק מציין כי ב הביקורת שלהם, הביצועים של ה-Huawei P20 ירדו בהשוואה ל-Huawei Mate 10 Pro. באותו זמן, לפרסום נאמר על ידי Huawei כי מדובר בבעיית קושחה, אך במציאות, זה לא היה המקרה. הטלפונים החדשים של Huawei ו-Honor הגיעו עם א מנגנון זיהוי מדד שמאפשרת מגבלת הספק הרבה יותר גבוהה עבור ה-SoC עם מרווח ראש תרמי גבוה יותר.
כפי שהוסבר על ידי אננדטק, המשמעות היא שלאפליקציות מסוימות ברשימת ההיתרים, הטלפונים העדכניים ביותר של Huawei ו-Honor מבצעים ביצועים גבוהים בהרבה בהשוואה למה שמשתמשים יצפו מתוכנות דומות אחרות שאינן ברשימת ההיתרים. תרגול זה מביא לצריכת חשמל גבוהה יותר, יעילות נמוכה יותר וחיי סוללה מופחתים.
התוצאה נטו היא שמספרי הביצועים גבוהים ממה שהם צריכים להיות בפועל. מספרים אלו אינם מציאותיים להשגה עבור כל משתמש בתרחיש ביצועים אמיתי. הפרסום גם קובע כי היעילות של ה-SoC יורדת כאשר עושים זאת, מכיוון שהוא "נדחק היטב" מחוץ לחלון ההפעלה הסטנדרטי שלו." בסך הכל, זה גורם ל-SoC להיראות גרוע יותר למען ייחוס גבוה יותר מספרים.
אננדטק קובע כי התנהגות הייחוס של Huawei עולה על כל מה שהפרסום ראה בעבר. הפרסום השתמש במהדורות מותאמות אישית של בנצ'מרקים, כך שהם יכולים לבדוק עם מצב זיהוי מופעל וכיבוי. במילים שלהם, ההבדלים האדירים בביצועים בין המדדים הזמינים לציבור לבין הגרסאות הפנימיות שבהן הם משתמשים הם "מדהימים לחלוטין".
תגובת Huawei ל אננדטקהדיווח של
אננדטק שוחח עם ד"ר וואנג צ'נגלו, נשיא תוכנה בקבוצת הצרכנים העסקיים של Huawei. ד"ר צ'נגלו הודה שהחברה בוגדת בהשוואה כי "אחרים עושים את אותו הדבר, מקבלים ציונים גבוהים, ו-Huawei לא יכולה לשתוק".
ד"ר צ'נגלו הצהיר כי Huawei "רוצה להיפגש עם אחרים בסין כדי למצוא את רף האימות הטוב ביותר לחוויית משתמש". הוא הצביע על יצרנים אחרים של הטעיה במספרים שלהם, וציטט יצרן סמארטפונים פופולרי ללא שם בסין בתור הגדול ביותר עֲבַרְיָן. לדבריו, רמאות בנצ'מרק הופכת ל"נוהג נפוץ בסין", ובעוד Huawei רוצה "להיפתח" לצרכנים, יש להם בעיות כאשר המתחרים "מפרסמים כל הזמן ציונים לא מציאותיים." Huawei מנסה להתמודד מול התחרות הסינית הגדולה שלה, משימה שלכאורה מקשה כאשר יצרניות מכשירים אחרות מייצרות ציון לא מציאותי מספרים.
המטרה של Huawei היא סטנדרטיזציה של אמות מידה כדי ליישר את מגרש המשחקים, והם אמרו אננדטק שהם רוצים שהתקשורת תעזור. כפי ש אננדטק מציינת, עם זאת, Huawei מקדמת את זה שֶׁלוֹ ציונים לא מציאותיים לעת עתה.
התגובה של Huawei ל אננדטק הדיווח הוא זה החברה תבטיח שנתוני אמת מידה עתידיים במצגות יאומתו באופן עצמאי על ידי צדדים שלישיים בזמן ההכרזה.
אננדטקהממצאים של בפירוט
אננדטק מצאו הבדל מפתיע בציונים שהופקו על ידי הגרסאות הפנימיות שלהם של מדדי GPU בהשוואה לממדים הזמינים לציבור. הפרסום בדק את Huawei P20, Huawei P20 Pro וה-Honor Play. כל הטלפונים פעלו כמעט זהים במצב הספק גבוה יותר מכיוון שהם חולקים את אותו HiSilicon קירין 970 SoC. עם זאת, הביצועים האמיתיים של הטלפונים משתנים באופן משמעותי מכיוון שלכולם יש מגבלות תרמיות שונות. המגבלות התרמיות השונות הן בגלל עיצובי השלדה/קירור השונים שלהם, כמו אננדטק הסביר. ל-Huawei P20 Pro יש את התרמיקות הטובות ביותר (מכיוון שהוא גדול ויקר יותר מהשניים האחרים), ולכן הוא יכול, לפיכך, לתפקד טוב יותר. ביצועים אמיתיים מדינה.
נקודה חשובה שהעלה הפרסום היא ההבדל בשיטה של רמאות בנצ'מרק. מר פרומוסאנו אמר:
"בעבר ראינו ספקים למעשה מעלים את תדרי ה-SoC, או נועלים אותם למצבים המקסימליים שלהם, מה שמעלה את הביצועים מעבר למה שזמין בדרך כלל ליישומים גנריים. מה ש-Huawei עושה במקום זאת הוא להגביר את ציוני ההשוואה על ידי הגעתה מהכיוון השני - ה יישומי בנצ'מרקינג הם מקרי השימוש היחידים שבהם ה-SoC אכן מבצע את הביצועים שלו מהירויות. בינתיים, כל יישום אחר בעולם האמיתי מצטמצם במידה משמעותית מתחת למצב זה בגלל המגבלות התרמיות של החומרה. מה שאנחנו רואים בסופו של דבר עם ביצועים לא מבולבלים הוא אולי הצורה ה'אמיתית' של SoC ללא מגבלה, אם כי זה אקדמי לחלוטין בהשוואה למה שהמשתמשים חווים בפועל." - אנדריי פרומוסאנו ואיאן קאטרס, אננדטק
גרפי ההספק מוכיחים שהטלפונים החדשים ביותר של Huawei כבר מגיעים ל-3.5-4.4W במצב הביצועים האמיתי שלהם, בעוד ש-3.5W TDP הוא הכמות המקסימלית שניתן להחזיק. מצד שני, הטלפון נכנס להילוך יתר עם TDP בעת ביצוע המדדים הזמינים לציבור, כאשר נתוני הספק עוברים מעל 6W ומגיעים לשיא של 8.5W. כפי שצוין על ידי אננדטק, נתונים אלה מעוררים במהירות הודעת התחממות יתר במכשיר, מה שמסמל את חוסר ההתאמה של מגבלות תרמיות עם ציפיות תוכנה.
ההנחה כאן היא שנתוני הביצועים האמיתיים אינם יציבים מכיוון שהם תלויים בטמפרטורת הטלפון. Huawei לא חוסם את ה-GPU מלהגיע למצב שיא תדר ה-GPU שלו. התנהגות ברירת המחדל היא למעשה "מנגנון מצערת תרמית קשה [...] שינסה לשמור על רמות טמפרטורת SoC נמוכות משמעותית וצריכת החשמל הכוללת".
המצב הרגיל של הטלפונים יכול להגיע לאותם נתוני שיא צריכת החשמל במהלך מדדי ה-GPU כמו אלה שפורסמו על ידי הגרסאות הבלתי ממוזערות. עם זאת, המספרים הללו מהר לרדת אחורה משמעותית, ו אננדטק מציין שהטלפון מצטמצם ל-2.2W במקרים מסוימים, מה שמשפיע על הפחתה משמעותית בביצועים.
בפרסום נכתב כי לכאורה יש התנהגות רמאות בנצ'מרק הוצג רק במכשירים של השנה. טלפונים כמו Huawei Mate 9 ו-Huawei P10 אינם מושפעים, ונראה שרק EMUI 8.0 ומכשירים חדשים יותר מושפעים. אננדטק נאמר גם על ידי Huawei כי מדובר ב"יישום תוכנה גרידא", מה שאישש את ממצאי הפרסום.
אננדטק פרסמו נתונים אמיתיים של ביצועי GPU עבור הטלפונים המושפעים של Kirin 970, והמסקנה היא Huawei נמצאת מאחורי מתחרותיה הן בביצועי GPU והן ביעילות.
הפרסום פרסם גם גרפי השוואת צריכת חשמל עבור מכשירי Huawei המופעלים על ידי Kirin 970 ו-Kirin 960. הגרפים מראים כי התאמות מצערת הכוח של Huawei הן למעשה טובות יותר לחוויית המשתמש שכן הן מפחיתות את הבעיה של צריכת חשמל גבוהה יותר. של אננדטק בדיקות של ה-Kirin 960 הראו שיש לו "מאפייני כוח GPU איומים", בעוד של-Kirin למכשירים המונעים 970 יש מנגנון מצערת קפדני חדש להורדת צריכת החשמל ו טמפרטורות.
אננדטק מוסיף כי מדיניות המצערת החדשה הגיונית כאשר לוקחים בחשבון את העובדה שגם ה-Kirin 960 וגם Kirin 970 מציגה צריכת כוח שנמצאת הרבה מעל הרמות הקיימות שלהם עבור גורמי הצורה שלהם.
שיהיה ברור, Huawei לא טעתה בהצגת מנגנון המצערת החדש. הטעות הגדולה כאן היא אי הכללה של יישומי בנצ'מרק פופולריים דרך רשימת הלבנים, וזה מה שמכונה רמאות בנצ'מרק במקרה זה.
תגובה: ההצהרה הרשמית של Huawei
Huawei שלחה לנו את ההצהרה הבאה לגבי רמאות בנצ'מרק:
Huawei תמיד נותנת עדיפות לחוויית המשתמש במקום לרדוף אחרי ציוני אמת מידה גבוהים - במיוחד מכיוון שאין קשר ישיר בין מדדי סמארטפון לבין חוויות משתמש. סמארטפונים של Huawei משתמשים בטכנולוגיות מתקדמות כגון AI כדי לייעל את ביצועי החומרה, כולל ה-CPU, GPU ו-NPU.
כאשר מישהו משיק אפליקציית צילום או משחק במשחק עתיר גרפיקה, התוכנה החכמה של Huawei יוצרת חלק ויציב חווית משתמש על ידי יישום מלוא היכולות של החומרה, תוך ניהול בו זמנית של הטמפרטורה וההספק של המכשיר יְעִילוּת. עבור יישומים שאינם עתירי אנרגיה כמו גלישה באינטרנט, הוא יקצה רק את המשאבים הדרושים כדי לספק את הביצועים הדרושים.
בתרחישי השוואת ביצועים רגילים, ברגע שהתוכנה של Huawei מזהה יישום מידוד, היא מסתגלת בצורה חכמה ל"מצב ביצועים" ומספקת ביצועים מיטביים. Huawei מתכננת לספק למשתמשים גישה ל"מצב ביצועים" כדי שיוכלו להשתמש בעוצמה המקסימלית של המכשיר שלהם כאשר הם צריכים.
Huawei - כמובילת התעשייה - מוכנה לעבוד עם שותפים כדי למצוא את תקני ההשוואה הטובים ביותר שיכולים להעריך במדויק את חווית המשתמש.
המפתח כאן הוא שהחברה היא מתכננים לספק למשתמשים גישה ל"מצב ביצועים" (בסגנון Meizu) כך שהמשתמשים יוכלו להשתמש ב"הספק המרבי" של המכשיר שלהם "כאשר הם צריכים."
תגובה: UL מסירה את הטלפונים המושפעים של Huawei ו-Honor במדדים שלה
UL, לאחר שרכשה את Futuremark (החברה מאחורי PCMark ו-3DMark), הסירה את ה-Huawei P20, Huawei P20 Pro, Huawei Nova 3 ו-Honor Play מ-3DMark. החברה אימתה רמאות בנצ'מרק ב-Huawei P20 Pro, Huawei Nova 3 ו-Honor Play. על הבסיס של אננדטק בדיקה ודיווח, היא גם הסירה את ה-Huawei P20 הסטנדרטי. משתמשים לא יוכלו עוד לראות את תוצאות ההשוואה של הטלפונים המושפעים מכיוון שהחברה לא רוצה לארח ציוני אמת מידה מרומים.
החברה גילתה שהציונים מאפליקציית 3DMark הציבורית היו גבוהים עד 47% מהציונים מהאפליקציה הפרטית (שאינה זמינה לציבור), למרות שהבדיקות כן זֵהֶה.
בהודעה, UL הוסיפה כי היא שמחה לראות את Huawei מתחייבת לאמץ גישה שקופה יותר בעתיד. השקפתה של UL היא שמצבי ביצועים אופציונליים שניתן להגדיר על ידי המשתמש מותרים לפי הכללים הנוכחיים שלה כל עוד הם מושבתים כברירת מחדל. החברה מציינת: "מכשיר חייב להפעיל את ה-benchmark כאילו היה כל יישום אחר."
לסיכום, אין לראות את כל מדדי הביצועים של Huawei GPU שנלקחו באמצעות מדדים זמינים לציבור כייצוג של ביצועים בפועל.
תגובה: UL ו-Huawei מפרסמים הצהרה משותפת
בתגובה להחלטתה של UL למחוק את ה-Huawei P20, Huawei P20 Pro, Huawei Nova 3 ו-Honor Play מ-3DMark, Huawei פנתה ל-UL כדי לדון בשיטות העבודה המומלצות לבדיקת ביצועים. הנה ההצהרה שהוצעה לנו:
Huawei ו-UL (יוצרי 3DMark) קיימו השבוע דיונים מקיפים על שיטות השוואת ביצועים, והגיעו להסכמה חיובית לגבי הצעדים הבאים בעבודה משותפת.
בדיון, Huawei הסבירה שהסמארטפונים שלה משתמשים במנגנון תזמון משאבים אינטליגנטי מלאכותי. מכיוון שלתרחישים שונים יש צורכי משאבים שונים, מכשירי Huawei העדכניים ביותר ממנפים טכנולוגיות חדשניות כגון בינה מלאכותית כדי לייעל את הקצאת המשאבים באופן כך שהחומרה תוכל להפגין את יכולותיה במלואן, תוך מילוי דרישות המשתמש בכל תרחישים.
UL מבינה את כוונת הגישה של Huawei, אך מתנגדת לכפיית השימוש ב"מצב ביצועים" כברירת מחדל כאשר יישום השוואת ביצועים מזוהה על ידי המכשיר. כללי UL מחייבים מכשיר להפעיל את ה-benchmark כאילו היה כל יישום אחר.
Huawei מכבדת את זכותם של הצרכנים לבחור מה לעשות עם המכשירים שלהם. לכן, Huawei תספק למשתמשים גישה פתוחה ל"מצב ביצועים" ב-EMUI 9.0, כך שהמשתמש יוכל לבחור מתי להשתמש בעוצמה המקסימלית של המכשיר שלו.
Huawei ו-UL דנו גם במתודולוגיות נפוצות של בדיקות מדד נפוצות באופן כללי. UL ו-Huawei רוצות להשתתף בתנועה בתעשייה לפיתוח תקני השוואת ביצועים המשרתים בצורה הטובה ביותר את הצרכים של יצרנים, עיתונות וצרכנים.
כדי למנוע בלבול לגבי תוצאות השוואת ביצועים נוכחיות, לאחר דיון, UL ו-Huawei הסירו זמנית את המדד מספר רב של מכשירי Huawei, ויחזיר אותם לאחר ש-Huawei תעניק לכל המשתמשים במכשירי Huawei גישה לביצועים מצב.