AnTuTu, המפתח שמאחורי אפליקציית הבנצ'מרקינג הפופולרית, פרסמה אמת מידה לבדיקה ומדידת ביצועי AI של סמארטפונים. תמשיך לקרוא!
בשנים האחרונות ראינו יותר ויותר חברות מתמקדות ב-AI (בינה מלאכותית) כאמצעי להבדיל בין המוצר שלהן מהמתחרים. השימושים בבינה מלאכותית נעים בין הבנת פקודות קוליות לזיהוי תרחישים וכלה בביצוע פקודות ישירות, ובכך הופך את הצורך להפחית את החיכוך בין לקוח לשירות. בגלל הפופולריות המתפרצת שלה, בינה מלאכותית נמצאת כיום בשימוש לרעה כמילת באז, והגיע הזמן שתוקם מערכת כלשהי למדידת פונקציונליות זו.
AnTuTu, הידועה באפליקציית הבנצ'מרק הפופולרית שלה, לקחה על עצמה לספק סטנדרט שניתן לכמת לכולם כדי לשפוט את ההבדל בביצועי AI של פלטפורמות שונות. כדי לקבוע את אבני היסוד למטרה זו, AnTuTu עבדה עם יצרני שבבים כדי לשחרר אפליקציית בנצ'מרקינג בשם "AI Review" המתמקדת במדידת ביצועי AI של סמארטפונים.
הורד את Benchmark של AnTuTu של סקירת AI
פוסט הבלוג של AnTuTu עבור סקירת AI מתחיל בהצבעה על הקשיים במדידת משהו עצום כמו בינה מלאכותית. נכון לעכשיו בגזרת הסמארטפונים, לא קיים שום תקן מאוחד ל-AI, שבתורו הובילה למצב שבו לכל יצרן שבבים יש הבנה ויישום משלו AI. קוואלקום מטפלת בכמה פעולות בינה מלאכותית באמצעות ה- Hexagon DSP; HiSilicon של Huawei מטפל בזה באמצעות NPU עצמאי; סמסונג ו-MediaTek מטפלות גם בפעולות AI באמצעות שבבים ייעודיים המכונים NPU ו-APU בהתאמה. המצב הזה מסובך עוד יותר בגלל הסינרגיה בין החומרה לתוכנה, שהיא חיונית לביצועי AI אפקטיביים. כל ספק מספק SDK משלו עבור AI -- לקוואלקום יש SNPE, ל- MediaTek יש NeuroPilot, ל- HiSilicon יש HiAI, וכן הלאה.
מדד ה-AI Review של AnTuTu מחולק לשתי קטגוריות משנה: סיווג תמונה וזיהוי אובייקטים. מבחן סיווג תמונה סוקר נתוני בדיקה הכוללים 200 תמונות, ומבוסס על Inception v3 neural רשת, בעוד מבחן זיהוי האובייקט סוקר סרטון וידאו של 600 פריימים ומבוסס על ה- SSD העצבי של MobileNet רֶשֶׁת. רשתות עצביות אלו מתורגמות לאחר מכן לרשת העצבית הנתמכת על ידי היצרן באמצעות ה-SDK שסופק על ידי הספק. אם השבב אינו תומך באלגוריתמים הקשורים לבינה מלאכותית, אפליקציית הבנצ'מרק משתמשת ב-TFLite לצורך ביצוע השוואת ביצועים, שאת תוצאותיו מזהירים AnTuTu עצמם כלא מספקים ואינם אמינים.
ניקוד המבחן קשור ישירות הן למהירות והן לדיוק. אם הדיוק מוחלף למהירות, AnTuTu מקצה עונשים לניקוד. זה ימנע רמאות ברמת הבינה המלאכותית שהייתה מסתמכת על מתן תוצאות מהירות אך שגויות.
AnTuTu גם קבעה כמה הערות מיוחדות לשימוש באפליקציה שלה. לפלטפורמות שמשתמשות באותו מעבד AI לא סביר שיהיו פערי ציון גדולים מכיוון שהמדד לא פשוט בודק ביצועים, אבל מתמקד ב ביצועי AI. סמסונג עדיין לא פרסמה את ה-AI SDK שלה, ו-HiSilicon משתמשת ב-TFLite עבור פונקציות מסוימות, מה שאומר שהציונים שלהם יהיו נמוכים עד שהמצבים האלה ישתפרו. גם לגרסת האנדרואיד הבסיסית של המכשיר תהיה השפעה על הציון מכיוון שגוגל עצמה עשתה אופטימיזציה של התמיכה ב-AI ברמת המערכת.
אפילו מהפוסט בבלוג של AnTuTu עצמו, ברור שהמטרה ל מידה ביצועים מבוססי בינה מלאכותית עשויים שלא להיות אפשריים פשוט על ידי רתיחה למספר. ישנם הרבה משתנים המעורבים בחישוב מבוסס AI, מה שמוסיף עוד שכבה של מורכבות לאינטראקציה המורכבת ממילא בין פתרונות חומרה ותוכנה שונים. הציון המספרי הייחודי שייצא מפעילות בנצ'מרק לא יעשה צדק עם הניואנסים הכרוכים בעולם הבינה המלאכותית. אז למרות שאתה עשוי להסתכל על הציון שלך ולהרגיש מדד של גאווה, דע שאנחנו עדיין בשלבים מוקדמים יחסית של AI, ועוד יותר מכך, של בנצ'מרקינג בינה מלאכותית.
אם אתה מעוניין לקרוא עוד על AI, בנצ'מרקינג בינה מלאכותית והאתגרים הכרוכים בכך, בדוק את הראיון שלנו עם קוואלקום טרוויס לנייר ו גארי ברוטמן וזיאד אסגר.
מקור: AnTuTu