Hexagon 685 DSP של קוואלקום הוא מעצמת למידת מכונה

ה-Snapdragon 845 - המערכת-על-שבב החדשה ביותר במשפחת Snapdragon של קוואלקום - הוא תחנת כוח של מעבד. הוא מתהדר בליבות מעבד מהירות, מעבד אותות תמונה (ISP) מהדור השלישי של Spectra, וארכיטקטורה חסכונית יותר ב-30 אחוז מהדור הקודם. אבל ללא ספק הרכיב המרשים ביותר שלו הוא מעבד משותף - Hexagon 685 DSP - המותאם במיוחד לבינה מלאכותית ולמידת מכונה.

בדיוק מה גורם ל-Hexagon 685 DSP של קוואלקום לתקתק?

"מתמטיקה וקטורית היא הבסיס ללמידה עמוקה." - טראוויס לנייר, מנהל בכיר לניהול מוצר בקוואלקום

כדי להבין מה עושה את Hexagon DSP כל כך ייחודי, זה עוזר לדעת שבינה מלאכותית מונעת על ידי סוג של מקצועות הנדסה במכללות למתמטיקה המוכרות מקרוב. למידת מכונה כוללת חישוב עם וקטורים גדולים, מה שמציב אתגר עבור מעבדי סמארטפונים, טאבלטים ומחשבים אישיים. קשה לשבבים למטרות כלליות לחשב אלגוריתמים כמו ירידה בשיפוע סטוכסטי - מיני אלגוריתמים שהם בליבת אפליקציות המופעלות על ידי בינה מלאכותית - במהירות וביעילות. Hexagon DSP של קוואלקום הוצג בחלקו כדי לפתור את זה: הוא מעולה בטיפול בנתוני תמונה וחיישנים, במיוחד צילום.

אבל ה- Hexagon DSP מסוגל להרבה יותר מאשר לעצב סלפי. ההקשרים הכלולים של HVX (עוד על אלה בהמשך) נותנים לו את היתרון של מעבדים למטרות כלליות וגם של ליבות פונקציות קבועות; ה- Hexagon 685 DSP יעילות מאוד בחישוב המתמטיקה שמאחורי למידת מכונה במכשיר, אך שומר על הגמישות של מעבדים ניתנים לתכנות יותר.

שבבי בינה מלאכותית כמו Hexagon 685 DSP, המכונה לעתים "יחידות עיבוד עצביות", "מנועים עצביים", או "ליבות למידת מכונה", מותאמים במיוחד למתמטיקה של אלגוריתמי בינה מלאכותית צרכי. הם הרבה יותר קשיחים בעיצוב מאשר מעבדים מסורתיים, ומכילים הוראות וסידורים מיוחדים (במקרה של Hexagon 685 DSP, ארכיטקטורת HVX המוזכרת לעיל) שמאיצה פעולות סקלריות ווקטוריות מסוימות, אשר הופכות בולטות בקנה מידה גדול יישומים.

Hexagon 685 DSP של Snapdragon 845 יכול להתמודד עם אלפי ביטים של יחידות וקטוריות בכל מחזור עיבוד, בהשוואה למאות ביטים של ליבת המעבד הממוצעת למחזור. זה בתכנון. עם ארבעה חוטים סקלריים מקבילים עבור פעולות של מילת הוראה ארוכה מאוד (VLIW) והקשרי HVX מרובים, ה-DSP הוא מסוגל ללהטט במספר יחידות ביצוע על פי הוראה אחת ולהתלקח דרך מספר שלם ונקודה עשרונית קבועה פעולות.

במקום לדחוף ביצועים דרך MHz גולמי, העיצוב של Hexagon 685 מכוון לרמות גבוהות של עבודה בכל מחזור במהירות שעון מופחתת. הוא כולל ריבוי הליכי חומרה שעובדים היטב עבור VLIW, שכן ריבוי הליכי השחלות מסתיר זמן השהייה בצנרת מאפשר ניצול טוב יותר של מנות VLIW. ריבוי ההליכים של ה-DSP פירושו שהוא יכול לשרת מספר הפעלות של הורדה -- כלומר, אפליקציות במקביל לאודיו, מצלמה, ראייה ממוחשבת וכן הלאה -- ולהאיץ משימות שונות במקביל, ולמנוע מיישומים להילחם עליהם זמן ביצוע.

אבל אלו לא החוזקות היחידות של Hexagon DSP. ארכיטקטורת ערכת ההוראות שלו (ISA) מתהדרת ביעילות משופרת בהשוואה ל-VLIW המסורתי הודות ל- קוד בקרה משופר, והוא משתמש בתחבולות חכמים כדי לשחזר ביצועים מחוסר פעילות או תקיעה חוטים. הוא גם מיישם תזמון שרשורים בסיבוב אפס, כלומר השרשורים של ה-DSP מעבדים הוראות חדשות מיד לאחר השלמת חבילת הנתונים הקודמת.

כל זה לא חדש, שיהיה ברור. קוואלקום הציגה את 'הדור הראשון' (או הראוי) Hexagon DSP -- Hexagon 680, או QDSP6 v6 -- לצד ה-Snapdragon 820 ב-2015, וה- Hexagon 680 הוחלף על-ידי המשופר כל כך מעט משושה 682. אבל הדור האחרון הוא המתוחכם ביותר עד כה, ומספק עד פי שלושה מהביצועים הכוללים מה-DSP של Snapdragon 835.

זה בעיקר הודות ל-HVX, שעבד טוב מאוד עבור עיבוד תמונה (תחשוב על מציאות מוגברת, ראייה ממוחשבת, וידאו ותמונות). ניתן לשלוט באוגרי HVX של ה-DSP על ידי כל שניים מהאוגרים הסקלאריים, וניתן להשתמש ביחידות HVX וביחידות הסקלריות בו-זמנית, וכתוצאה מכך לרווחים משמעותיים בביצועים ובמקבילות.

הנה ההסבר של קוואלקום:

"נניח שאתה מעבד במעבד הנייד במצב קוד בקרה ואתה עובר למצב חישוב במעבד המשנה. אם אתה צריך קוד בקרה כלשהו, ​​עליך לעצור ולחזור מהמעבד המשנה למעבד הראשי. עם Hexagon, גם מעבד קוד הבקרה ב-DSP וגם מעבד הקוד החישובי ב-HVX יכולים לפעול בו-זמנית עבור צימוד הדוק של קוד בקרה וקוד חישובי. זה מאפשר ל-DSP לקחת את התוצאה של חישוב HVX ולהשתמש בה בהחלטת קוד בקרה במחזור השעון הבא."

ה-HVX מספק יתרון גדול נוסף בעיבוד חיישן תמונה. מכשירי Snapdragon עם Hexagon 685 DSP יכולים להזרים נתונים ישירות מחישן ההדמיה לזיכרון המקומי של ה-DSP (L2 Cache), תוך עקיפת בקר הזיכרון DDR של המכשיר. זה מקטין את זמן ההשהיה, כמובן, אבל גם משפר את חיי הסוללה - מעבד ה-Snapdragon תוכנן לבטל את הפעולה לאורך כל הפעולה.

הוא מותאם במיוחד עבור רשתות נקודה צפה של 16 סיביות, ונשלט על ידי תוכנת למידת מכונה של קוואלקום: Snapdragon Neural Processing Engine.

"לקחנו את זה ברצינות רבה", אמר דובר קוואלקום. "עבדנו עם שותפים בשלוש השנים האחרונות כדי שהם ישתמשו [...] בסיליקון שלנו עבור AI והדמיה."

שותפים אלה כוללים את גוגל, שהשתמשה בחלק עיבוד התמונה של Hexagon DSP כדי להפעיל את האלגוריתם HDR+ של Pixel ושל Pixel 2, למשל. בעוד שגוגל הציגה גם את Pixel Core משלהם, ראוי לציין שהמכשירים התומכים ב-Hexagon 685 DSP הם כאלה שרואים את התוצאות הטובות ביותר עם יציאת מצלמת גוגל המפורסמת, בין השאר בגלל (כפי שאישרנו) של HVX שימוש. פייסבוק, שותפה נוספת, עבדה בשיתוף פעולה הדוק עם קוואלקום כדי להאיץ את מסנני המצלמה והאפקטים בזמן אמת של Messenger.

Oppo's עשתה אופטימיזציה של טכנולוגיית פתיחת הפנים שלה עבור Hexagon 685 DSP, ולנובו פיתחה את תכונת Landmark Detection שלה סביבו.

אחת הסיבות לעושר התמיכה של הפלטפורמה היא הפשטות שלה. Hexagon SDK הנרחב של קוואלקום תומך בשפת Halide לעיבוד תמונה בעל ביצועים גבוהים, ואין צורך לדאוג לגבי מסגרות אימון למידת מכונה -- הטמעת מודל היא פשוטה כמו ביצוע קריאת API, ברוב המקרים מקרים.

"אנחנו לא [...] מתחרים עם IBM ו-Nvidia [ב-AI], אבל יש לנו תחומים שמפתחים יכולים להתחבר אליהם - וכבר יש לנו", אמרה קוואלקום ל-XDA Developers.

משושה נגד התחרות

Hexagon 685 DSP של Snapdragon 845 מגיע כאשר מספר הולך וגדל של יצרני ציוד מקורי (OEM) רודפים אחר פתרונות AI ניידים ובמכשירים משלהם. של Huawei קירין 970 -- המערכת-על-שבב בתוך חבר 10 ו Mate 10 Pro - יש "יחידת עיבוד עצבית" (NPU) שלפי הדיווחים יכולה לזהות יותר מ-2,000 תמונות בשנייה ב-1/50 בלבד מצריכת החשמל של מעבד סמארטפון ממוצע. ולמערכת Apple A11 Bionic-על-שבב באייפון 8, אייפון 8 פלוס ואייפון X יש "מנוע עצבי" שמבצע דוגמנות פנים בזמן אמת ועד 600 מיליארד פעולות בשנייה.

אבל קוואלקום אומרת שהאגנוסטיות של הפלטפורמה של המשושה נותנת לה יתרון. בניגוד לאפל ו-Huawei, שמאלצות במידה רבה מפתחים להשתמש בממשקי API קנייניים, קוואלקום ביקשה לתמוך בכמה ממסגרות הקוד הפתוח הפופולריות ביותר מההתחלה. לדוגמה, זה עבד עם גוגל כדי לבצע אופטימיזציה TensorFlow, פלטפורמת למידת המכונה של גוגל, עבור Hexagon 685 DSP -- קוואלקום טוענת שהיא פועלת עד פי שמונה מהר יותר ופי 25 ביעילות צריכת החשמל מאשר במכשירים שאינם Hexagon.

על ארכיטקטורת ה-DSP של קוואלקום, של גוגל GoogLeNet Inception Deep Neural Network -- אלגוריתם למידת מכונה שנועד להעריך את האיכות של מערכות זיהוי וסיווג אובייקטים -- הוכיח רווחים בהדגמה המציגה אפליקציית זיהוי תמונה אחת המונעת על ידי TensorFlow בשני טלפונים חכמים: אחד שמריץ את האפליקציה על המעבד, והשני שמריץ אותה על Hexagon של קוואלקום DSP. אפליקציית הסמארטפון המואצת ב-DSP תפסה יותר תמונות בשנייה, זיהתה אובייקטים מהר יותר, והייתה לה ביטחון גבוה יותר במסקנתה לגבי מהו האובייקט מאשר האפליקציה למעבד בלבד.

גוגל משתמשת גם ב- Hexagon 685 DSP כדי להאיץ את Project Tango, פלטפורמת המציאות הרבודה שלה לסמארטפונים. ה-Phab 2 Pro של לנובו, ה-ZenFone AR של אסוס ומכשירים אחרים עם מודול IR חישת עומק ומצלמות מעקב תמונה של טנגו מנצלים את היתרונות של קוואלקום ארכיטקטורת עיבוד הטרוגנית, המאצילה משימות עיבוד בין Hexagon 685 DSP של ערכת השבבים Snapdragon, רכזת החיישנים ואות התמונה מעבד (ISP). התוצאה היא תקורה של "פחות מ-10 אחוז" על המעבד של המערכת על השבב, על פי קוואלקום.

"ככל שידוע לנו, אנחנו החבר'ה הניידים היחידים בחוץ שמבצעים אופטימיזציה לביצועים ויעילות חשמל", אמר דובר קוואלקום.

כמובן, המתחרים פועלים גם להרחיב את תחום ההשפעה שלהם ולטפח תמיכת מפתחים בפלטפורמות שלהם. השבב העצבי של Kirin 970 הושק עם תמיכה ב- TensorFlow ו קפה (מסגרת ה-API הפתוחה של פייסבוק) בנוסף ל-Kirin APIs של Huawei, עם TensorFlow Lite ו קפה 2 האינטגרציה בדרך בהמשך השנה. ו-Huawei עבדה עם מיקרוסופט כדי לייעל את המתרגם המופעל על ידי AI עבור ה-Mate 10.

אבל לקוואלקום יש יתרון נוסף: Reach. יצרנית השבבים שלטה ב-42% משוק שבבי הסמארטפונים במחצית הראשונה של 2017, ואחריה Apple ו-MediaTek עם 18% כל אחת, לפי Strategy Analytics. די לומר, הוא עדיין לא רועד במגפיים.

וקוואלקום צופה שזה רק יגדל. יצרנית השבבים צופה הכנסות של 160 מיליארד דולר עד 2025 עם טכנולוגיות תוכנת בינה מלאכותית כמו ראייה ממוחשבת, ו רואה את שוק הסמארטפונים - שצפוי להגיע ל-8.6 מיליארד יחידות שנשלחו עד 2021 - כגדול ביותר פּלַטפוֹרמָה.

עם Hexagon 685 DSP ושיפורים "שלישוניים" אחרים שעושים את דרכם ללא הרף במורד הזרם לטווח הביניים חומרה, קל יותר לשבבי קוואלקום להביא למידת מכונה במכשיר לכל מיני מכשירים בסביבה הקרובה עתיד. הם גם מציעים SDK שימושי למפתחים (אין צורך להתעסק בשפת ההרכבה של DSP) כדי לנצל את ה- Hexagon 685 DSP ו-HVX ביישומים ובשירותים שלהם.

"יש צורך ביחידות העיבוד הייעודיות הללו לעיבוד עצבי, אבל אתה גם צריך להרחיב אותו, כדי שתוכל לתמוך במסגרות [קוד פתוח]", אמר דובר קוואלקום. "אם אתה לא יוצר את המערכת האקולוגית הזו, אין שום סיכוי שמפתחים יכולים ליצור עליה."