24GB של זיכרון RAM בסמארטפון? זה לא מטורף כמו שאתה יכול לחשוב.

שמועות מסתחררות כבר זמן מה שיגיעו סמארטפונים במהלך השנה הבאה שיהיו בעלי זיכרון RAM של 24 ג'יגה-בייט ענקיים. מדובר בכמות עצומה לפי כל מדד, כאשר תצורת ה-RAM הנפוצה ביותר במחשבי גיימינג היא 16GB צנוע. בזמן הכתיבה. 24GB של זיכרון RAM נשמע כמו כמות מגוחכת, אבל, לא כשמדובר בבינה מלאכותית.

AI זולל זיכרון RAM

אם אתה מחפש להפעיל כל דגם AI בסמארטפון, הדבר הראשון שאתה צריך לדעת הוא שכדי לבצע בעצם כל מודל, אתה צריך מִגרָשׁ של זיכרון RAM. הפילוסופיה הזו היא הסיבה שאתה צריך הרבה VRAM כאשר עובדים עם יישומים כמו Stable Diffusion, וזה חל גם על מודלים מבוססי טקסט. בעיקרון, הדגמים האלה בדרך כלל יוטענו על זיכרון ה-RAM למשך כל עומס העבודה, וזה אמִגרָשׁ מהיר יותר מביצוע מאחסון.

זיכרון ה-RAM מהיר יותר מכמה סיבות, אך שתי הסיבות החשובות ביותר הן שהשהייה נמוכה יותר, מכיוון שהיא קרובה יותר למעבד, ויש לו רוחב פס גבוה יותר. יש צורך לטעון מודלים של שפה גדולה (LLM) על זיכרון RAM עקב מאפיינים אלה, אבל השאלה הבאה שבדרך כלל אחריה היא בדיוק כמה זיכרון RAM משמש בדגמים אלה.

אם Vicuna-7B היה מפעיל את Google Assistant במכשירים של אנשים בעזרת קצת עזרה משירותי ענן, היית, ב בתיאוריה, יש את כל היתרונות של LLM הפועל במכשיר עם היתרון הנוסף של איסוף נתונים מבוססי ענן.

יש הרבה שכדאי לבדוק כשמדובר בכמה LLMs שנמצאים כעת בפריסה, ואחד ששיחקתי איתו לאחרונה היה Vicuna-7B. זהו LLM מאומן על מערך נתונים של 7 מיליארד פרמטרים שניתן לפרוס בסמארטפון אנדרואיד באמצעות MLC LLM, שהיא אפליקציה אוניברסלית המסייעת בפריסת LLM. נדרשים כ-6GB של זיכרון RAM כדי ליצור איתו אינטראקציה בסמארטפון אנדרואיד. זה כמובן לא מתקדם כמו כמה LLMs אחרים בשוק כרגע, אבל זה גם פועל באופן מקומי לחלוטין ללא צורך בחיבור לאינטרנט. להקשר, השמועה היא של-GPT-4 יש 1.76 טרִילִיוֹן פרמטרים, ול-GPT-3 יש 175 מיליארד.

קוואלקום ובינה מלאכותית במכשיר

בעוד טונות של חברות דוהרות ליצור מודלים שפה גדולים משלהן (וממשקים לאינטראקציה איתם), קוואלקום התמקדה בתחום מרכזי אחד: פריסה. שירותי ענן שחברות עושות בהם שימוש בעלות מיליונים להפעיל את הצ'אטבוטים החזקים ביותר, ו-ChatGPT של OpenAI אמור להפעיל את החברה עד 700,000 דולר ל- יְוֹם. כל פריסה במכשיר שממנפת את משאבי המשתמש יכולה לחסוך הרבה כסף, במיוחד אם היא נפוצה.

קוואלקום מתייחסת לזה כ"AI היברידי", והיא משלבת את משאבי הענן והמכשיר כדי לפצל את החישוב היכן שזה הכי מתאים. זה לא יעבוד עבור הכל, אבל אם Vicuna-7B היה מפעיל את Google Assistant במכשירים של אנשים עם קצת עזרה מהענן שירותים, בתיאוריה יהיו לך את כל היתרונות של LLM הפועל על מכשיר עם היתרון הנוסף של איסוף נתונים מבוססי ענן. כך, הוא פועל באותה עלות ל-Google כמו Assistant, אך ללא כל התקורה הנוספת.

זו רק דרך אחת של AI במכשיר לעקוף את בעיית העלויות שחברות מתמודדות איתה כרגע, אבל זה המקום שבו נכנסת חומרה נוספת. במקרה של סמארטפונים, קוואלקום השוויץ בדיפוזיה יציבה על סמארטפון אנדרואיד המופעל על ידי Snapdragon 8 Gen 2, וזה משהו שהרבה מחשבים נוכחיים באמת היו נאבקים איתו. מאז, החברה הראתה את ControlNet פועלת גם במכשיר אנדרואיד. ברור שהוא הכין חומרה שמסוגלת לעומסי עבודה אינטנסיביים של בינה מלאכותית במשך זמן מה, ו-MLC LLM היא דרך שתוכל לבדוק זאת כעת.

מצילום המסך שלמעלה, שים לב שאני במצב טיסה עם Wi-Fi כבוי, וזה עדיין עובד טוב מאוד. הוא מייצר בערך חמישה אסימונים בשנייה, כאשר אסימון הוא בערך חצי מילה. לכן, הוא מייצר בערך 2.5 מילים בשנייה, וזה די מהיר למשהו כזה. זה לא מקיים אינטראקציה עם האינטרנט במצבו הנוכחי, אבל בהתחשב בכך שזה הכל קוד פתוח, חברה יכול לקחת את העבודה שנעשתה על ידי MLC LLM והצוות מאחורי מודל Vicuna-7B וליישם אותו בשימוש אחר הֶקשֵׁר.

יישומים של AI מחולל במכשיר

שוחחתי עם קארל ווילטון, מנהל בכיר לניהול מוצר בקוואלקום, שאחראי על מעבד, DSP, בנצ'מרקינג וחומרת AI. הוא סיפר לי הכל על היישומים השונים של דגמי בינה מלאכותית הפועלים על ערכות שבבים Snapdragon, והוא נתן לי מושג מה עשוי להיות אפשרי בערכות שבבים Snapdragon היום. הוא אומר לי שהסקת המיקרו-אריחים של Snapdragon 8 Gen 2 טובה להפליא עם שנאים, שבהם transformer הוא מודל שיכול לעקוב אחר יחסים בנתונים רציפים (כמו מילים במשפט) שיכול גם ללמוד ההקשר.

לשם כך, שאלתי אותו לגבי דרישות ה-RAM ששמועות כיום, והוא אמר לי שעם מודל שפה מכל סוג או קנה מידה, אתה בעצם צוֹרֶך כדי לטעון אותו ל-RAM. הוא המשיך ואמר שהוא היה מצפה שאם יצרן OEM היה מיישם משהו כזה בסביבת RAM מוגבלת יותר, סביר יותר ש הם ישתמשו במודל שפה קטן יותר, אולי יותר מיוחד, בקטע קטן יותר של זיכרון RAM מאשר פשוט להפעיל אותו מהאחסון של התקן. אחרת זה יהיה איטי בצורה אכזרית ולא תהיה חווית משתמש טובה.

דוגמה למקרה שימוש מיוחד הוא מקרה שעליו דיברה קוואלקום לאחרונה ב-Computer השנתי כנס זיהוי חזון ודפוסים - שבינה מלאכותית גנרטיבית יכולה לשמש כמאמן כושר לסוף משתמשים. לדוגמה, LLM בעל מקורקע חזותי יכול לנתח עדכון וידאו כדי לראות מה משתמש עושה, לנתח אם הוא עושה את זה לא נכון, להאכיל את תוצאה למודל שפה שיכול לבטא במילים את מה שהמשתמש עושה לא נכון, ולאחר מכן להשתמש במודל דיבור כדי להעביר את המידע הזה ל- מִשׁתַמֵשׁ.

בתיאוריה, OnePlus יכול לספק 16GB של זיכרון RAM לשימוש כללי, אבל 8GB נוספים של RAM נוסף על כך רק משמש עבור AI.

כמובן, הגורם החשוב הנוסף ב-AI במכשיר הוא הפרטיות. עם הדגמים האלה, סביר מאוד שתשתף איתם חלקים מהחיים האישיים שלך כשאתה שואל שאלות, או אפילו רק מתן גישה לבינה מלאכותית לסמארטפון שלך עשוי להדאיג אנשים. ווילטון אומר לי שכל מה שנכנס ל-SoC הוא מאובטח ביותר ושזו "אחת הסיבות" לעשות את זה במכשיר כל כך חשוב לקוואלקום.

לשם כך, קוואלקום גם הודיעה שהיא עובדת עם Meta כדי לאפשר את הקוד הפתוח של החברה Llama 2 LLM יפעל על מכשירי קוואלקום, כאשר הוא אמור להיות זמין למכשירים החל מ- 2024.

כיצד ניתן לשלב 24GB של זיכרון RAM בסמארטפון

עם הדלפות אחרונות שמצביעות על העתיד הקרוב OnePlus 12 עם זיכרון RAM של עד 16GB, אתה עשוי לתהות מה קרה לשמועות האלה של 24GB של זיכרון RAM. העניין הוא שזה לא מונע מ-OnePlus לכלול AI במכשיר, ויש לכך סיבה.

כפי שווילטון ציין לי, כשאתה שולט ב-DRAM, שום דבר לא מונע ממך לפלח את ה-RAM כך שהמערכת לא תוכל לגשת לכל זה. בתיאוריה, OnePlus יכול לספק 16GB של זיכרון RAM לשימוש כללי, אבל 8GB נוספים של RAM נוסף על כך רק משמש עבור AI. במקרה זה, לא יהיה הגיוני לפרסם אותו כחלק ממספר ה-RAM הכולל, מכיוון שהוא אינו נגיש לשאר המערכת. יתר על כן, סביר מאוד שכמות ה-RAM הזו תישאר סטטית אפילו בתצורות של 8GB או 12GB RAM מכיוון שהצרכים של AI לא ישתנו.

במילים אחרות, לא מן הנמנע של-OnePlus 12 עדיין יהיה 24GB של זיכרון RAM; רק ש-8GB אולי לא נגיש באופן מסורתי. דליפות כמו אלה שמקורן בשלב מוקדם בדרך כלל צצות מאנשים שעשויים להיות מעורבים בייצור בפועל של המכשיר, אז יכול להיות שהם עבדו עם 24GB של זיכרון RAM ולא היו מודעים לכך שניתן לשמור 8GB למטרות ספציפיות מאוד. עם זאת, זה ניחוש לגמרי מצידי, וזה ניסיון להבין את ההדלפות שבהן גם תחנת הצ'אט הדיגיטלית וגם OnLeaks יכולות שניהם תהיה צודק.

עם זאת, 24GB של זיכרון RAM הוא כמות מטורפת בסמארטפון, וכאשר תכונות כאלה מוצגות, מעולם לא היה ברור יותר שסמארטפונים הם רק מחשבים סופר חזקים שיכולים רק להפוך ליותר חָזָק.