स्मार्टफोन में 24GB रैम? यह उतना पागलपन नहीं है जितना आप सोच सकते हैं।

पिछले कुछ समय से अफवाहें उड़ रही हैं कि अगले साल ऐसे स्मार्टफोन आएंगे जिनमें 24 जीबी रैम होगी। यह किसी भी मीट्रिक के हिसाब से बहुत बड़ी रकम है, गेमिंग पीसी पर सबसे आम रैम कॉन्फ़िगरेशन 16 जीबी है लेखन के समय. 24 जीबी रैम एक हास्यास्पद राशि लगती है, लेकिन, जब एआई की बात आती है तो नहीं।

एआई रैम का भूखा है

यदि आप स्मार्टफोन पर कोई एआई मॉडल चलाना चाह रहे हैं, तो सबसे पहले आपको यह जानना होगा कि मूल रूप से किसी भी मॉडल को निष्पादित करने के लिए, आपको एक की आवश्यकता होगी बहुत रैम का. यही कारण है कि आपको इसकी बहुत आवश्यकता है वीआरएएम स्टेबल डिफ्यूजन जैसे अनुप्रयोगों के साथ काम करते समय, और यह टेक्स्ट-आधारित मॉडल पर भी लागू होता है। मूल रूप से, इन मॉडलों को आमतौर पर कार्यभार की अवधि के लिए रैम पर लोड किया जाएगा, और यह है एबहुत भंडारण से निष्पादन की तुलना में तेज़।

रैम कुछ कारणों से तेज़ है, लेकिन दो सबसे महत्वपूर्ण कारण यह है कि इसमें कम विलंबता है, क्योंकि यह सीपीयू के करीब है, और इसमें उच्च बैंडविड्थ है। इन गुणों के कारण बड़े भाषा मॉडल (एलएलएम) को रैम पर लोड करना आवश्यक है, लेकिन अगला प्रश्न जो आम तौर पर आता है वह वास्तव में है

कितना इन मॉडलों द्वारा RAM का उपयोग किया जाता है।

यदि विकुना-7बी क्लाउड सेवाओं की कुछ मदद से लोगों के उपकरणों पर Google Assistant को सशक्त बनाता, तो आप ऐसा करते। सिद्धांत, क्लाउड-आधारित डेटा एकत्र करने के अतिरिक्त लाभ के साथ डिवाइस पर चलने वाले एलएलएम के सभी लाभ हैं।

जब वर्तमान में तैनाती में कुछ एलएलएम की बात आती है, तो इसमें बहुत कुछ देखने लायक है, और एक जिसके साथ मैं हाल ही में खेल रहा हूं वह विकुना -7 बी है। यह 7 बिलियन मापदंडों के डेटासेट पर प्रशिक्षित एलएलएम है जिसे एमएलसी एलएलएम के माध्यम से एंड्रॉइड स्मार्टफोन पर तैनात किया जा सकता है, जो एक सार्वभौमिक ऐप है जो एलएलएम परिनियोजन में सहायता करता है। एंड्रॉइड स्मार्टफोन पर इसके साथ इंटरैक्ट करने के लिए लगभग 6GB RAM की आवश्यकता होती है। यह स्पष्ट रूप से अभी बाजार में उपलब्ध कुछ अन्य एलएलएम जितना उन्नत नहीं है, लेकिन यह इंटरनेट कनेक्शन की आवश्यकता के बिना भी पूरी तरह से स्थानीय रूप से चलता है। संदर्भ के लिए, यह अफवाह है कि GPT-4 में 1.76 है खरब पैरामीटर, और GPT-3 में 175 बिलियन हैं।

क्वालकॉम और ऑन-डिवाइस AI

जबकि कई कंपनियां अपने स्वयं के बड़े भाषा मॉडल (और उनके साथ बातचीत करने के लिए इंटरफेस) बनाने के लिए दौड़ रही हैं, क्वालकॉम एक प्रमुख क्षेत्र पर ध्यान केंद्रित कर रहा है: तैनाती। क्लाउड सेवाएँ जिनका उपयोग कंपनियाँ लागत पर करती हैं लाखों सबसे शक्तिशाली चैटबॉट चलाने के लिए, और कहा जाता है कि OpenAI का ChatGPT कंपनी को $700,000 प्रति तक चलाता है दिन. कोई भी ऑन-डिवाइस परिनियोजन जो उपयोगकर्ता के संसाधनों का लाभ उठाता है, बहुत सारा पैसा बचा सकता है, खासकर अगर यह व्यापक हो।

क्वालकॉम इसे "हाइब्रिड एआई" के रूप में संदर्भित करता है और यह क्लाउड और डिवाइस के संसाधनों को जोड़कर गणना को विभाजित करता है जहां यह सबसे उपयुक्त है। यह हर चीज़ के लिए काम नहीं करेगा, लेकिन अगर विकुना-7बी क्लाउड की कुछ मदद से लोगों के डिवाइस पर Google Assistant को पावर देगा सेवाएँ, सैद्धांतिक रूप से, आपको संग्रहण के अतिरिक्त लाभ के साथ एक उपकरण पर चलने वाले एलएलएम के सभी लाभ प्राप्त होंगे क्लाउड-आधारित डेटा। इस तरह, यह असिस्टेंट के समान ही Google की लागत पर चलता है, लेकिन बिना किसी अतिरिक्त ओवरहेड के।

ऑन-डिवाइस एआई उस लागत समस्या से निपटने का सिर्फ एक तरीका है जिसका कंपनियां वर्तमान में सामना कर रही हैं, लेकिन यहीं अतिरिक्त हार्डवेयर आता है। स्मार्टफोन के मामले में, क्वालकॉम स्थिर प्रसार दिखाया स्नैपड्रैगन 8 जेन 2 द्वारा संचालित एक एंड्रॉइड स्मार्टफोन पर, जो एक ऐसी चीज है जिससे बहुत सारे मौजूदा कंप्यूटर वास्तव में संघर्ष करेंगे। तब से, कंपनी ने कंट्रोलनेट को एंड्रॉइड डिवाइस पर भी चलते हुए दिखाया है। यह स्पष्ट रूप से कुछ समय से गहन एआई वर्कलोड में सक्षम हार्डवेयर तैयार कर रहा है, और एमएलसी एलएलएम एक ऐसा तरीका है जिससे आप अभी इसका परीक्षण कर सकते हैं।

उपरोक्त स्क्रीनशॉट से, ध्यान दें कि मैं हवाई जहाज मोड में हूं और वाई-फाई बंद है, और यह अभी भी बहुत अच्छी तरह से काम करता है। यह प्रति सेकंड लगभग पाँच टोकन उत्पन्न करता है, जहाँ एक टोकन लगभग आधे शब्द का होता है। इसलिए, यह प्रति सेकंड लगभग 2.5 शब्द उत्पन्न करता है, जो इस तरह की किसी चीज़ के लिए काफी तेज़ है। यह अपनी वर्तमान स्थिति में इंटरनेट के साथ इंटरैक्ट नहीं करता है, लेकिन यह देखते हुए कि यह सब खुला स्रोत है, एक कंपनी है एमएलसी एलएलएम और विकुना-7बी मॉडल के पीछे की टीम द्वारा किए गए काम को ले सकता है और इसे किसी अन्य उपयोगी तरीके से लागू कर सकता है प्रसंग।

ऑन-डिवाइस जेनरेटर एआई के अनुप्रयोग

मैंने क्वालकॉम में उत्पाद प्रबंधन के वरिष्ठ निदेशक कार्ल व्हील्टन से बात की, जो सीपीयू, डीएसपी, बेंचमार्किंग और एआई हार्डवेयर के लिए जिम्मेदार हैं। उन्होंने मुझे स्नैपड्रैगन चिपसेट पर चलने वाले एआई मॉडल के विभिन्न अनुप्रयोगों के बारे में बताया, और उन्होंने मुझे एक विचार दिया कि आज स्नैपड्रैगन चिपसेट पर क्या संभव हो सकता है। उन्होंने मुझे बताया कि स्नैपड्रैगन 8 जेन 2 की माइक्रो टाइल अनुमान ट्रांसफार्मर के साथ अविश्वसनीय रूप से अच्छा है, जहां ए ट्रांसफार्मर एक ऐसा मॉडल है जो अनुक्रमिक डेटा (जैसे वाक्य में शब्द) में रिश्तों को ट्रैक कर सकता है और सीख भी सकता है प्रसंग।

उस अंत तक, मैंने उनसे उन रैम आवश्यकताओं के बारे में पूछा जो वर्तमान में अफवाह हैं, और उन्होंने मुझे बताया कि किसी भी प्रकार या पैमाने के भाषा मॉडल के साथ, आप मूल रूप से ज़रूरत इसे RAM में लोड करने के लिए. उन्होंने आगे कहा कि उन्हें उम्मीद है कि यदि कोई ओईएम अधिक सीमित रैम वातावरण में ऐसा कुछ लागू करेगा, तो इसकी अधिक संभावना है। वे रैम के एक छोटे खंड में एक छोटे, शायद अधिक विशिष्ट भाषा मॉडल का उपयोग करेंगे, न कि इसे केवल स्टोरेज से चलाने के लिए उपकरण। अन्यथा यह बेहद धीमा होगा और अच्छा उपयोगकर्ता अनुभव नहीं होगा।

विशेष उपयोग के मामले का एक उदाहरण वह है जिसके बारे में क्वालकॉम ने हाल ही में वार्षिक कंप्यूटर में बात की थी विज़न और पैटर्न रिकग्निशन सम्मेलन - वह जेनरेटिव एआई अंततः फिटनेस कोच के रूप में कार्य कर सकता है उपयोगकर्ता. उदाहरण के लिए, एक विज़ुअली ग्राउंडेड एलएलएम एक वीडियो फ़ीड का विश्लेषण कर सकता है, फिर देख सकता है कि उपयोगकर्ता क्या कर रहा है, विश्लेषण कर सकता है कि क्या वे इसे गलत कर रहे हैं, फ़ीड कर सकते हैं परिणाम एक भाषा मॉडल है जो उपयोगकर्ता जो गलत कर रहा है उसे शब्दों में डाल सकता है, और फिर उस जानकारी को प्रसारित करने के लिए एक भाषण मॉडल का उपयोग कर सकता है उपयोगकर्ता.

सिद्धांत रूप में, वनप्लस सामान्य उपयोग के लिए 16 जीबी रैम प्रदान कर सकता है लेकिन इसके अलावा अतिरिक्त 8 जीबी रैम दी जा सकती है। केवल एआई के लिए उपयोग किया जाता है।

बेशक, ऑन-डिवाइस AI में दूसरा महत्वपूर्ण कारक गोपनीयता है। इन मॉडलों के साथ, यह बहुत संभव है कि आप प्रश्न पूछते समय अपने व्यक्तिगत जीवन के कुछ हिस्सों को उनके साथ साझा करेंगे, या यहां तक ​​​​कि अपने स्मार्टफोन को एआई एक्सेस देने से भी लोग चिंतित हो सकते हैं। व्हील्टन ने मुझे बताया कि SoC में प्रवेश करने वाली कोई भी चीज़ अत्यधिक सुरक्षित है और यह "एक कारण" है कि इसे डिवाइस पर करना क्वालकॉम के लिए बहुत महत्वपूर्ण है।

उस अंत तक, क्वालकॉम ने यह भी घोषणा की कि वह कंपनी के ओपन-सोर्स को सक्षम करने के लिए मेटा के साथ काम कर रहा है Llama 2 LLM क्वालकॉम डिवाइसों पर चलेगा, इसे शुरुआती डिवाइसों के लिए उपलब्ध कराने की योजना है 2024.

स्मार्टफोन में 24GB रैम कैसे शामिल की जा सकती है?

हालिया लीक भविष्य की ओर इशारा कर रहे हैं वनप्लस 12 में 16GB रैम तक की पैकिंग है, आप आश्चर्यचकित हो सकते हैं कि उन 24 जीबी रैम की अफवाहों का क्या हुआ। बात यह है कि यह वनप्लस को ऑन-डिवाइस एआई को शामिल करने से नहीं रोकता है, और इसका एक कारण है।

जैसा कि व्हील्टन ने मुझे बताया, जब आप DRAM को नियंत्रित करते हैं, तो आपको RAM को खंडित करने से कोई नहीं रोक सकता है ताकि सिस्टम उस तक पहुंच न सके। सिद्धांत रूप में, वनप्लस सामान्य उपयोग के लिए 16 जीबी रैम प्रदान कर सकता है लेकिन इसके अलावा अतिरिक्त 8 जीबी रैम दी जा सकती है। केवल एआई के लिए उपयोग किया जाता है। इस मामले में, इसे कुल रैम संख्या के हिस्से के रूप में विज्ञापित करने का कोई मतलब नहीं होगा, क्योंकि यह सिस्टम के बाकी हिस्सों के लिए पहुंच योग्य नहीं है। इसके अलावा, यह बहुत संभव है कि यह रैम मात्रा 8 जीबी या 12 जीबी रैम कॉन्फ़िगरेशन में भी स्थिर रहेगी क्योंकि एआई की ज़रूरतें नहीं बदलेंगी।

दूसरे शब्दों में, यह सवाल से परे नहीं है कि वनप्लस 12 में अभी भी 24 जीबी रैम होगी; यह सिर्फ इतना है कि 8GB पारंपरिक रूप से सुलभ नहीं हो सकता है। इस तरह के लीक, जो शुरुआत से ही सामने आते हैं, आमतौर पर उन लोगों से सामने आते हैं जो डिवाइस के वास्तविक उत्पादन में शामिल हो सकते हैं, तो ऐसा हो सकता है कि वे 24 जीबी रैम के साथ काम कर रहे हों और उन्हें पता न हो कि 8 जीबी को बहुत विशिष्ट उद्देश्यों के लिए आरक्षित किया जा सकता है। हालाँकि, यह मेरी ओर से पूरी तरह से अनुमान है, और यह उन लीक को समझने का एक प्रयास है जहां डिजिटल चैट स्टेशन और ओनलीक्स दोनों कर सकते हैं दोनों सही होना।

फिर भी, एक स्मार्टफोन में 24 जीबी रैम एक पागलपन भरी मात्रा है, और जैसे ही इस तरह की सुविधाएँ पेश की जाती हैं, यह पहले कभी इतना स्पष्ट नहीं हुआ कि स्मार्टफ़ोन केवल सुपर शक्तिशाली कंप्यूटर हैं जो और अधिक शक्तिशाली बन सकते हैं ताकतवर।