अपने मैक या पीसी पर लामा 2 को स्थानीय रूप से कैसे चलाएं

अगर आपको ये विचार पसंद आया चैटजीपीटी, गूगल बार्ड, बिंग चैट, या कोई अन्य एआई सहायक, तो आपको गोपनीयता, लागत, या अधिक जैसी कुछ चिंताएं हो सकती हैं। यहीं पर लामा 2 आता है। लामा 2 मेटा द्वारा विकसित एक ओपन-सोर्स बड़ा भाषा मॉडल है, और इसमें 7 बिलियन से 70 बिलियन पैरामीटर तक के वेरिएंट हैं।

यह देखते हुए कि यह एक ओपन-सोर्स एलएलएम है, आप इसे संशोधित कर सकते हैं और किसी भी डिवाइस पर अपनी इच्छानुसार चला सकते हैं। यदि आप इसे Linux, Mac, या Windows मशीन पर आज़माना चाहते हैं, तो आप आसानी से कर सकते हैं!

आवश्यकताएं

लामा 2 को स्थानीय रूप से चलाने के लिए आपको निम्नलिखित की आवश्यकता होगी:

• निम्न में से एक सर्वश्रेष्ठ एनवीडिया जीपीयू (आप Linux पर AMD का उपयोग कर सकते हैं)
• एक इंटरनेट कनेक्शन

ओलामा का उपयोग करके मैक या लिनक्स पर लामा 2 कैसे चलाएं

यदि आपके पास मैक है, तो आप लामा 2 चलाने के लिए ओलामा का उपयोग कर सकते हैं। यह अब तक सभी प्लेटफार्मों पर ऐसा करने का सबसे आसान तरीका है, क्योंकि ऐसा करने के लिए न्यूनतम काम की आवश्यकता होती है। एलएलएम डाउनलोड करने के लिए आपको बस एक मैक और समय की आवश्यकता है, क्योंकि यह एक बड़ी फ़ाइल है।

चरण 1: ओलामा डाउनलोड करें

पहली चीज़ जो आपको करनी होगी वह है डाउनलोड करना ओलामा. यह मैक और लिनक्स पर चलता है और लामा 2 सहित कई मॉडलों को डाउनलोड करना और चलाना आसान बनाता है। यदि आप इसे आसानी से कॉन्फ़िगर करना चाहते हैं तो आप इसे GPU त्वरण के साथ डॉकर कंटेनर में भी चला सकते हैं।

एक बार ओलामा डाउनलोड हो जाए, इसे एक फ़ोल्डर में निकालें आपकी पसंद का और इसे चलाने के लिए.

चरण 2: लामा 2 मॉडल डाउनलोड करें

एक बार ओलामा स्थापित हो जाए, निम्न आदेश चलाएँ 13 बिलियन पैरामीटर लामा 2 मॉडल को खींचने के लिए।

ollama pull llama2:13b

इसमें कुछ समय लग सकता है, इसलिए इसे चलने का समय दें। यह 7.4GB फ़ाइल है और कुछ कनेक्शनों पर धीमी हो सकती है।

चरण 3: लामा 2 चलाएँ और उसके साथ इंटरैक्ट करें

अगला, निम्न आदेश चलाएँ मॉडल को लॉन्च करना और उसके साथ इंटरैक्ट करना।

ollama run llama2

इसके बाद मॉडल लॉन्च होगा और आप इसके साथ इंटरैक्ट कर सकते हैं। हो गया!

वेब जीयूआई का उपयोग करके विंडोज़ पर लामा 2 कैसे चलाएं

यदि आप विंडोज़ मशीन का उपयोग कर रहे हैं, तो परेशान होने की कोई आवश्यकता नहीं है क्योंकि इसे स्थापित करना उतना ही आसान है, हालांकि अधिक चरणों के साथ! आप GitHub रिपॉजिटरी को क्लोन करने और इसे स्थानीय रूप से चलाने में सक्षम होंगे, और आपको बस इतना ही करना होगा।

चरण 1: लामा 2 वेब जीयूआई डाउनलोड करें और चलाएं

यदि आप परिचित हैं स्थिर प्रसार और इसे वेब जीयूआई के माध्यम से स्थानीय रूप से चलाना, मूलतः यही है। ओबाबूगा की टेक्स्ट जनरेशन वेब यूआई गिटहब रिपॉजिटरी उसी से प्रेरित है और बिल्कुल उसी तरह से काम करता है।

1. डाउनलोड करना ऊपर लिंक किया गया भंडार
2. दौड़ना प्रारंभ_विंडोज़.बैट, प्रारंभ_linux.sh, या प्रारंभ_मैकओएस.श यह इस पर निर्भर करता है कि आप किस प्लेटफ़ॉर्म का उपयोग कर रहे हैं
3. अपना जीपीयू चुनें और इसे वह सब कुछ स्थापित करने की अनुमति दें जिसकी उसे आवश्यकता है

चरण 2: लामा 2 वेब जीयूआई तक पहुंचें

ऊपर से, आप देख सकते हैं कि यह आपको वेब जीयूआई से कनेक्ट करने के लिए एक स्थानीय आईपी पता देगा। इसे अपने ब्राउज़र में कनेक्ट करें और आपको वेब GUI देखना चाहिए। चारों ओर क्लिक करें और यूआई से परिचित हों। आपने पहले एक चैट विंडो लोड की होगी, लेकिन यह तब तक काम नहीं करेगा जब तक आप कोई मॉडल लोड नहीं करते।

चरण 3: लामा 2 मॉडल लोड करें

अब आपको एक मॉडल लोड करना होगा. इसमें कुछ समय लगेगा क्योंकि इसे डाउनलोड करने की आवश्यकता होगी, लेकिन आप इसे वेब जीयूआई के अंदर से कर सकते हैं।

1. क्लिक करें नमूना शीर्ष पर टैब
2. दाईं ओर, दर्ज करें द ब्लोक/लामा-2-13बी-चैट-जीपीटीक्यू और क्लिक करें डाउनलोड करना
3. यदि यह डाउनलोड हो रहा है, तो आपको अपने कमांड प्रॉम्प्ट में एक प्रगति बार देखना चाहिए क्योंकि यह संबंधित फ़ाइलों को डाउनलोड करता है।
4. जब यह समाप्त हो जाए, तो बाईं ओर मॉडल सूची को ताज़ा करें और डाउनलोड किए गए मॉडल पर क्लिक करें।
5. क्लिक भार, सुनिश्चित करें कि मॉडल लोडर कहता है जीपीटीक्यू-फॉर-एलएलएएमए

इसे लोड होने में कुछ समय लग सकता है, क्योंकि इन मॉडलों को बहुत अधिक vRAM की आवश्यकता होती है।

चरण 4: लामा 2 के साथ बातचीत करें!

सब कुछ ठीक चल रहा है, अब आपके पीसी पर लामा 2 चलना चाहिए! आप बिना इंटरनेट वाले वातावरण में अपने ब्राउज़र के माध्यम से इसके साथ इंटरैक्ट कर सकते हैं, जब तक आपके पास इसे निष्पादित करने के लिए आवश्यक हार्डवेयर है। मेरे आरटीएक्स 4080 पर 16 जीबी वीआरएएम के साथ यह लगभग 20 टोकन प्रति सेकंड पर उत्पन्न हो सकता है, जो कि चैटजीपीटी या अन्य किसी भी एलएलएम के लिए अधिकांश मुफ्त योजनाओं की तुलना में काफी तेज है।