كيفية تشغيل Llama 2 محليًا على جهاز Mac أو الكمبيوتر الشخصي

إذا أعجبتك فكرة ChatGPT, جوجل بارد, دردشة بينجأو أي من مساعدي الذكاء الاصطناعي الآخرين، فقد تكون لديك بعض المخاوف المتعلقة بأمثال الخصوصية أو التكاليف أو غير ذلك. وهنا يأتي دور Llama 2. Llama 2 هو نموذج لغة كبير مفتوح المصدر تم تطويره بواسطة Meta، وهناك متغيرات تتراوح من 7 مليار إلى 70 مليار معلمة.

نظرًا لكونها LLM مفتوحة المصدر، يمكنك تعديلها وتشغيلها بأي طريقة تريدها، على أي جهاز. إذا كنت تريد تجربتها على جهاز Linux أو Mac أو Windows، فيمكنك ذلك بسهولة!

متطلبات

ستحتاج إلى ما يلي لتشغيل Llama 2 محليًا:

• واحد من أفضل وحدات معالجة الرسومات نفيديا (يمكنك استخدام AMD على Linux)
• اتصال بالإنترنت

كيفية تشغيل Llama 2 على جهاز Mac أو Linux باستخدام Ollama

إذا كان لديك جهاز Mac، فيمكنك استخدام Ollama لتشغيل Llama 2. إنها إلى حد بعيد الطريقة الأسهل للقيام بذلك من بين جميع المنصات، لأنها تتطلب الحد الأدنى من العمل للقيام بذلك. كل ما تحتاجه هو جهاز Mac ووقت لتنزيل LLM، لأنه ملف كبير.

الخطوة 1: تنزيل أولاما

أول شيء عليك القيام به هو تحميل أولاما. يعمل على نظامي التشغيل Mac وLinux ويسهل تنزيل وتشغيل نماذج متعددة، بما في ذلك Llama 2. يمكنك أيضًا تشغيله في حاوية Docker إذا كنت ترغب في ذلك باستخدام تسريع GPU إذا كنت ترغب في تكوينه بسهولة.

بمجرد تنزيل Ollama، استخراجه إلى مجلد من اختيارك و شغلها.

الخطوة 2: تنزيل نموذج Llama 2

بمجرد تثبيت Olma، قم بتشغيل الأمر التالي لسحب 13 مليار معلمة اللاما 2 نموذج.

ollama pull llama2:13b

قد يستغرق هذا بعض الوقت، لذا امنحه وقتًا للتشغيل. إنه ملف بحجم 7.4 جيجابايت وقد يكون بطيئًا في بعض الاتصالات.

الخطوة 3: قم بتشغيل Llama 2 والتفاعل معها

التالي، قم بتشغيل الأمر التالي لإطلاق النموذج والتفاعل معه.

ollama run llama2

سيؤدي هذا بعد ذلك إلى تشغيل النموذج، ويمكنك التفاعل معه. انت انتهيت!

كيفية تشغيل Llama 2 على نظام Windows باستخدام واجهة المستخدم الرسومية على الويب

إذا كنت تستخدم جهازًا يعمل بنظام التشغيل Windows، فلا داعي للقلق لأن إعداده سهل تمامًا، ولكن مع المزيد من الخطوات! ستتمكن من استنساخ مستودع GitHub وتشغيله محليًا، وهذا كل ما عليك فعله.

الخطوة 1: قم بتنزيل وتشغيل Llama 2 Web GUI

إذا كنت على دراية انتشار مستقر وتشغيله محليًا من خلال واجهة المستخدم الرسومية للويب، هذا هو الأمر الأساسي. مستودع GitHub لواجهة مستخدم الويب الخاصة بإنشاء النص في oobabooga مستوحى من ذلك ويعمل بنفس الطريقة تقريبًا.

1. تحميل المستودع المرتبط أعلاه
2. يجري start_windows.bat, start_linux.sh، أو start_macos.sh اعتمادًا على النظام الأساسي الذي تستخدمه
3. حدد GPU الخاص بك والسماح له بتثبيت كل ما يحتاجه

الخطوة 2: الوصول إلى واجهة المستخدم الرسومية للويب Llama 2

مما سبق، يمكنك أن ترى أنه سيمنحك عنوان IP محليًا للاتصال بواجهة المستخدم الرسومية للويب. اتصل به في متصفحك وسترى واجهة المستخدم الرسومية للويب. انقر حولك وتعرف على واجهة المستخدم. ستكون قد قمت أولاً بتحميل نافذة الدردشة، ولكنها لن تعمل حتى تقوم بتحميل نموذج.

الخطوة 3: قم بتحميل نموذج Llama 2

الآن سوف تحتاج إلى تحميل نموذج. سيستغرق هذا بعض الوقت لأنه سيحتاج إلى تنزيله، ولكن يمكنك القيام بذلك من داخل واجهة المستخدم الرسومية للويب.

1. انقر على نموذج علامة التبويب في الأعلى
2. على اليمين، أدخل TheBloke/Llama-2-13B-chat-GPTQ وانقر تحميل
3. إذا كان يتم التنزيل، فيجب أن تشاهد شريط التقدم في موجه الأوامر الخاص بك أثناء تنزيل الملفات ذات الصلة.
4. عند الانتهاء، قم بتحديث قائمة النماذج الموجودة على اليسار وانقر فوق النموذج الذي تم تنزيله.
5. انقر حمولة، مع التأكد من أن محمل النموذج يقول GPTQ مقابل LLaMa

قد يستغرق الأمر بعض الوقت حتى يتم التحميل، لأن هذه النماذج تتطلب قدرًا كبيرًا من ذاكرة الوصول العشوائي (vRAM).

الخطوة 4: التفاعل مع اللاما 2!

كل شيء يسير على ما يرام، يجب أن يكون لديك الآن Llama 2 قيد التشغيل على جهاز الكمبيوتر الخاص بك! يمكنك التفاعل معه من خلال متصفحك في بيئة غير متصلة بالإنترنت، طالما أن لديك الأجهزة اللازمة لتنفيذه. على جهاز RTX 4080 المزود بذاكرة vRAM بسعة 16 جيجابايت، يمكنه إنشاء ما يقرب من 20 رمزًا مميزًا في الثانية، وهو أسرع بكثير مما ستجده في معظم الخطط المجانية لأي ماجستير في إدارة الأعمال مثل ChatGPT أو غير ذلك.