როგორ გაუშვათ Llama 2 ადგილობრივად თქვენს Mac-ზე ან კომპიუტერზე

თუ მოგწონთ იდეა ChatGPT, Google Bard, Bing ჩატი, ან სხვა AI ასისტენტი, მაშინ შეიძლება გქონდეთ გარკვეული შეშფოთება კონფიდენციალურობის, ხარჯების ან სხვა საკითხებთან დაკავშირებით. სწორედ აქ შემოდის Llama 2. Llama 2 არის ღია კოდის დიდი ენის მოდელი, რომელიც შემუშავებულია Meta-ს მიერ და არსებობს ვარიანტები, რომლებიც მერყეობს 7 მილიარდიდან 70 მილიარდ პარამეტრამდე.

იმის გათვალისწინებით, რომ ეს არის ღია კოდის LLM, შეგიძლიათ შეცვალოთ იგი და გაუშვათ ის, როგორც გსურთ, ნებისმიერ მოწყობილობაზე. თუ გსურთ სცადოთ ის Linux, Mac ან Windows აპარატზე, შეგიძლიათ მარტივად!

მოთხოვნები

Llama 2-ის ლოკალურად გასაშვებად დაგჭირდებათ შემდეგი:

• Ერთერთი საუკეთესო Nvidia GPU (შეგიძლიათ გამოიყენოთ AMD Linux-ზე)
• ინტერნეტ კავშირი

როგორ გავუშვათ Llama 2 Mac-ზე ან Linux-ზე Olama-ს გამოყენებით

თუ თქვენ გაქვთ Mac, შეგიძლიათ გამოიყენოთ Ollama Llama 2-ის გასაშვებად. ეს არის ყველაზე მარტივი გზა ყველა პლატფორმიდან, რადგან ამისათვის საჭიროა მინიმალური სამუშაო. ყველაფერი რაც თქვენ გჭირდებათ არის Mac და დრო, რომ ჩამოტვირთოთ LLM, რადგან ეს დიდი ფაილია.

ნაბიჯი 1: ჩამოტვირთეთ Olama

პირველი რაც თქვენ უნდა გააკეთოთ არის ჩამოტვირთვა ოლამა. ის მუშაობს Mac-ზე და Linux-ზე და აადვილებს მრავალი მოდელის ჩამოტვირთვასა და გაშვებას, მათ შორის Llama 2-ს. თქვენ შეგიძლიათ გაუშვათ ის Docker კონტეინერში, თუ გსურთ GPU აჩქარებით, თუ გსურთ მისი მარტივად კონფიგურაცია.

ოლამას ჩამოტვირთვის შემდეგ, ამოიღეთ იგი საქაღალდეში თქვენი არჩევანით და გაუშვით.

ნაბიჯი 2: ჩამოტვირთეთ Llama 2 მოდელი

ოლამას დაყენების შემდეგ, გაუშვით შემდეგი ბრძანება გაიყვანოს 13 მილიარდი პარამეტრი Llama 2 მოდელი.

ollama pull llama2:13b

ამას შეიძლება გარკვეული დრო დასჭირდეს, ამიტომ მიეცით დრო გასაშვებად. ეს არის 7.4 GB ფაილი და შეიძლება ნელი იყოს ზოგიერთ კავშირში.

ნაბიჯი 3: გაუშვით Llama 2 და დაუკავშირდით მას

შემდეგი, გაუშვით შემდეგი ბრძანება გაშვება და მოდელთან ურთიერთობა.

ollama run llama2

ამის შემდეგ დაიწყება მოდელი და შეგიძლიათ მასთან ურთიერთობა. Მზად ხარ!

როგორ გავუშვათ Llama 2 Windows-ზე ვებ GUI-ის გამოყენებით

თუ იყენებთ Windows აპარატს, მაშინ არ არის საჭირო ინერვიულოთ, რადგან მისი დაყენება ისეთივე მარტივია, თუმცა მეტი ნაბიჯებით! თქვენ შეძლებთ GitHub საცავების კლონირებას და ადგილობრივად გაშვებას და ეს არის ყველაფერი, რაც უნდა გააკეთოთ.

ნაბიჯი 1: ჩამოტვირთეთ და გაუშვით Llama 2 Web GUI

თუ იცნობთ სტაბილური დიფუზია და ლოკალურად გაშვება ვებ GUI-ის საშუალებით, ეს არის ის, რაც ძირითადად არის. oobabooga-ს ტექსტის გენერირების Web UI GitHub საცავი შთაგონებულია ამით და მუშაობს თითქმის იგივე გზით.

1. ჩამოტვირთვა ზემოთ მიბმული საცავი
2. გაიქეცი start_windows.bat, start_linux.sh, ან start_macos.sh დამოკიდებულია იმაზე, თუ რომელ პლატფორმას იყენებთ
3. აირჩიეთ თქვენი GPU და მიეცით საშუალება დააინსტალიროს ყველაფერი, რაც მას სჭირდება

ნაბიჯი 2: წვდომა Llama 2 Web GUI-ზე

ზემოაღნიშნულიდან ხედავთ, რომ ის მოგცემთ ლოკალურ IP მისამართს ვებ GUI-სთან დასაკავშირებლად. დაუკავშირდით მას თქვენს ბრაუზერში და უნდა ნახოთ ვებ GUI. დააწკაპუნეთ გარშემო და გაეცანით ინტერფეისს. თქვენ ჯერ ჩატვირთავთ ჩეთის ფანჯარას, მაგრამ ის არ იმუშავებს სანამ არ ჩატვირთავთ მოდელს.

ნაბიჯი 3: ჩატვირთეთ Llama 2 მოდელი

ახლა მოგიწევთ მოდელის ჩატვირთვა. ამას გარკვეული დრო დასჭირდება, რადგან მისი ჩამოტვირთვა დასჭირდება, მაგრამ ამის გაკეთება შეგიძლიათ ვებ GUI-ს შიგნიდან.

1. დააწკაპუნეთ მოდელი ჩანართი ზედა
2. მარჯვნივ, შედით TheBloke/Llama-2-13B-chat-GPTQ და დააწკაპუნეთ ჩამოტვირთვა
3. თუ ის იტვირთება, თქვენ უნდა ნახოთ პროგრესის ზოლი თქვენს ბრძანების სტრიქონში, როდესაც ის ჩამოტვირთავს შესაბამის ფაილებს.
4. როდესაც ის დასრულდება, განაახლეთ მოდელების სია მარცხნივ და დააწკაპუნეთ ჩამოტვირთულ მოდელზე.
5. დააწკაპუნეთ ჩატვირთვა, დარწმუნდით, რომ მოდელის ჩამტვირთავი ამბობს GPTQ-for-LLaMa

მის ჩატვირთვას შეიძლება რამდენიმე წუთი დასჭირდეს, რადგან ამ მოდელებს ბევრი vRAM სჭირდება.

ნაბიჯი 4: ურთიერთობა Llama 2-თან!

ყველაფერი კარგად მიდის, ახლა თქვენ უნდა გქონდეთ Llama 2 გაშვებული თქვენს კომპიუტერზე! თქვენ შეგიძლიათ დაუკავშირდეთ მას თქვენი ბრაუზერის მეშვეობით ინტერნეტის გარეშე გარემოში, თუ თქვენ გაქვთ მის შესასრულებლად საჭირო აპარატურა. ჩემს RTX 4080-ზე 16 GB vRAM-ით მას შეუძლია გამოიმუშაოს თითქმის 20 ჟეტონი წამში, რაც მნიშვნელოვნად უფრო სწრაფია, ვიდრე თქვენ ნახავთ ნებისმიერ უფასო გეგმებში ნებისმიერი LLM-ისთვის, როგორიცაა ChatGPT ან სხვა.