Kuidas Llama 2 kohapeal Macis või PC-arvutis käitada

Kui teile meeldib idee ChatGPT, Google Bard, Bingi vestlusvõi mõne muu AI-assistendiga, siis võib teil olla muresid seoses privaatsuse, kulude või muuga. Siin tulebki mängu Llama 2. Llama 2 on avatud lähtekoodiga suur keelemudel, mille on välja töötanud Meta ja mille variante on vahemikus 7–70 miljardit parameetrit.

Arvestades, et see on avatud lähtekoodiga LLM, saate seda muuta ja käivitada mis tahes viisil, mis tahes seadmes. Kui soovite seda proovida Linuxi, Maci või Windowsi masinas, saate seda lihtsalt teha!

Nõuded

Llama 2 kohalikuks käitamiseks vajate järgmist.

• Üks neist parimad Nvidia GPU-d (saate kasutada AMD-d Linuxis)
• Interneti-ühendus

Kuidas käivitada Llama 2 Macis või Linuxis Ollama abil

Kui teil on Mac, saate Llama 2 käitamiseks kasutada Ollamat. See on kõigist platvormidest kõige lihtsam viis, kuna see nõuab minimaalselt tööd. Kõik, mida vajate, on Mac ja aeg LLM-i allalaadimiseks, kuna see on suur fail.

1. samm: laadige alla Ollama

Esimene asi, mida peate tegema, on lae alla Ollama. See töötab Macis ja Linuxis ning muudab mitme mudeli, sealhulgas Llama 2, allalaadimise ja käitamise lihtsaks. Saate seda isegi Dockeri konteineris käivitada, kui soovite GPU kiirendusega, kui soovite, et see oleks hõlpsasti konfigureeritav.

Kui Ollama on alla laaditud, ekstraktige see kausta omal valikul ja käivita see.

2. samm: laadige alla Llama 2 mudel

Kui Ollama on installitud, käivitage järgmine käsk 13 miljardi parameetriga Llama 2 mudeli tõmbamiseks.

ollama pull llama2:13b

See võib veidi aega võtta, nii et andke aega jooksmiseks. See on 7,4 GB fail ja võib mõne ühenduse puhul olla aeglane.

3. samm: käivitage Llama 2 ja suhelge sellega

Järgmiseks käivitage järgmine käsk mudeli käivitamiseks ja sellega suhtlemiseks.

ollama run llama2

Seejärel käivitatakse mudel ja saate sellega suhelda. Sa oled valmis!

Kuidas käivitada Llama 2 Windowsis veebi GUI abil

Kui kasutate Windowsi masinat, pole vaja muretseda, kuna selle seadistamine on sama lihtne, ehkki rohkemate sammudega! Saate kloonida GitHubi hoidla ja seda kohapeal käitada ning see on kõik, mida peate tegema.

1. samm: laadige alla ja käivitage Llama 2 veebi GUI

Kui olete tuttav Stabiilne difusioon ja seda kohapeal veebi GUI kaudu käivitades, see on põhimõtteliselt see. oobabooga teksti genereerimise veebiliidese GitHubi hoidla on sellest inspireeritud ja töötab väga sarnaselt.

1. Lae alla ülal lingitud hoidlast
2. Jookse start_windows.bat, start_linux.sh, või start_macos.sh olenevalt sellest, millist platvormi te kasutate
3. Valige oma GPU ja lubage tal installida kõik, mida ta vajab

2. samm: pääsete juurde Llama 2 veebi GUI-le

Ülaltoodust näete, et see annab teile veebi GUI-ga ühenduse loomiseks kohaliku IP-aadressi. Ühendage sellega oma brauseris ja peaksite nägema veebi GUI-d. Klõpsake ringi ja tutvuge kasutajaliidesega. Olete esmalt laadinud vestlusakna, kuid see ei tööta enne, kui laadite mudeli.

3. samm: laadige Llama 2 mudel

Nüüd peate mudeli laadima. See võtab veidi aega, kuna see vajab allalaadimist, kuid saate seda teha veebi GUI seest.

1. Klõpsake nuppu Mudel vahekaart ülaosas
2. Paremal sisestage TheBloke/Llama-2-13B-chat-GPTQ ja klõpsake Lae alla
3. Kui see laadib alla, peaksite vastavaid faile alla laadides nägema käsureal edenemisriba.
4. Kui see on lõppenud, värskendage vasakul olevat mudelite loendit ja klõpsake allalaaditud mudelil.
5. Klõpsake Laadige, veenduge, et mudelilaadur ütleb GPTQ-LLaMa jaoks

Selle laadimine võib võtta veidi aega, kuna need mudelid nõuavad palju vRAM-i.

4. samm: suhelge Llama 2-ga!

Kõik läheb hästi, nüüd peaks teie arvutis töötama Llama 2! Saate sellega oma brauseri kaudu suhelda ilma Internetita keskkonnas, kui teil on selle käivitamiseks vajalik riistvara. Minu RTX 4080 koos 16 GB vRAM-iga suudab genereerida peaaegu 20 märki sekundis, mis on oluliselt kiirem kui enamiku tasuta pakettide puhul mis tahes LLM-i jaoks, nagu ChatGPT või muu.