A Llama 2 helyi futtatása Mac-en vagy PC-n

Ha tetszik az ötlet ChatGPT, Google Bard, Bing Chat, vagy bármely más mesterséges intelligencia asszisztens, akkor aggályai lehetnek az adatvédelemmel, a költségekkel vagy egyebekkel kapcsolatban. Itt jön be a Llama 2. A Llama 2 egy nyílt forráskódú nagy nyelvi modell, amelyet a Meta fejlesztett ki, és 7 milliárdtól 70 milliárd paraméterig terjedő változatai vannak.

Tekintettel arra, hogy ez egy nyílt forráskódú LLM, módosíthatja és tetszőleges módon futtathatja, bármilyen eszközön. Ha szeretnéd kipróbálni Linux, Mac vagy Windows gépen, akkor egyszerűen megteheted!

Követelmények

A Llama 2 helyi futtatásához a következőkre lesz szüksége:

• Az egyik legjobb Nvidia GPU-k (Linuxon használhatod az AMD-t)
• Internet kapcsolat

A Llama 2 futtatása Mac vagy Linux rendszeren az Ollama használatával

Ha Mac számítógépe van, az Ollama segítségével futtathatja a Llama 2-t. Az összes platform közül messze ez a legegyszerűbb módja, mivel minimális munkát igényel. Csak egy Mac-re van szüksége és időre van szüksége az LLM letöltéséhez, mivel ez egy nagy fájl.

1. lépés: Az Ollama letöltése

Az első dolog, amit meg kell tennie Letöltés Ollama. Mac és Linux rendszeren fut, és megkönnyíti több modell letöltését és futtatását, beleértve a Llama 2-t is. Akár Docker-tárolóban is futtathatja, ha GPU-gyorsítást szeretne, ha azt szeretné, hogy könnyen konfigurálható legyen.

Az Ollama letöltése után csomagolja ki egy mappába az Ön által választott és futtasd.

2. lépés: Töltse le a Llama 2 modellt

Az Ollama telepítése után futtassa a következő parancsot hogy meghúzza a 13 milliárd paraméterű Llama 2 modellt.

ollama pull llama2:13b

Ez eltarthat egy ideig, ezért hagyjon időt a futtatásra. Ez egy 7,4 GB-os fájl, és egyes kapcsolatokon lassú lehet.

3. lépés: Futtassa a Llama 2-t, és lépjen kapcsolatba vele

Következő, futtassa a következő parancsot elindítani és interakcióba lépni a modellel.

ollama run llama2

Ezzel elindítja a modellt, és kölcsönhatásba léphet vele. Végeztél!

A Llama 2 futtatása Windows rendszeren webes grafikus felület használatával

Ha Windows rendszerű gépet használ, akkor nem kell izgulnia, hiszen a beállítás ugyanolyan egyszerű, bár több lépéssel! Klónozhat egy GitHub-tárolót, és helyileg futtathatja, és csak ennyit kell tennie.

1. lépés: Töltse le és futtassa a Llama 2 webes grafikus felhasználói felületét

Ha ismeri Stabil diffúzió és helyileg webes grafikus felületen keresztül futtatva, ez lényegében erről szól. Az oobabooga szöveggeneráló webes felhasználói felületének GitHub tárháza ez ihlette, és nagyjából ugyanúgy működik.

1. Letöltés a fent hivatkozott adattárat
2. Fuss start_windows.bat, start_linux.sh, vagy start_macos.sh attól függően, hogy milyen platformot használ
3. Válassza ki a GPU-t és lehetővé teszi, hogy mindent telepítsen, amire szüksége van

2. lépés: Nyissa meg a Llama 2 webes grafikus felületét

A fentiekből láthatja, hogy helyi IP-címet ad a webes grafikus felülethez való csatlakozáshoz. Csatlakozzon hozzá a böngészőjében, és látnia kell a webes grafikus felületet. Kattints, és ismerkedj meg a felhasználói felülettel. Először be kell töltenie egy csevegőablakot, de az nem fog működni, amíg be nem tölt egy modellt.

3. lépés: Töltsön be egy Llama 2 modellt

Most be kell töltenie egy modellt. Ez eltart egy ideig, mivel le kell töltenie, de ezt megteheti a webes grafikus felületen belülről.

1. Kattints a Modell lap tetején
2. A jobb oldalon lépjen be TheBloke/Llama-2-13B-chat-GPTQ és kattintson Letöltés
3. Ha a letöltés folyamatban van, akkor a parancssorban egy folyamatjelző sávnak kell megjelennie, amikor letölti a megfelelő fájlokat.
4. Ha elkészült, frissítse a bal oldali modelllistát, és kattintson a letöltött modellre.
5. Kattintson Betöltés, győződjön meg arról, hogy a modellbetöltő azt mondja GPTQ-for-LLaMa

Eltarthat egy ideig, amíg betöltődik, mivel ezek a modellek sok vRAM-ot igényelnek.

4. lépés: Lépjen kapcsolatba a Llama 2-vel!

Minden jól megy, most már futnia kell a Llama 2-nek a számítógépén! Internet nélküli környezetben is kommunikálhat vele a böngészőn keresztül, amennyiben rendelkezik a végrehajtásához szükséges hardverrel. A 16 GB-os vRAM-mal rendelkező RTX 4080-amon csaknem 20 tokent képes generálni másodpercenként, ami lényegesen gyorsabb, mint a legtöbb ingyenes csomagban bármilyen LLM-hez, például a ChatGPT-hez vagy máshoz.