Ha hallott már a Llama 2-ről, és szeretné futtatni a számítógépén, néhány ingyenes programmal könnyedén megteheti.
Gyors linkek
- Követelmények
- A Llama 2 futtatása Mac vagy Linux rendszeren az Ollama használatával
- A Llama 2 futtatása Windows rendszeren webes grafikus felület használatával
Ha tetszik az ötlet ChatGPT, Google Bard, Bing Chat, vagy bármely más mesterséges intelligencia asszisztens, akkor aggályai lehetnek az adatvédelemmel, a költségekkel vagy egyebekkel kapcsolatban. Itt jön be a Llama 2. A Llama 2 egy nyílt forráskódú nagy nyelvi modell, amelyet a Meta fejlesztett ki, és 7 milliárdtól 70 milliárd paraméterig terjedő változatai vannak.
Tekintettel arra, hogy ez egy nyílt forráskódú LLM, módosíthatja és tetszőleges módon futtathatja, bármilyen eszközön. Ha szeretnéd kipróbálni Linux, Mac vagy Windows gépen, akkor egyszerűen megteheted!
Követelmények
A Llama 2 helyi futtatásához a következőkre lesz szüksége:
- Az egyik legjobb Nvidia GPU-k (Linuxon használhatod az AMD-t)
- Internet kapcsolat
A Llama 2 futtatása Mac vagy Linux rendszeren az Ollama használatával
Ha Mac számítógépe van, az Ollama segítségével futtathatja a Llama 2-t. Az összes platform közül messze ez a legegyszerűbb módja, mivel minimális munkát igényel. Csak egy Mac-re van szüksége és időre van szüksége az LLM letöltéséhez, mivel ez egy nagy fájl.
1. lépés: Az Ollama letöltése
Az első dolog, amit meg kell tennie Letöltés Ollama. Mac és Linux rendszeren fut, és megkönnyíti több modell letöltését és futtatását, beleértve a Llama 2-t is. Akár Docker-tárolóban is futtathatja, ha GPU-gyorsítást szeretne, ha azt szeretné, hogy könnyen konfigurálható legyen.
Az Ollama letöltése után csomagolja ki egy mappába az Ön által választott és futtasd.
2. lépés: Töltse le a Llama 2 modellt
Az Ollama telepítése után futtassa a következő parancsot hogy meghúzza a 13 milliárd paraméterű Llama 2 modellt.
ollama pull llama2:13b
Ez eltarthat egy ideig, ezért hagyjon időt a futtatásra. Ez egy 7,4 GB-os fájl, és egyes kapcsolatokon lassú lehet.
3. lépés: Futtassa a Llama 2-t, és lépjen kapcsolatba vele
Következő, futtassa a következő parancsot elindítani és interakcióba lépni a modellel.
ollama run llama2
Ezzel elindítja a modellt, és kölcsönhatásba léphet vele. Végeztél!
A Llama 2 futtatása Windows rendszeren webes grafikus felület használatával
Ha Windows rendszerű gépet használ, akkor nem kell izgulnia, hiszen a beállítás ugyanolyan egyszerű, bár több lépéssel! Klónozhat egy GitHub-tárolót, és helyileg futtathatja, és csak ennyit kell tennie.
1. lépés: Töltse le és futtassa a Llama 2 webes grafikus felhasználói felületét
Ha ismeri Stabil diffúzió és helyileg webes grafikus felületen keresztül futtatva, ez lényegében erről szól. Az oobabooga szöveggeneráló webes felhasználói felületének GitHub tárháza ez ihlette, és nagyjából ugyanúgy működik.
- Letöltés a fent hivatkozott adattárat
- Fuss start_windows.bat, start_linux.sh, vagy start_macos.sh attól függően, hogy milyen platformot használ
- Válassza ki a GPU-t és lehetővé teszi, hogy mindent telepítsen, amire szüksége van
2. lépés: Nyissa meg a Llama 2 webes grafikus felületét
A fentiekből láthatja, hogy helyi IP-címet ad a webes grafikus felülethez való csatlakozáshoz. Csatlakozzon hozzá a böngészőjében, és látnia kell a webes grafikus felületet. Kattints, és ismerkedj meg a felhasználói felülettel. Először be kell töltenie egy csevegőablakot, de az nem fog működni, amíg be nem tölt egy modellt.
3. lépés: Töltsön be egy Llama 2 modellt
Most be kell töltenie egy modellt. Ez eltart egy ideig, mivel le kell töltenie, de ezt megteheti a webes grafikus felületen belülről.
- Kattints a Modell lap tetején
- A jobb oldalon lépjen be TheBloke/Llama-2-13B-chat-GPTQ és kattintson Letöltés
- Ha a letöltés folyamatban van, akkor a parancssorban egy folyamatjelző sávnak kell megjelennie, amikor letölti a megfelelő fájlokat.
- Ha elkészült, frissítse a bal oldali modelllistát, és kattintson a letöltött modellre.
- Kattintson Betöltés, győződjön meg arról, hogy a modellbetöltő azt mondja GPTQ-for-LLaMa
Eltarthat egy ideig, amíg betöltődik, mivel ezek a modellek sok vRAM-ot igényelnek.
4. lépés: Lépjen kapcsolatba a Llama 2-vel!
Minden jól megy, most már futnia kell a Llama 2-nek a számítógépén! Internet nélküli környezetben is kommunikálhat vele a böngészőn keresztül, amennyiben rendelkezik a végrehajtásához szükséges hardverrel. A 16 GB-os vRAM-mal rendelkező RTX 4080-amon csaknem 20 tokent képes generálni másodpercenként, ami lényegesen gyorsabb, mint a legtöbb ingyenes csomagban bármilyen LLM-hez, például a ChatGPT-hez vagy máshoz.