Jak spustit Llama 2 lokálně na vašem Macu nebo PC

Pokud se vám líbí myšlenka ChatGPT, Google Bard, Bing Chat, nebo kteréhokoli z dalších asistentů AI, pak můžete mít určité obavy týkající se soukromí, nákladů a podobně. To je místo, kde přichází Llama 2. Llama 2 je open-source velký jazykový model vyvinutý společností Meta a existují varianty v rozsahu od 7 miliard do 70 miliard parametrů.

Vzhledem k tomu, že se jedná o open-source LLM, můžete jej upravovat a provozovat libovolným způsobem na jakémkoli zařízení. Pokud to chcete vyzkoušet na počítači se systémem Linux, Mac nebo Windows, můžete to snadno!

Požadavky

K místnímu spuštění Llama 2 budete potřebovat následující:

• Jeden z nejlepší GPU Nvidia (na Linuxu můžete použít AMD)
• Připojení k internetu

Jak spustit Llama 2 na Macu nebo Linuxu pomocí Ollama

Pokud máte Mac, můžete použít Ollama ke spuštění Llama 2. Je to zdaleka nejjednodušší způsob, jak to udělat ze všech platforem, protože to vyžaduje minimální práci. Vše, co potřebujete, je Mac a čas na stažení LLM, protože jde o velký soubor.

Krok 1: Stáhněte si Ollama

První věc, kterou budete muset udělat, je stažení Ollama. Běží na Macu a Linuxu a usnadňuje stahování a spouštění více modelů, včetně Llama 2. Můžete jej dokonce spustit v kontejneru Docker, pokud chcete s akcelerací GPU, pokud jej chcete mít snadno nakonfigurovaný.

Jakmile je Ollama stažena, rozbalte jej do složky dle vašeho výběru a spusť to.

Krok 2: Stáhněte si model Llama 2

Jakmile je Ollama nainstalována, spusťte následující příkaz vytáhnout model Llama 2 s parametrem 13 miliard.

ollama pull llama2:13b

Může to chvíli trvat, tak tomu dejte čas na běh. Je to soubor o velikosti 7,4 GB a u některých připojení může být pomalý.

Krok 3: Spusťte Llamu 2 a komunikujte s ní

Další, spusťte následující příkaz ke spuštění a interakci s modelem.

ollama run llama2

Tím se spustí model a můžete s ním pracovat. Jsi hotový!

Jak spustit Llama 2 na Windows pomocí webového GUI

Pokud používáte počítač se systémem Windows, nemusíte si dělat starosti, protože jeho nastavení je stejně snadné, i když s více kroky! Budete moci naklonovat úložiště GitHub a spustit jej lokálně, a to je vše, co musíte udělat.

Krok 1: Stáhněte a spusťte Llama 2 Web GUI

Pokud jste obeznámeni s Stabilní difúze a spouštět jej lokálně přes webové GUI, o to v podstatě jde. GitHub úložiště webového uživatelského rozhraní pro generování textu oobabooga je tím inspirován a funguje velmi podobně.

1. Stažení výše odkazované úložiště
2. Běh start_windows.bat, start_linux.shnebo start_macos.sh podle toho, jakou platformu používáte
3. Vyberte GPU a umožnit mu nainstalovat vše, co potřebuje

Krok 2: Přístup k webovému GUI Llama 2

Z výše uvedeného můžete vidět, že vám poskytne místní IP adresu pro připojení k webovému GUI. Připojte se k němu ve svém prohlížeči a měli byste vidět webové GUI. Klikněte a seznamte se s uživatelským rozhraním. Nejprve načtete okno chatu, ale nebude fungovat, dokud nenačtete model.

Krok 3: Načtěte model Llama 2

Nyní budete muset načíst model. Bude to chvíli trvat, protože to bude nutné stáhnout, ale můžete to udělat z webového GUI.

1. Klikněte na Modelka záložka nahoře
2. Vpravo zadejte TheBloke/Llama-2-13B-chat-GPTQ a klikněte Stažení
3. Pokud se stahuje, měli byste na příkazovém řádku vidět ukazatel průběhu, jak stahuje příslušné soubory.
4. Po dokončení obnovte seznam modelů vlevo a klikněte na stažený model.
5. Klikněte Zatížení, ujistěte se, že nakladač modelu říká GPTQ-pro-LLaMa

Načtení může chvíli trvat, protože tyto modely vyžadují hodně paměti vRAM.

Krok 4: Interakce s Llamou 2!

Všechno jde dobře, nyní byste měli mít Llama 2 spuštěnou na vašem PC! Můžete s ním pracovat prostřednictvím vašeho prohlížeče v prostředí bez internetu, pokud máte hardware nezbytný k jeho spuštění. Na mém RTX 4080 s 16GB vRAM dokáže generovat rychlostí téměř 20 tokenů za sekundu, což je výrazně rychleji, než najdete u většiny bezplatných plánů pro jakékoli LLM, jako je ChatGPT nebo jiné.