Как да стартирате Llama 2 локално на вашия Mac или PC

Ако харесвате идеята за ChatGPT, Google Bard, Чат в Bing, или който и да е от другите AI асистенти, тогава може да имате някои притеснения, свързани с поверителността, разходите и др. Това е мястото, където Llama 2 идва. Llama 2 е голям езиков модел с отворен код, разработен от Meta, и има варианти, вариращи от 7 милиарда до 70 милиарда параметри.

Като се има предвид, че това е LLM с отворен код, можете да го модифицирате и стартирате по какъвто начин желаете, на всяко устройство. Ако искате да го изпробвате на Linux, Mac или Windows машина, можете лесно!

Изисквания

Ще ви трябва следното, за да стартирате Llama 2 локално:

• Един от най-добрите графични процесори на Nvidia (можете да използвате AMD на Linux)
• Интернет връзка

Как да стартирате Llama 2 на Mac или Linux с помощта на Ollama

Ако имате Mac, можете да използвате Ollama, за да стартирате Llama 2. Това е най-лесният начин да го направите от всички платформи, тъй като изисква минимална работа за това. Всичко, от което се нуждаете, е Mac и време, за да изтеглите LLM, тъй като това е голям файл.

Стъпка 1: Изтеглете Ollama

Първото нещо, което ще трябва да направите е Изтегли Олама. Той работи на Mac и Linux и улеснява изтеглянето и стартирането на множество модели, включително Llama 2. Можете дори да го стартирате в Docker контейнер, ако искате с GPU ускорение, ако искате да го конфигурирате лесно.

След като Ollama бъде изтеглен, извлечете го в папка по ваш избор и стартирайте го.

Стъпка 2: Изтеглете модела Llama 2

След като Ollama бъде инсталиран, изпълнете следната команда да изтегли модела Llama 2 с 13 милиарда параметъра.

ollama pull llama2:13b

Това може да отнеме известно време, така че му дайте време да изпълни. Това е файл от 7,4 GB и може да е бавен при някои връзки.

Стъпка 3: Стартирайте Llama 2 и взаимодействайте с него

Следващия, изпълнете следната команда за стартиране и взаимодействие с модела.

ollama run llama2

Това ще стартира модела и можете да взаимодействате с него. Вие сте готови!

Как да стартирате Llama 2 на Windows с помощта на уеб GUI

Ако използвате машина с Windows, тогава няма нужда да се притеснявате, тъй като е също толкова лесна за настройка, макар и с повече стъпки! Ще можете да клонирате GitHub хранилище и да го стартирате локално и това е всичко, което трябва да направите.

Стъпка 1: Изтеглете и стартирайте Llama 2 Web GUI

Ако сте запознати с Стабилна дифузия и да го стартирате локално чрез уеб графичен потребителски интерфейс, това всъщност е това. хранилище на GitHub за уеб интерфейс за генериране на текст на oobabooga е вдъхновен от това и работи почти по същия начин.

1. Изтегли хранилището, свързано по-горе
2. Бягай start_windows.bat, start_linux.sh, или start_macos.sh в зависимост от това каква платформа използвате
3. Изберете вашия GPU и му позволи да инсталира всичко, от което се нуждае

Стъпка 2: Влезте в Llama 2 Web GUI

От горното можете да видите, че ще ви даде локален IP адрес за свързване с уеб GUI. Свържете се с него в браузъра си и трябва да видите уеб GUI. Кликнете наоколо и се запознайте с потребителския интерфейс. Първо ще сте заредили прозорец за чат, но той няма да работи, докато не заредите модел.

Стъпка 3: Заредете модел Llama 2

Сега ще трябва да заредите модел. Това ще отнеме известно време, тъй като ще трябва да го изтеглите, но можете да го направите от вътрешността на уеб GUI.

1. Щракнете върху Модел раздел в горната част
2. Отдясно влезте TheBloke/Llama-2-13B-chat-GPTQ и щракнете Изтегли
3. Ако се изтегля, трябва да видите лента за напредък в командния ред, докато изтегля съответните файлове.
4. Когато приключи, обновете списъка с модели вляво и щракнете върху изтегления модел.
5. Кликнете Заредете, като се уверите, че зареждащият модел казва GPTQ-за-LLaMa

Може да отнеме известно време, докато се зареди, тъй като тези модели изискват много vRAM.

Стъпка 4: Взаимодействайте с Llama 2!

Всичко върви добре, сега трябва да стартирате Llama 2 на вашия компютър! Можете да взаимодействате с него през браузъра си в среда без интернет, стига да имате необходимия хардуер, за да го изпълните. На моя RTX 4080 с 16 GB vRAM може да генерира почти 20 токена в секунда, което е значително по-бързо, отколкото ще намерите в повечето безплатни планове за LLM като ChatGPT или други.