Како да покренете Ллама 2 локално на вашем Мац-у или ПЦ-у

Ако вам се свиђа идеја о ЦхатГПТ, Гоогле Бард, Бинг Цхат, или било који други помоћник вештачке интелигенције, онда можете имати неке недоумице у вези са приватношћу, трошковима или више. Ту долази Ллама 2. Ллама 2 је велики језички модел отвореног кода који је развила Мета, а постоје варијанте у распону од 7 милијарди до 70 милијарди параметара.

С обзиром да је то ЛЛМ отвореног кода, можете га модификовати и покренути на било који начин који желите, на било ком уређају. Ако желите да га испробате на Линук, Мац или Виндовс машини, можете лако!

Захтеви

Требаће вам следеће да бисте покренули Ллама 2 локално:

• Један од најбољи Нвидиа ГПУ-ови (можете користити АМД на Линуку)
• Интернет веза

Како покренути Ллама 2 на Мац-у или Линук-у користећи Олламу

Ако имате Мац, можете користити Олламу за покретање Ллама 2. То је далеко најлакши начин да се то уради од свих платформи, јер је за то потребан минималан рад. Све што вам треба је Мац и време да преузмете ЛЛМ, јер је то велика датотека.

Корак 1: Преузмите Олламу

Прва ствар коју ћете морати да урадите је преузимање Оллама. Ради на Мац-у и Линук-у и олакшава преузимање и покретање више модела, укључујући Ллама 2. Можете га чак покренути у Доцкер контејнеру ако желите са ГПУ убрзањем ако желите да се лако конфигурише.

Када се Оллама преузме, извуците га у фасциклу по вашем избору и Покрени.

Корак 2: Преузмите модел Ллама 2

Када се Оллама инсталира, покрените следећу команду да повуче модел Ллама 2 од 13 милијарди параметара.

ollama pull llama2:13b

Ово може потрајати, па дајте времена да се покрене. То је датотека од 7,4 ГБ и може бити спора на неким везама.

Корак 3: Покрените Ллама 2 и комуницирајте са њим

Следећи, покрените следећу команду за покретање и интеракцију са моделом.

ollama run llama2

Ово ће затим покренути модел и моћи ћете да комуницирате са њим. Готови сте!

Како покренути Ллама 2 на Виндовс-у користећи веб ГУИ

Ако користите Виндовс машину, онда нема потребе да бринете јер је исто тако лако подесити, али са више корака! Моћи ћете да клонирате ГитХуб спремиште и покренете га локално, а то је све што треба да урадите.

Корак 1: Преузмите и покрените Ллама 2 веб ГУИ

Ако сте упознати са Стабле Диффусион и покретање локално преко Веб ГУИ, то је оно што је у основи. ГитХуб спремиште за генерисање текста веб корисничког интерфејса ообабоога инспирисан је тиме и ради на скоро исти начин.

1. Преузимање спремиште повезано изнад
2. Трцати старт_виндовс.бат, старт_линук.сх, или старт_мацос.сх у зависности од тога коју платформу користите
3. Изаберите свој ГПУ и дозволите му да инсталира све што му је потребно

Корак 2: Приступите Ллама 2 веб ГУИ

Из горе наведеног можете видети да ће вам дати локалну ИП адресу за повезивање на веб ГУИ. Повежите се на њега у свом претраживачу и требало би да видите веб ГУИ. Кликните около и упознајте се са корисничким интерфејсом. Прво ћете учитати прозор за ћаскање, али он неће радити док не учитате модел.

Корак 3: Учитајте Ллама 2 модел

Сада ћете морати да учитате модел. Ово ће потрајати неко време јер ће бити потребно да се преузме, али то можете учинити из веб ГУИ-ја.

1. Кликните Модел картица на врху
2. Десно, уђите ТхеБлоке/Ллама-2-13Б-цхат-ГПТК и кликните Преузимање
3. Ако се преузима, требало би да видите траку напретка у командној линији док преузима релевантне датотеке.
4. Када се заврши, освежите листу модела са леве стране и кликните на преузети модел.
5. Кликните Учитај, водећи рачуна да учитавач модела каже ГПТК-фор-ЛЛаМа

Може потрајати тренутак да се учита, јер ови модели захтевају много вРАМ-а.

Корак 4: Интеракција са Ллама 2!

Све иде добро, сада би требало да покренете Ллама 2 на вашем рачунару! Можете да комуницирате са њим преко свог претраживача у окружењу без интернета, све док имате хардвер неопходан за његово извршавање. На мом РТКС 4080 са 16 ГБ вРАМ-а може да генерише са скоро 20 токена у секунди, што је знатно брже него што ћете наћи на већини бесплатних планова за било који ЛЛМ као што је ЦхатГПТ или други.