Llama 2'yi Mac'inizde veya PC'nizde yerel olarak nasıl çalıştırabilirsiniz?

Eğer fikrini beğendiyseniz SohbetGPT, Google Ozanı, Bing Sohbetiveya diğer AI asistanlarından herhangi biriyseniz gizlilik, maliyetler veya daha fazlasıyla ilgili bazı endişeleriniz olabilir. Lama 2'nin devreye girdiği yer burasıdır. Llama 2, Meta tarafından geliştirilen açık kaynaklı büyük bir dil modeli olup, 7 milyardan 70 milyar parametreye kadar değişkenleri bulunmaktadır.

Açık kaynaklı bir LLM olduğu göz önüne alındığında, onu değiştirebilir ve istediğiniz şekilde, herhangi bir cihazda çalıştırabilirsiniz. Linux, Mac veya Windows makinede denemek istiyorsanız bunu kolayca yapabilirsiniz!

Gereksinimler

Llama 2'yi yerel olarak çalıştırmak için aşağıdakilere ihtiyacınız olacak:

• Biri En iyi Nvidia GPU'lar (AMD'yi Linux'ta kullanabilirsiniz)
• İnternet bağlantısı

Ollama kullanarak Llama 2'yi Mac veya Linux'ta çalıştırma

Mac'iniz varsa Llama 2'yi çalıştırmak için Ollama'yı kullanabilirsiniz. Minimum düzeyde çalışma gerektirdiğinden, tüm platformlar arasında bunu yapmanın açık ara en kolay yoludur. Büyük bir dosya olduğundan LLM'yi indirmek için ihtiyacınız olan tek şey bir Mac ve zamandır.

Adım 1: Ollama'yı indirin

Yapmanız gereken ilk şey indirmek Ollama. Mac ve Linux'ta çalışır ve Llama 2 de dahil olmak üzere birden fazla modeli indirip çalıştırmayı kolaylaştırır. Kolayca yapılandırılmasını istiyorsanız, GPU hızlandırmayla isterseniz bunu bir Docker kapsayıcısında bile çalıştırabilirsiniz.

Ollama indirildikten sonra, onu bir klasöre çıkart seçtiğiniz ve çalıştır.

Adım 2: Llama 2 modelini indirin

Ollama kurulduktan sonra, aşağıdaki komutu çalıştırın 13 milyar parametreli Llama 2 modelini çekmek.

ollama pull llama2:13b

Bu biraz zaman alabilir, bu yüzden çalışması için zaman tanıyın. Bu 7,4 GB boyutunda bir dosyadır ve bazı bağlantılarda yavaş olabilir.

3. Adım: Llama 2'yi çalıştırın ve onunla etkileşim kurun

Sonraki, aşağıdaki komutu çalıştırın modeli başlatmak ve onunla etkileşime geçmek için.

ollama run llama2

Bu daha sonra modeli başlatacak ve onunla etkileşime girebileceksiniz. Sen bittin!

Bir web GUI kullanarak Windows'ta Llama 2 nasıl çalıştırılır

Windows makinesi kullanıyorsanız endişelenmenize gerek yok çünkü daha fazla adımla kurulumu da aynı derecede kolay! GitHub deposunu kopyalayıp yerel olarak çalıştırabileceksiniz ve yapmanız gereken tek şey bu.

1. Adım: Llama 2 Web GUI'sini indirin ve çalıştırın

Eğer aşina iseniz Kararlı Difüzyon ve onu bir Web GUI aracılığıyla yerel olarak çalıştırmak, temelde budur. oobabooga'nın metin oluşturma Web kullanıcı arayüzü GitHub deposu bundan ilham alıyor ve hemen hemen aynı şekilde çalışıyor.

1. İndirmek yukarıda bağlantısı verilen depo
2. Koşmak start_windows.bat, start_linux.sh, veya start_macos.sh hangi platformu kullandığınıza bağlı olarak
3. GPU'nuzu seçin ve ihtiyaç duyduğu her şeyi yüklemesine izin verin

Adım 2: Llama 2 Web GUI'sine erişin

Yukarıdan, web GUI'sine bağlanmak için size yerel bir IP adresi vereceğini görebilirsiniz. Tarayıcınıza bağlandığınızda web GUI'sini görmelisiniz. Etrafı tıklayın ve kullanıcı arayüzünü tanıyın. İlk önce bir sohbet penceresi yüklemiş olacaksınız, ancak bir model yükleyene kadar çalışmayacaktır.

3. Adım: Bir Llama 2 modeli yükleyin

Şimdi bir model yüklemeniz gerekecek. İndirmesi gerekeceğinden bu biraz zaman alacaktır, ancak bunu Web GUI'sinin içinden yapabilirsiniz.

1. Tıkla Modeli üstteki sekme
2. Sağ tarafta girin TheBloke/Llama-2-13B-sohbet-GPTQ ve tıklayın İndirmek
3. İndiriliyorsa, ilgili dosyaları indirirken komut isteminizde bir ilerleme çubuğu görmelisiniz.
4. İşlem tamamlandığında soldaki model listesini yenileyin ve indirilen modele tıklayın.
5. Tıklamak Yük, model yükleyicinin şunu söylediğinden emin olun: LLaMa için GPTQ

Bu modeller çok fazla vRAM gerektirdiğinden yüklenmesi biraz zaman alabilir.

Adım 4: Llama 2 ile etkileşime geçin!

Her şey yolunda gidiyor, artık bilgisayarınızda Llama 2 çalışıyor olmalı! Çalıştırmak için gerekli donanıma sahip olduğunuz sürece, internetin olmadığı bir ortamda tarayıcınız aracılığıyla onunla etkileşime girebilirsiniz. 16 GB vRAM'e sahip RTX 4080'im saniyede yaklaşık 20 jeton üretebilir; bu, ChatGPT veya benzeri herhangi bir LLM için çoğu ücretsiz planda bulacağınızdan çok daha hızlıdır.