Akıllı telefonda 24 GB RAM mi var? Düşündüğünüz kadar çılgınca değil.

Bir süredir önümüzdeki yıl 24 GB RAM'e sahip akıllı telefonların çıkacağına dair söylentiler dolaşıyordu. Bu, herhangi bir ölçüme göre çok büyük bir miktardır; oyun bilgisayarlarındaki en yaygın RAM yapılandırması mütevazi bir 16GB'tır. bu yazının yazıldığı sırada. 24GB RAM kulağa gülünç bir miktar gibi geliyor, Ancak, konu yapay zeka olduğunda değil.

Yapay zeka RAM'e aç

Akıllı telefonda herhangi bir yapay zeka modelini çalıştırmak istiyorsanız bilmeniz gereken ilk şey, temelde herhangi bir modeli çalıştırmak için bir pay RAM'den. Bu felsefe bu yüzden çok şeye ihtiyacınız var VRAM Stable Diffusion gibi uygulamalarla çalışırken bu durum metin tabanlı modeller için de geçerlidir. Temel olarak, bu modeller genellikle iş yükü süresince RAM'e yüklenecektir ve bu Apay depolamadan yürütmekten daha hızlıdır.

RAM birkaç nedenden dolayı daha hızlıdır, ancak en önemli iki nedeni CPU'ya daha yakın olması ve daha yüksek bant genişliğine sahip olması nedeniyle gecikmenin daha düşük olmasıdır. Bu özellikler nedeniyle büyük dil modellerini (LLM) RAM'e yüklemek gerekir, ancak genellikle takip eden bir sonraki soru tam olarak

Ne kadar Bu modellerde RAM kullanılır.

Vicuna-7B, bulut hizmetlerinin yardımıyla Google Asistan'ı insanların cihazlarında çalıştıracak olsaydı, Teorik olarak, bulut tabanlı veri toplama avantajının yanı sıra, bir cihaz üzerinde çalışan bir Yüksek Lisans eğitiminin tüm avantajlarından yararlanabilirsiniz.

Şu anda dağıtımda olan bazı LLM'ler söz konusu olduğunda araştırmaya değer çok şey var ve son zamanlarda üzerinde çalıştığım bir tanesi de Vicuna-7B'di. Bu, LLM dağıtımına yardımcı olan evrensel bir uygulama olan MLC LLM aracılığıyla bir Android akıllı telefona dağıtılabilen 7 milyar parametreden oluşan bir veri kümesi üzerinde eğitilmiş bir LLM'dir. Bir Android akıllı telefonda onunla etkileşim kurmak yaklaşık 6 GB RAM gerektirir. Açıkçası şu anda piyasadaki diğer LLM'ler kadar gelişmiş değil, ancak aynı zamanda internet bağlantısına ihtiyaç duymadan tamamen yerel olarak çalışıyor. Bağlam açısından GPT-4'ün 1,76 olduğu söyleniyor trilyon parametreler ve GPT-3'te 175 milyar var.

Qualcomm ve cihaz içi yapay zeka

Tonlarca şirket kendi büyük dil modellerini (ve onlarla etkileşim kuracak arayüzleri) oluşturmak için yarışırken, Qualcomm tek bir temel alana odaklanıyor: dağıtım. Firmaların maliyetten yararlandığı bulut hizmetleri milyonlarca en güçlü sohbet robotlarını çalıştıracak ve OpenAI'nin ChatGPT'sinin şirketi yılda 700.000 dolara kadar yöneteceği söyleniyor gün. Kullanıcının kaynaklarından yararlanan herhangi bir cihaz üzeri dağıtım, özellikle de yaygınsa, çok fazla para tasarrufu sağlayabilir.

Qualcomm bunu "hibrit yapay zeka" olarak adlandırıyor ve hesaplamayı en uygun yere bölmek için bulutun ve cihazın kaynaklarını birleştiriyor. Her şeyde işe yaramayabilir, ancak Vicuna-7B, buluttan biraz yardım alarak Google Asistan'ı insanların cihazlarında çalıştıracak olsaydı hizmetleri kullanarak, teorik olarak, bir cihazda çalışan bir Yüksek Lisans eğitiminin tüm avantajlarından yararlanırsınız ve ek olarak toplama avantajına da sahip olursunuz. bulut tabanlı veriler. Bu şekilde, Google'a Asistan ile aynı maliyetle ancak herhangi bir ek masraf olmadan çalışır.

Bu, cihazdaki yapay zekanın şirketlerin şu anda karşı karşıya olduğu maliyet sorununu aşmanın yollarından yalnızca biri, ancak ek donanımın devreye girdiği yer burası. Akıllı telefonlarda Qualcomm Kararlı Difüzyonu gösterdi Snapdragon 8 Gen 2 destekli bir Android akıllı telefonda, bu da mevcut bilgisayarların çoğunun gerçekten mücadele edeceği bir şey. O zamandan beri şirket ControlNet'in bir Android cihazda da çalıştığını gösterdi. Bir süredir yoğun yapay zeka iş yüklerini karşılayabilecek donanımlar hazırladığı açık ve MLC LLM, bunu şu anda test edebileceğiniz bir yol.

Yukarıdaki ekran görüntüsünde, Wi-Fi kapalıyken uçak modunda olduğumu ve hala çok iyi çalıştığını unutmayın. Saniyede kabaca beş jeton üretir, burada bir jeton yaklaşık yarım kelimedir. Bu nedenle saniyede yaklaşık 2,5 kelime üretir ve bu da böyle bir şey için oldukça hızlıdır. Şu anki haliyle internetle etkileşime girmiyor ancak bunların hepsinin açık kaynak olduğu göz önüne alındığında, bir şirket MLC LLM ve Vicuna-7B modelinin arkasındaki ekip tarafından yapılan çalışmayı alıp başka bir faydalı modelde uygulayabilir bağlam.

Cihaz içi üretken yapay zeka uygulamaları

CPU, DSP, kıyaslama ve AI donanımından sorumlu Qualcomm'un ürün yönetimi kıdemli direktörü Karl Whealton ile konuştum. Bana Snapdragon yonga setlerinde çalışan yapay zeka modellerinin çeşitli uygulamaları hakkında her şeyi anlattı ve bugün Snapdragon yonga setlerinde nelerin mümkün olabileceğine dair bana bir fikir verdi. Bana Snapdragon 8 Gen 2'nin mikro döşeme çıkarımının transformatörlerle inanılmaz derecede iyi olduğunu söyledi. transformatör, sıralı verilerdeki (bir cümledeki kelimeler gibi) ilişkileri izleyebilen ve aynı zamanda öğrenebilen bir modeldir. bağlam.

Bu amaçla ona şu anda söylentiler arasında yer alan RAM gereksinimlerini sordum ve o da bana herhangi bir tür veya ölçekteki dil modeliyle temel olarak ihtiyaç RAM'e yüklemek için. Bir OEM'in böyle bir şeyi daha sınırlı bir RAM ortamında uygulaması durumunda bunun daha muhtemel olacağını beklediğini söyledi. RAM'in daha küçük bir bölümünde, onu basitçe RAM'in deposundan çalıştırmak yerine daha küçük, belki de daha özelleştirilmiş bir dil modeli kullanacaklardı. cihaz. Aksi takdirde son derece yavaş olurdu ve iyi bir kullanıcı deneyimi olmazdı.

Özel bir kullanım senaryosuna örnek olarak Qualcomm'un geçtiğimiz günlerde yıllık Bilgisayar Fuarı'nda bahsettiği örnek gösterilebilir. Vizyon ve Örüntü Tanıma konferansı — üretken yapay zekanın nihai olarak bir fitness koçu olarak hareket edebileceği kullanıcılar. Örneğin, görsel olarak temellendirilmiş bir Yüksek Lisans, bir video yayınını analiz ederek kullanıcının ne yaptığını görebilir, yanlış yapıp yapmadığını analiz edebilir, Kullanıcının yanlış yaptığını kelimelere dökebilen ve daha sonra bu bilgiyi kullanıcıya iletmek için bir konuşma modeli kullanan bir dil modeli ortaya çıkar. kullanıcı.

Teorik olarak, OnePlus genel kullanım için 16 GB RAM sağlayabilir ancak bunun üzerine ek olarak 8 GB RAM daha sağlayabilir. sadece AI için kullanılır.

Elbette cihaz içi yapay zekadaki diğer önemli faktör gizliliktir. Bu modellerle, soru sorarken kişisel hayatınızın bir bölümünü onlarla paylaşıyor olmanız çok muhtemeldir, hatta akıllı telefonunuza sadece AI erişimi vermek bile insanları endişelendirebilir. Whealton bana SoC'ye giren her şeyin son derece güvenli olduğunu ve bunu cihazda yapmanın Qualcomm için çok önemli olmasının "nedenlerinden biri" olduğunu söyledi.

Bu amaçla Qualcomm, şirketin açık kaynak kodlu sürümünü etkinleştirmek için Meta ile çalıştığını da duyurdu. Llama 2 LLM, Qualcomm cihazlarda çalışacak ve şu tarihten itibaren cihazların kullanımına sunulması planlanıyor: 2024.

Bir akıllı telefona 24 GB RAM nasıl dahil edilebilir?

Son sızıntılar önümüzdeki döneme işaret ediyor OnePlus 12, 16 GB'a kadar RAM paketi24GB RAM söylentilerine ne olduğunu merak edebilirsiniz. Mesele şu ki bu, OnePlus'ın cihaza yapay zeka eklemesini engellemiyor ve bunun bir nedeni var.

Whealton'un bana belirttiği gibi, DRAM'i kontrol ettiğinizde, sistemin tamamına erişememesi için RAM'i bölümlere ayırmanızı engelleyen hiçbir şey yoktur. Teorik olarak, OnePlus genel kullanım için 16 GB RAM sağlayabilir ancak bunun üzerine ek olarak 8 GB RAM daha sağlayabilir. sadece AI için kullanılır. Bu durumda, sistemin geri kalanı tarafından erişilemeyeceğinden, bunu toplam RAM sayısının bir parçası olarak tanıtmak mantıklı olmayacaktır. Üstelik yapay zekanın ihtiyaçları değişmeyeceği için bu RAM miktarının 8GB veya 12GB RAM konfigürasyonlarında bile sabit kalması çok muhtemel.

Yani OnePlus 12'nin hâlâ 24 GB RAM'e sahip olması söz konusu değil; sadece 8GB'a geleneksel olarak erişilemeyebilir. Bunun gibi erken dönemde meydana gelen sızıntılar, genellikle cihazın fiili üretiminde yer alan kişilerden ortaya çıkar. dolayısıyla 24 GB RAM ile çalışıyor olabilirler ve 8 GB'ın çok özel amaçlar için ayrılabileceğinin farkında olmayabilirler. Ancak bu benim açımdan tamamen bir tahmin ve hem Digital Chat Station hem de OnLeaks'in yapabileceği sızıntıları anlama çabası. ikisi birden haklı olmak.

Bununla birlikte, 24 GB RAM bir akıllı telefon için çılgınca bir miktardır ve bunun gibi özellikler tanıtıldıkça, Akıllı telefonların sadece süper güçlü bilgisayarlar olduğu ve daha da fazlası haline gelebileceği hiç bu kadar açık olmamıştı. güçlü.