Nu este prea exagerat să luăm în considerare că 24 GB de RAM va fi norma pentru smartphone-uri în viitor și asta se datorează inteligenței artificiale.
Zvonurile se învârte de ceva vreme acum că vor exista smartphone-uri în cursul anului viitor care vor avea 24 GB de memorie RAM uimitoare. Aceasta este o sumă uriașă în funcție de orice măsură, cea mai comună configurație RAM pe PC-urile de gaming fiind de 16 GB. la momentul scrierii. 24 GB de RAM sună ca o cantitate ridicolă, dar, nu când vine vorba de AI.
AI-ul este amanat de RAM
Dacă doriți să rulați orice model AI pe un smartphone, primul lucru pe care trebuie să-l știți este că pentru a executa practic orice model, aveți nevoie de un lot de RAM. Această filozofie este motivul pentru care aveți nevoie de multe VRAM atunci când lucrați cu aplicații precum Stable Diffusion și se aplică și modelelor bazate pe text. Practic, aceste modele vor fi de obicei încărcate pe RAM pe durata sarcinii de lucru și este Alot mai rapid decât executarea din stocare.
RAM este mai rapidă din câteva motive, dar cele două cele mai importante sunt că are o latență mai mică, deoarece este mai aproape de procesor și are o lățime de bandă mai mare. Este necesar să încărcați modele de limbaj mari (LLM) în RAM datorită acestor proprietăți, dar următoarea întrebare care urmează de obicei este exactă cât costă RAM este folosită de aceste modele.
Dacă Vicuna-7B ar alimenta Asistentul Google pe dispozitivele oamenilor cu ajutorul serviciilor cloud, ați teorie, au toate beneficiile unui LLM care rulează pe un dispozitiv, cu avantajul suplimentar de a colecta date bazate pe cloud.
Există multe lucruri care merită analizate când vine vorba de unele LLM-uri aflate în prezent în implementare, iar unul cu care m-am jucat recent a fost Vicuna-7B. Este un LLM instruit pe un set de date de 7 miliarde de parametri care pot fi implementați pe un smartphone Android prin MLC LLM, care este o aplicație universală care ajută la implementarea LLM. Este nevoie de aproximativ 6 GB de RAM pentru a interacționa cu acesta pe un smartphone Android. În mod evident, nu este la fel de avansat ca alte LLM-uri de pe piață în acest moment, dar rulează, de asemenea, în întregime local, fără a fi nevoie de o conexiune la internet. Pentru context, se zvonește că GPT-4 are 1.76 trilion parametrii, iar GPT-3 are 175 miliarde.
Qualcomm și AI pe dispozitiv
În timp ce tone de companii se întrec pentru a-și crea propriile modele de limbaj mari (și interfețe pentru a interacționa cu acestea), Qualcomm s-a concentrat pe un domeniu cheie: implementarea. Servicii cloud pe care companiile le folosesc costuri milioane pentru a rula cei mai puternici chatbot, iar ChatGPT de la OpenAI se spune că conduce compania până la 700.000 USD pe zi. Orice implementare pe dispozitiv care folosește resursele utilizatorului poate economisi mulți bani, mai ales dacă este răspândită.
Qualcomm se referă la aceasta ca „AI hibridă” și combină resursele cloud și dispozitivul pentru a împărți calculul acolo unde este cel mai potrivit. Nu va funcționa pentru toate, dar dacă Vicuna-7B ar alimenta Asistentul Google pe dispozitivele oamenilor cu ajutorul cloud servicii, ați avea, teoretic, toate beneficiile unui LLM care rulează pe un dispozitiv cu avantajul suplimentar de a colecta date bazate pe cloud. În acest fel, rulează la același cost pentru Google ca și Asistent, dar fără costurile generale suplimentare.
Acesta este doar o modalitate prin care AI pe dispozitiv rezolvă problema costurilor cu care se confruntă companiile în prezent, dar aici intervine hardware-ul suplimentar. În cazul smartphone-urilor, Qualcomm a arătat Stable Diffusion pe un smartphone Android alimentat de Snapdragon 8 Gen 2, ceea ce este ceva cu care multe computere actuale s-ar lupta de fapt. De atunci, compania a arătat că ControlNet rulează și pe un dispozitiv Android. În mod clar, pregătește hardware capabil de sarcini intense de lucru AI de ceva timp, iar MLC LLM este o modalitate prin care poți testa asta chiar acum.
Din captura de ecran de mai sus, rețineți că sunt în modul avion cu Wi-Fi dezactivat și încă funcționează foarte bine. generează aproximativ cinci jetoane pe secundă, unde un jetoane este aproximativ jumătate de cuvânt. Prin urmare, generează aproximativ 2,5 cuvinte pe secundă, ceea ce este destul de rapid pentru așa ceva. Nu interacționează cu internetul în starea actuală, dar având în vedere că totul este open source, o companie ar putea prelua munca depusă de MLC LLM și echipa din spatele modelului Vicuna-7B și să o implementeze într-un alt util context.
Aplicații ale IA generativă pe dispozitiv
Am vorbit cu Karl Whealton, director senior de management de produs la Qualcomm, care este responsabil pentru CPU, DSP, benchmarking și hardware AI. Mi-a spus totul despre diferitele aplicații ale modelelor AI care rulează pe chipset-urile Snapdragon și mi-a dat o idee despre ceea ce ar putea fi posibil pe chipset-urile Snapdragon astăzi. Mi-a spus că micro tile de inferință a Snapdragon 8 Gen 2 este incredibil de bună cu transformatoare, unde un transformatorul este un model care poate urmări relațiile în date secvențiale (cum ar fi cuvintele dintr-o propoziție) care poate învăța și contextul.
În acest scop, l-am întrebat despre acele cerințe RAM despre care se zvonește în prezent și mi-a spus că, cu un model de limbaj de orice fel sau scară, practic tu nevoie pentru a-l încărca în RAM. El a continuat spunând că s-ar aștepta, dacă un OEM ar implementa așa ceva într-un mediu RAM mai limitat, este mai probabil ca ar folosi un model de limbaj mai mic, poate mai specializat, într-un segment mai mic de RAM decât pur și simplu să-l scoată din stocarea dispozitiv. Altfel, ar fi extrem de lent și nu ar fi o experiență bună pentru utilizator.
Un exemplu de caz de utilizare specializat este unul despre care Qualcomm a vorbit recent la Computerul anual Conferință de recunoaștere a viziunii și modelelor - că AI generativă poate acționa ca un antrenor de fitness pentru final utilizatorii. De exemplu, un LLM bazat vizual poate analiza un flux video pentru a vedea apoi ce face un utilizator, să analizeze dacă o procedează greșit, să alimenteze rezultă un model de limbaj care poate exprima în cuvinte ceea ce utilizatorul face greșit și apoi să folosească un model de vorbire pentru a transmite acele informații către utilizator.
În teorie, OnePlus ar putea oferi 16 GB de RAM pentru uz general, dar în plus, 8 GB de RAM este numai folosit pentru AI.
Desigur, celălalt factor important în AI pe dispozitiv este confidențialitatea. Cu aceste modele, este foarte probabil să le împărtășiți părți din viața personală cu ei atunci când le puneți întrebări sau chiar dacă acordați acces AI la smartphone-ul dvs. ar putea îngrijora oamenii. Whealton îmi spune că orice intră în SoC este foarte sigur și că acesta este „unul dintre motivele” pentru care este atât de important pentru Qualcomm.
În acest scop, Qualcomm a anunțat, de asemenea, că lucrează cu Meta pentru a activa open-source-ul companiei Llama 2 LLM va rula pe dispozitivele Qualcomm, acesta fiind programat să fie disponibil pentru dispozitivele începând din 2024.
Cum pot fi încorporați 24 GB de RAM într-un smartphone
Sursa: Smartprix
Cu scurgeri recente care indică viitorul OnePlus 12 are până la 16 GB de RAM, s-ar putea să vă întrebați ce s-a întâmplat cu acele zvonuri de 24 GB de RAM. Chestia este că nu împiedică OnePlus să includă AI pe dispozitiv și există un motiv pentru asta.
După cum mi-a remarcat Whealton, atunci când controlezi DRAM, nimic nu te împiedică să segmentezi RAM, astfel încât sistemul să nu poată accesa tot. În teorie, OnePlus ar putea oferi 16 GB de RAM pentru uz general, dar în plus, 8 GB de RAM este numai folosit pentru AI. În acest caz, nu ar avea sens să îl facem publicitate ca parte a numărului total de RAM, deoarece este inaccesibil pentru restul sistemului. În plus, este foarte probabil ca această cantitate de RAM să rămână statică chiar și în configurațiile de 8 GB sau 12 GB RAM, deoarece nevoile AI nu se vor schimba.
Cu alte cuvinte, nu este exclus că OnePlus 12 va avea în continuare 24 GB de RAM; doar că 8 GB ar putea să nu fie accesibil în mod tradițional. Scurgeri ca acestea, care apar din momentul în care apar, de obicei, apar de la oameni care pot fi implicați în producția efectivă a dispozitivului, așa că s-ar putea întâmpla că au lucrat cu 24 GB de RAM și nu au fost conștienți că 8 GB ar putea fi rezervați pentru scopuri foarte specifice. Totuși, aceasta este o presupunere completă din partea mea și este o încercare de a înțelege scurgerile în care atât Digital Chat Station, cât și OnLeaks pot. ambii ai dreptate.
Cu toate acestea, 24 GB de RAM este o cantitate nebună într-un smartphone și, pe măsură ce sunt introduse caracteristici ca acestea, nu a fost niciodată mai clar că smartphone-urile sunt doar computere super-puternice care pot deveni doar mai multe puternic.