Nije pretjerano pretpostaviti da će 24 GB RAM-a biti norma za pametne telefone u budućnosti, i to zahvaljujući umjetnoj inteligenciji.
Već neko vrijeme kruže glasine da će se tijekom sljedeće godine pojaviti pametni telefoni koji će imati nevjerojatnih 24 GB RAM-a. To je ogromna količina prema bilo kojoj metrici, a najčešća konfiguracija RAM-a na igraćim računalima je skromnih 16 GB u vrijeme pisanja. 24 GB RAM-a zvuči kao smiješna količina, ali, ne kada je u pitanju AI.
AI je gladan RAM-a
Ako želite pokrenuti bilo koji model umjetne inteligencije na pametnom telefonu, prva stvar koju trebate znati jest da vam je za izvršenje bilo kojeg modela potreban mnogo RAM-a. Zbog te filozofije vam treba puno VRAM kada radite s aplikacijama kao što je Stable Diffusion, a odnosi se i na tekstualne modele. U osnovi, ti će se modeli obično učitavati u RAM tijekom trajanja radnog opterećenja, a to je amnogo brže od izvršavanja iz pohrane.
RAM je brži iz nekoliko razloga, ali dva najvažnija su da ima manju latenciju, jer je bliži CPU-u i ima veću propusnost. Zbog ovih svojstava potrebno je učitati velike jezične modele (LLM) u RAM, ali sljedeće pitanje koje obično slijedi je točno
Kad bi Vicuna-7B pokretala Google Assistant na uređajima ljudi uz pomoć usluga u oblaku, vi biste u teorije, imaju sve prednosti LLM-a koji se izvodi na uređaju s dodatnom pogodnošću prikupljanja podataka temeljenih na oblaku.
Mnogo je toga vrijedno pažnje kada su u pitanju neki LLM-ovi koji su trenutno u upotrebi, a jedan s kojim sam se nedavno igrao je Vicuna-7B. To je LLM obučen na skupu podataka od 7 milijardi parametara koji se mogu implementirati na Android pametni telefon putem MLC LLM-a, univerzalne aplikacije koja pomaže u implementaciji LLM-a. Za interakciju s njim na Android pametnom telefonu potrebno je oko 6 GB RAM-a. Očito nije tako napredan kao neki drugi LLM-ovi trenutno na tržištu, ali također radi potpuno lokalno bez potrebe za internetskom vezom. Za kontekst, priča se da GPT-4 ima 1.76 bilijun parametara, a GPT-3 ima 175 mlrd.
Qualcomm i AI na uređaju
Dok se mnoštvo tvrtki utrkuje u stvaranju vlastitih velikih jezičnih modela (i sučelja za interakciju s njima), Qualcomm se usredotočio na jedno ključno područje: implementaciju. Usluge u oblaku koje tvrtke koriste su skupe milijuni za pokretanje najmoćnijih chatbota, a OpenAI-jev ChatGPT navodno vodi tvrtku do 700.000 USD dan. Svaka implementacija na uređaju koja iskorištava resurse korisnika može uštedjeti mnogo novca, osobito ako je široko rasprostranjena.
Qualcomm to naziva "hibridnom umjetnom inteligencijom" i kombinira resurse oblaka i uređaja kako bi podijelio računanje gdje je to najprikladnije. Neće raditi za sve, ali ako bi Vicuna-7B pokretala Google Assistant na uređajima ljudi uz pomoć oblaka usluge, teoretski biste imali sve prednosti LLM-a koji se izvodi na uređaju uz dodatnu korist prikupljanja podaci temeljeni na oblaku. Na taj način radi po istoj cijeni za Google kao i Asistent, ali bez ikakvih dodatnih režijskih troškova.
To je samo jedan način na koji umjetna inteligencija na uređaju zaobilazi problem troškova s kojim se tvrtke trenutno suočavaju, ali tu dolazi dodatni hardver. U slučaju pametnih telefona, Qualcomm pokazao je Stabilnu difuziju na Android pametnom telefonu koji pokreće Snapdragon 8 Gen 2, što je nešto s čime bi se mnoga trenutna računala zapravo borila. Od tada je tvrtka pokazala da ControlNet radi i na Android uređaju. Jasno je da već neko vrijeme priprema hardver sposoban za intenzivna AI radna opterećenja, a MLC LLM je način na koji to možete testirati upravo sada.
Na gornjoj snimci zaslona primijetite da sam u načinu rada u zrakoplovu s isključenim Wi-Fijem i da i dalje radi vrlo dobro. generira otprilike pet tokena u sekundi, gdje je token otprilike pola riječi. Stoga generira oko 2,5 riječi u sekundi, što je dosta brzo za ovako nešto. Ne komunicira s internetom u trenutnom stanju, ali s obzirom da je sve ovo otvorenog koda, tvrtka mogli preuzeti posao koji su obavili MLC LLM i tim koji stoji iza modela Vicuna-7B i implementirati ga u drugu korisnu kontekst.
Primjene generativne umjetne inteligencije na uređaju
Razgovarao sam s Karlom Whealtonom, višim direktorom upravljanja proizvodima u Qualcommu, koji je odgovoran za CPU, DSP, benchmarking i AI hardver. Rekao mi je sve o raznim primjenama AI modela koji rade na Snapdragon čipsetovima i dao mi je ideju o tome što bi danas moglo biti moguće na Snapdragon čipsetovima. Rekao mi je da je zaključivanje mikro pločica Snapdragona 8 Gen 2 nevjerojatno dobro s transformatorima, gdje transformer je model koji može pratiti odnose u sekvencijalnim podacima (poput riječi u rečenici) koji također mogu učiti kontekst.
U tu svrhu, pitao sam ga o zahtjevima RAM-a o kojima se trenutno priča, a on mi je rekao da s jezičnim modelom bilo koje vrste ili razmjera, u osnovi potreba da ga učitate u RAM. Nadalje je rekao da bi očekivao da je OEM implementirao nešto ovakvo u ograničenijem RAM okruženju, vjerojatnije da koristili bi manji, možda specijaliziraniji jezični model u manjem segmentu RAM-a nego da ga jednostavno pokrenu iz pohrane uređaj. Inače bi bilo brutalno sporo i ne bi bilo dobro korisničko iskustvo.
Primjer specijaliziranog slučaja upotrebe je onaj o kojem je Qualcomm nedavno govorio na godišnjem Computer Computeru Konferencija Vision and Pattern Recognition — da generativna umjetna inteligencija može djelovati kao fitness trener za kraj korisnika. Na primjer, vizualno utemeljen LLM može analizirati videosažetak kako bi zatim vidio što korisnik radi, analizirao radi li pogrešno, hranio rezultirati jezičnim modelom koji može izraziti riječima što korisnik radi krivo, a zatim koristiti govorni model za prenošenje te informacije korisnik.
U teoriji, OnePlus bi mogao pružiti 16 GB RAM-a za opću upotrebu, ali dodatnih 8 GB RAM-a povrh toga je samo koristi se za AI.
Naravno, drugi važan čimbenik u AI-u na uređaju je privatnost. S ovim modelima, vrlo je vjerojatno da biste dijelili dijelove svog osobnog života s njima kada postavljate pitanja, ili bi čak i samo davanje AI pristupa vašem pametnom telefonu moglo zabrinuti ljude. Whealton mi kaže da je sve što uđe u SoC vrlo sigurno i da je to "jedan od razloga" zašto je to na uređaju tako važno za Qualcomm.
U tu je svrhu Qualcomm također objavio da surađuje s Metom kako bi omogućio open-source tvrtke Llama 2 LLM će se pokretati na Qualcomm uređajima, a planirano je da bude dostupan uređajima počevši od 2024.
Kako se 24 GB RAM-a može ugraditi u pametni telefon
Izvor: Smartprix
S nedavnim curenjem informacija koje ukazuju na nadolazeće OnePlus 12 s do 16 GB RAM-a, možda se pitate što se dogodilo s tih glasina o 24 GB RAM-a. Stvar je u tome što to ne sprječava OnePlus da uključi AI na uređaju, a za to postoji razlog.
Kao što mi je Whealton primijetio, kada kontrolirate DRAM, ništa vas ne sprječava da segmentirate RAM tako da sustav ne može pristupiti cijelom. U teoriji, OnePlus bi mogao pružiti 16 GB RAM-a za opću upotrebu, ali dodatnih 8 GB RAM-a povrh toga je samo koristi se za AI. U ovom slučaju ne bi imalo smisla reklamirati ga kao dio ukupnog broja RAM-a, jer je nedostupan ostatku sustava. Nadalje, vrlo je vjerojatno da bi ova količina RAM-a ostala statična čak i u konfiguracijama od 8 GB ili 12 GB RAM-a jer se potrebe AI-a neće promijeniti.
Drugim riječima, nije isključeno da će OnePlus 12 i dalje imati 24 GB RAM-a; samo što 8GB možda nije tradicionalno dostupno. Curenja poput ovih koja su rana čim dođu obično se pojavljuju od ljudi koji bi mogli biti uključeni u stvarnu proizvodnju uređaja, pa može biti slučaj da su radili s 24 GB RAM-a i nisu bili svjesni da bi 8 GB moglo biti rezervirano za vrlo specifične svrhe. No, to je potpuno nagađanje s moje strane i pokušaj davanja smisla curenju podataka gdje i Digital Chat Station i OnLeaks mogu oba biti u pravu.
Unatoč tome, 24 GB RAM-a je luda količina za pametni telefon, a kako se uvode značajke poput ovih, nikad nije bilo jasnije da su pametni telefoni samo super moćna računala koja mogu samo postati više snažan.