24 GB RAM-a v pametnem telefonu? Ni tako noro, kot si mislite.

Že nekaj časa krožijo govorice, da bodo v naslednjem letu na voljo pametni telefoni, ki bodo imeli ogromnih 24 GB RAM-a. To je ogromno glede na katero koli merilo, pri čemer je najpogostejša konfiguracija RAM-a na igralnih računalnikih skromnih 16 GB v času pisanja. 24 GB RAM-a se sliši kot smešna količina, ampak, ne ko gre za AI.

AI je lačen RAM-a

Če želite zagnati kateri koli model AI na pametnem telefonu, morate najprej vedeti, da za izvedbo katerega koli modela potrebujete veliko RAM-a. Zaradi te filozofije potrebujete veliko VRAM pri delu z aplikacijami, kot je Stable Diffusion, in velja tudi za besedilne modele. V bistvu bodo ti modeli običajno naloženi v RAM med trajanjem delovne obremenitve in je aveliko hitreje kot izvajanje iz pomnilnika.

RAM je hitrejši iz več razlogov, vendar sta najpomembnejša ta, da ima nižjo zakasnitev, ker je bližje CPE-ju, in ima večjo pasovno širino. Zaradi teh lastnosti je treba naložiti velike jezikovne modele (LLM) v RAM, vendar je naslednje vprašanje, ki običajno sledi, točno

koliko Ti modeli uporabljajo RAM.

Če bi Vicuna-7B napajal Google Assistant v napravah ljudi s pomočjo storitev v oblaku, bi v teoriji imajo vse prednosti LLM, ki se izvajajo na napravi, z dodatno prednostjo zbiranja podatkov v oblaku.

Veliko je vredno preučiti, ko gre za nekatere LLM, ki so trenutno v uporabi, in ena, s katero sem se pred kratkim poigraval, je bila Vicuna-7B. To je LLM, usposobljen za nabor podatkov s 7 milijardami parametrov, ki jih je mogoče namestiti na pametni telefon Android prek MLC LLM, ki je univerzalna aplikacija, ki pomaga pri uvajanju LLM. Za interakcijo z njim na pametnem telefonu Android potrebuje približno 6 GB RAM-a. Očitno ni tako napreden kot nekateri drugi LLM-ji, ki so trenutno na trgu, vendar deluje tudi povsem lokalno brez potrebe po internetni povezavi. Za kontekst se govori, da ima GPT-4 1,76 bilijon parametrov, GPT-3 pa ima 175 milijard.

Qualcomm in umetna inteligenca v napravi

Medtem ko na tone podjetij tekmuje za ustvarjanje lastnih velikih jezikovnih modelov (in vmesnikov za interakcijo z njimi), se Qualcomm osredotoča na eno ključno področje: uvajanje. Storitve v oblaku, ki jih podjetja uporabljajo, so drage milijoni za zagon najmočnejših klepetalnih robotov, OpenAI-jev ChatGPT pa naj bi vodil podjetje do 700.000 $ na dan. Vsaka uvedba v napravi, ki izkorišča vire uporabnika, lahko prihrani veliko denarja, še posebej, če je razširjena.

Qualcomm to imenuje "hibridni AI" in združuje vire oblaka in naprave za razdelitev računanja, kjer je to najbolj primerno. Ne bo delovalo za vse, toda če bi Vicuna-7B poganjala Google Assistant v napravah ljudi z nekaj pomoči iz oblaka storitev, bi teoretično imeli vse prednosti LLM, ki se izvajajo na napravi, z dodatno prednostjo zbiranja podatki v oblaku. Na ta način deluje po enaki ceni za Google kot pomočnik, vendar brez kakršnih koli dodatnih režijskih stroškov.

To je le eden od načinov, kako umetna inteligenca v napravi zaobide težavo s stroški, s katero se trenutno soočajo podjetja, a tu nastopi dodatna strojna oprema. V primeru pametnih telefonov Qualcomm pokazal stabilno difuzijo na pametnem telefonu Android, ki ga poganja Snapdragon 8 Gen 2, kar je nekaj, s čimer bi se številni trenutni računalniki dejansko spopadli. Od takrat je podjetje pokazalo, da ControlNet deluje tudi na napravi Android. Jasno je, da že nekaj časa pripravlja strojno opremo, ki je zmožna intenzivnih delovnih obremenitev z umetno inteligenco, in MLC LLM je način, da to preizkusite prav zdaj.

Na zgornjem posnetku zaslona opazite, da sem v letalskem načinu z izklopljenim Wi-Fi in še vedno deluje zelo dobro. ustvari pri približno petih žetonih na sekundo, kjer je žeton približno pol besede. Zato ustvari približno 2,5 besede na sekundo, kar je precej hitro za kaj takega. V trenutnem stanju nima interakcije z internetom, a glede na to, da je vse odprtokodno, podjetje bi lahko delo, ki so ga opravili MLC LLM in ekipa za modelom Vicuna-7B, uporabili v drugem uporabnem kontekstu.

Aplikacije generativnega umetne inteligence v napravi

Govoril sem s Karlom Whealtonom, višjim direktorjem produktnega upravljanja pri Qualcommu, ki je odgovoren za CPU, DSP, primerjalno analizo in strojno opremo AI. Povedal mi je vse o različnih aplikacijah modelov AI, ki delujejo na naborih čipov Snapdragon, in dal mi je idejo o tem, kaj je danes mogoče na naborih čipov Snapdragon. Povedal mi je, da je sklepanje mikro ploščic Snapdragon 8 Gen 2 neverjetno dobro pri transformatorjih, kjer transformer je model, ki lahko sledi razmerjem v zaporednih podatkih (kot so besede v stavku), ki se lahko tudi učijo kontekst.

V ta namen sem ga vprašal o zahtevah glede pomnilnika RAM, o katerih se trenutno govori, in rekel mi je, da z jezikovnim modelom kakršne koli vrste ali obsega v bistvu potreba da ga naložite v RAM. Nadalje je dejal, da bi pričakoval, če bi proizvajalec originalne opreme implementiral kaj takega v bolj omejenem okolju RAM-a, bolj verjetno, da uporabili bi manjši, morda bolj specializiran jezikovni model v manjšem segmentu RAM-a, kot da bi ga preprosto zagnali iz pomnilnika napravo. Drugače bi bil brutalno počasen in ne bi bil dobra uporabniška izkušnja.

Primer specializiranega primera uporabe je tisti, o katerem je Qualcomm nedavno govoril na letnem Computer Konferenca Vision and Pattern Recognition – da lahko generativna umetna inteligenca do konca deluje kot fitnes trener uporabniki. Na primer, vizualno utemeljen LLM lahko analizira video vir, da vidi, kaj uporabnik počne, analizira, ali dela narobe, rezultat v jezikovni model, ki lahko ubesedi, kaj uporabnik dela narobe, nato pa z govornim modelom posreduje te informacije uporabnik.

Teoretično bi lahko OnePlus zagotovil 16 GB RAM-a za splošno uporabo, vendar dodatnih 8 GB RAM-a poleg tega samo uporablja za AI.

Seveda je drugi pomemben dejavnik AI v napravi zasebnost. Pri teh modelih je zelo verjetno, da bi z njimi delili dele svojega osebnega življenja, ko bi postavljali vprašanja, ali pa bi ljudi lahko skrbelo celo samo omogočanje AI dostopa do vašega pametnega telefona. Whealton mi pravi, da je vse, kar vstopi v SoC, zelo varno in da je to "eden od razlogov", da je to v napravi tako pomembno za Qualcomm.

V ta namen je Qualcomm tudi objavil, da sodeluje z Meto, da bi omogočil odprto kodo podjetja Llama 2 LLM bo deloval v napravah Qualcomm, pri čemer bo na voljo napravam od leta 2024.

Kako je mogoče v pametni telefon vključiti 24 GB RAM-a

Z nedavnimi uhajanji, ki kažejo na prihajajoče OnePlus 12 z do 16 GB RAM-a, se morda sprašujete, kaj se je zgodilo s temi govoricami o 24 GB RAM-a. Stvar je v tem, da OnePlusu ne preprečuje vključitve umetne inteligence v napravi in ​​za to obstaja razlog.

Kot mi je omenil Whealton, ko nadzorujete DRAM, vam nič ne preprečuje segmentiranja RAM-a, tako da sistem ne more dostopati do vsega. Teoretično bi lahko OnePlus zagotovil 16 GB RAM-a za splošno uporabo, vendar dodatnih 8 GB RAM-a poleg tega samo uporablja za AI. V tem primeru ga ne bi imelo smisla oglaševati kot del celotnega števila RAM-a, saj je nedostopen preostalemu sistemu. Poleg tega je zelo verjetno, da bi ta količina RAM-a ostala statična tudi v konfiguracijah 8 GB ali 12 GB RAM-a, saj se potrebe AI ne bodo spremenile.

Z drugimi besedami, ni izključeno, da bo OnePlus 12 še vedno imel 24 GB RAM-a; samo 8 GB morda ni tradicionalno dostopnih. Takšna puščanja, ki se zgodijo takoj, ko pridejo, se običajno pojavijo od ljudi, ki so morda vpleteni v dejansko proizvodnjo naprave, zato se lahko zgodi, da so delali s 24 GB RAM-a in se niso zavedali, da je 8 GB lahko rezerviranih za zelo posebne namene. Vendar je to povsem ugibanje z moje strani in je poskus razumevanja uhajanja informacij, kjer lahko Digital Chat Station in OnLeaks oboje imeti prav.

Kljub temu je 24 GB RAM-a nora količina v pametnem telefonu in ko so uvedene takšne funkcije, še nikoli ni bilo bolj jasno, da so pametni telefoni le super zmogljivi računalniki, ki lahko postanejo samo še več močan.