24 GB muutmälu nutitelefonis? See pole nii hull, kui arvata võiks.

Juba mõnda aega on keerlenud kuulujutud, et järgmisel aastal on turule nutitelefonid, millel on ilmatu 24 GB muutmälu. See on iga mõõdiku järgi tohutu summa, kuna mänguarvutite kõige tavalisem RAM-i konfiguratsioon on tagasihoidlik 16 GB. kirjutamise ajal. 24 GB muutmälu tundub naeruväärselt palju, aga, mitte siis, kui tegemist on AI-ga.

AI on RAM-näljas

Kui soovite nutitelefonis käitada mis tahes tehisintellekti mudelit, on esimene asi, mida peate teadma, et põhimõtteliselt mis tahes mudeli käivitamiseks on teil vaja palju RAM-ist. See filosoofia on põhjus, miks teil on palju vaja VRAM kui töötate selliste rakendustega nagu Stable Diffusion, ja see kehtib ka tekstipõhiste mudelite kohta. Põhimõtteliselt laaditakse need mudelid tavaliselt töökoormuse ajaks RAM-i ja see on nii apalju kiiremini kui mälust käivitamine.

RAM on kiirem mitmel põhjusel, kuid kaks kõige olulisemat on madalam latentsusaeg, kuna see on protsessorile lähemal ja sellel on suurem ribalaius. Nende omaduste tõttu on vaja RAM-i laadida suuri keelemudeleid (LLM), kuid järgmine tavaliselt järgnev küsimus on täpselt

kui palju Need mudelid kasutavad RAM-i.

Kui Vicuna-7B peaks pilveteenuste abiga inimeste seadmetes Google Assistanti toitama, teeksite teoorias on kõik seadmes töötava LLM-i eelised, millele lisandub pilvepõhiste andmete kogumine.

Praegu juurutamisel olevate LLM-ide osas tasub palju uurida ja üks, millega olen hiljuti mänginud, on Vicuna-7B. See on LLM, mis on koolitatud 7 miljardist parameetrist koosneva andmekogumiga, mida saab Android-nutitelefonis juurutada MLC LLM-i kaudu, mis on universaalne rakendus, mis aitab LLM-i juurutamist. Sellega suhtlemiseks Android-nutitelefonis kulub umbes 6 GB muutmälu. Ilmselgelt pole see nii arenenud kui mõned teised praegu turul olevad LLM-id, kuid see töötab ka täiesti lokaalselt, ilma et oleks vaja Interneti-ühendust. Konteksti jaoks on kuulujutud, et GPT-4-l on 1,76 triljonit parameetrid ja GPT-3 on 175 miljardit.

Qualcomm ja seadmesisene AI

Kui paljud ettevõtted võistlevad oma suurte keelemudelite (ja nendega suhtlemise liideste) loomise nimel, on Qualcomm keskendunud ühele võtmevaldkonnale: juurutamine. Pilveteenused, mida ettevõtted kasutavad, maksavad miljoneid kõige võimsamate vestlusrobotite käitamiseks ning OpenAI ChatGPT juhib ettevõtet väidetavalt kuni 700 000 dollarini aastas päeval. Mis tahes seadmesisene juurutus, mis kasutab kasutaja ressursse, võib säästa palju raha, eriti kui see on laialt levinud.

Qualcomm viitab sellele kui "hübriidsele tehisintellektile" ja see ühendab pilve ja seadme ressursid, et jagada arvutused seal, kus see on kõige sobivam. See ei tööta kõigi jaoks, kuid kui Vicuna-7B peaks pilve abil inimeste seadmetes toitaks Google'i assistenti Teoreetiliselt on teil kõik seadmes töötava LLM-i eelised, millele lisandub kogumine. pilvepõhised andmed. Nii töötab see Google'ile sama kuluga kui assistent, kuid ilma täiendavate üldkuludeta.

See on vaid üks viis, kuidas seadmesisene tehisintellekt saab üle kulude probleemist, millega ettevõtted praegu silmitsi seisavad, kuid siin tuleb kasutusele täiendav riistvara. Nutitelefonide puhul Qualcomm näitas stabiilset difusiooni Android-nutitelefonis, mille toiteallikaks on Snapdragon 8 Gen 2, mis on midagi, millega paljud praegused arvutid tegelikult vaeva näevad. Sellest ajast alates on ettevõte näidanud, et ControlNet töötab ka Android-seadmes. Ilmselgelt on see mõnda aega ette valmistanud riistvara, mis on võimeline intensiivseks AI-töökoormuseks, ja MLC LLM on viis, kuidas saate seda kohe testida.

Ülaltoodud ekraanipildilt pange tähele, et olen lennukirežiimis ja Wi-Fi on välja lülitatud ja see töötab endiselt väga hästi. see genereerib umbes viis märki sekundis, kus märk on umbes pool sõna. Seetõttu genereerib see umbes 2,5 sõna sekundis, mis on millegi sellise jaoks piisavalt kiire. See ei suhtle Internetiga praeguses olekus, kuid arvestades, et see kõik on avatud lähtekoodiga ettevõte võiks võtta MLC LLM ja Vicuna-7B mudeli taga oleva meeskonna tehtud töö ja rakendada seda teises kasulikus Sisu.

Seadmesisese generatiivse AI rakendused

Rääkisin Qualcommi tootehalduse vanemdirektori Karl Whealtoniga, kes vastutab protsessori, DSP, võrdlusuuringute ja tehisintellekti riistvara eest. Ta rääkis mulle kõike Snapdragoni kiibistikul töötavate tehisintellektimudelite erinevatest rakendustest ja andis mulle aimu, mis võib tänapäeval Snapdragoni kiibistikes võimalik olla. Ta ütleb mulle, et Snapdragon 8 Gen 2 mikroplaatide järeldamine on trafode puhul uskumatult hea, trafo on mudel, mis suudab jälgida seoseid järjestikustes andmetes (nagu sõnad lauses), mis võivad samuti õppida konteksti.

Sel eesmärgil küsisin temalt nende RAM-i nõuete kohta, mida praegu kuuldavasti räägitakse, ja ta ütles mulle, et mis tahes tüüpi või ulatusega keelemudeliga saate põhimõtteliselt vaja et see RAM-i laadida. Ta jätkas, et eeldaks, et kui originaalseadmete tootja rakendaks midagi sellist piiratumas RAM-i keskkonnas, on tõenäolisem, et nad kasutaksid väiksemas, võib-olla rohkem spetsialiseerunud keelemudelit väiksemas RAM-i segmendis, kui lihtsalt käivitaksid selle seade. See oleks muidu jõhkralt aeglane ja poleks hea kasutajakogemus.

Spetsialiseerunud kasutusjuhtumi näide on see, millest Qualcomm rääkis hiljuti iga-aastasel arvutiüritusel Visiooni ja mustri tuvastamise konverents – et generatiivne tehisintellekt võib toimida tervisetreenerina kasutajad. Näiteks saab visuaalselt maandatud LLM analüüsida videovoogu, et näha, mida kasutaja teeb, analüüsida, kas ta teeb seda valesti, ja edastada tulemuseks keelemudel, mis suudab sõnadesse panna selle, mida kasutaja valesti teeb, ja seejärel kõnemudeli abil selle teabe edastada kasutaja.

Teoreetiliselt võib OnePlus pakkuda 16 GB muutmälu üldiseks kasutamiseks, kuid lisaks sellele on see veel 8 GB muutmälu. ainult kasutatakse AI jaoks.

Loomulikult on seadmesisese tehisintellekti teine ​​oluline tegur privaatsus. Nende mudelite puhul on väga tõenäoline, et jagate küsimusi esitades nendega osa oma isiklikust elust või isegi lihtsalt tehisintellekti juurdepääsu andmine nutitelefonile võib inimesi muretsema panna. Whealton ütleb mulle, et kõik, mis SoC-sse siseneb, on väga turvaline ja see on "üks põhjustest", miks seda seadmes tehakse, on Qualcommi jaoks nii oluline.

Sel eesmärgil teatas Qualcomm ka, et teeb koostööd Metaga, et võimaldada ettevõtte avatud lähtekoodiga Llama 2 LLM hakkab töötama Qualcommi seadmetes ja see on kavas teha kättesaadavaks seadmetele alates aastast 2024.

Kuidas saab nutitelefoni lisada 24 GB muutmälu

Hiljutised lekked viitavad eelseisvale OnePlus 12 mahutab kuni 16 GB muutmälu, võite küsida, mis juhtus nende 24 GB RAM-i kuulujuttudega. Asi on selles, et see ei välista OnePlusil seadmesisese AI kaasamist ja sellel on põhjus.

Nagu Whealton mulle märkis, ei takista miski, kui juhite DRAM-i, RAM-i segmenteerimast, nii et süsteem ei pääse sellele kõigele juurde. Teoreetiliselt võib OnePlus pakkuda 16 GB muutmälu üldiseks kasutamiseks, kuid lisaks sellele on see veel 8 GB muutmälu. ainult kasutatakse AI jaoks. Sel juhul poleks mõtet seda reklaamida RAM-i koguarvu osana, kuna see on ülejäänud süsteemile kättesaamatu. Lisaks on väga tõenäoline, et see RAM-i hulk jääb staatiliseks isegi 8 GB või 12 GB muutmälu konfiguratsioonis, kuna AI vajadused ei muutu.

Teisisõnu pole välistatud, et OnePlus 12-le jääb endiselt 24 GB muutmälu; lihtsalt 8 GB ei pruugi olla traditsiooniliselt kättesaadav. Sellised lekked, mis tekivad juba varakult, tekivad tavaliselt inimestelt, kes võivad olla seotud seadme tegeliku tootmisega, seega võib juhtuda, et nad on töötanud 24 GB muutmäluga ega teadnud, et 8 GB võib reserveerida väga konkreetsetel eesmärkidel. See on aga minupoolne oletus ja see on katse mõtestada lekkeid, kus nii Digital Chat Station kui ka OnLeaks saavad mõlemad ole õige.

Sellegipoolest on 24 GB muutmälu nutitelefonis meeletu hulk ja kui selliseid funktsioone tutvustatakse, pole kunagi olnud nii selge, et nutitelefonid on lihtsalt ülivõimsad arvutid, mida saab ainult rohkem saada võimas.