Neįmanoma manyti, kad 24 GB RAM ateityje bus įprasta išmaniuosiuose telefonuose, ir tai yra AI dėka.
Jau kurį laiką sklando gandai, kad kitais metais pasirodys išmanieji telefonai, kuriuose bus didžiulė 24 GB RAM. Tai yra didžiulė suma pagal bet kokią metriką, o dažniausiai žaidimų kompiuterių RAM konfigūracija yra kukli 16 GB. rašymo metu. 24 GB RAM skamba kaip juokinga suma, bet, ne kai kalbama apie AI.
AI alkanas RAM
Jei norite paleisti bet kurį AI modelį išmaniajame telefone, pirmas dalykas, kurį turite žinoti, yra tai, kad norint paleisti iš esmės bet kokį modelį, jums reikia daug RAM. Dėl šios filosofijos jums reikia daug VRAM dirbant su tokiomis programomis kaip „Stable Diffusion“ ir tai taikoma ir tekstiniams modeliams. Iš esmės šie modeliai paprastai bus įkeliami į RAM visą darbo krūvio laiką, ir tai yra adaug greičiau nei vykdyti iš saugyklos.
RAM yra greitesnė dėl kelių priežasčių, tačiau dvi svarbiausios yra mažesnės delsos laikas, nes ji yra arčiau procesoriaus ir turi didesnį pralaidumą. Dėl šių savybių reikia įkelti didelių kalbų modelius (LLM) į RAM, bet kitas paprastai kylantis klausimas yra būtent
Jei Vicuna-7B suteiktų „Google Assistant“ maitinimą žmonių įrenginiuose su tam tikra debesies paslaugų pagalba, jūs teorija, turi visus LLM, veikiančio įrenginyje, privalumus ir papildomą debesų duomenų rinkimo pranašumą.
Kalbant apie kai kuriuos šiuo metu diegiamus LLM, verta daug pasidomėti, o pastaruoju metu žaidžiau su Vicuna-7B. Tai LLM, apmokyta pagal 7 milijardų parametrų duomenų rinkinį, kurį galima įdiegti „Android“ išmaniajame telefone per MLC LLM, kuri yra universali programa, padedanti diegti LLM. Norint su juo naudotis „Android“ išmaniajame telefone, reikia apie 6 GB RAM. Akivaizdu, kad jis nėra toks pažangus kaip kai kurie kiti LLM šiuo metu rinkoje, tačiau jis taip pat veikia visiškai lokaliai, nereikalaujant interneto ryšio. Kalbant apie kontekstą, gandai, kad GPT-4 turi 1,76 trilijonas parametrų, o GPT-3 turi 175 mlrd.
Qualcomm ir įrenginio AI
Nors daugybė įmonių lenktyniauja kurdamos savo didelius kalbų modelius (ir sąsajas su jais bendrauti), „Qualcomm“ daugiausia dėmesio skyrė vienai pagrindinei sričiai: diegimui. Debesų paslaugos, kuriomis įmonės naudojasi, kainuoja milijonai paleisti galingiausius pokalbių robotus, o OpenAI ChatGPT valdys įmonę iki 700 000 USD per metus. dieną. Bet koks diegimas įrenginyje, panaudojantis vartotojo išteklius, gali sutaupyti daug pinigų, ypač jei jis yra plačiai paplitęs.
„Qualcomm“ tai vadina „hibridiniu AI“ ir sujungia debesies ir įrenginio išteklius, kad padalitų skaičiavimus ten, kur tai tinkamiausia. Tai neveiks viskam, bet jei Vicuna-7B naudotų „Google Assistant“ žmonių įrenginiuose su tam tikra pagalba iš debesies paslaugas, teoriškai turėtumėte visus LLM, veikiančio įrenginyje, privalumus ir papildomą naudą debesyje pagrįsti duomenys. Tokiu būdu „Google“ jis kainuoja tiek pat, kiek ir Padėjėjas, tačiau be jokių papildomų išlaidų.
Tai tik vienas iš įrenginio AI būdų išspręsti sąnaudų problemą, su kuria šiuo metu susiduria įmonės, tačiau čia atsiranda papildoma aparatinė įranga. Išmaniųjų telefonų atveju „Qualcomm“. pademonstravo stabilią difuziją „Android“ išmaniajame telefone, kuriame veikia „Snapdragon 8 Gen 2“, o tai yra kažkas, su kuo iš tikrųjų kovotų daugelis dabartinių kompiuterių. Nuo tada bendrovė parodė, kad „ControlNet“ veikia ir „Android“ įrenginyje. Akivaizdu, kad jau kurį laiką buvo ruošiama aparatinė įranga, galinti atlikti intensyvius AI darbo krūvius, o MLC LLM yra būdas tai išbandyti dabar.
Iš aukščiau esančios ekrano kopijos atkreipkite dėmesį, kad esu lėktuvo režimu, išjungtu „Wi-Fi“, ir jis vis tiek veikia labai gerai. jis generuoja maždaug penkis žetonus per sekundę, kai žetoną sudaro maždaug pusė žodžio. Todėl jis generuoja apie 2,5 žodžio per sekundę, o tai yra pakankamai greita tokiam dalykui. Šiuo metu jis nesąveikauja su internetu, tačiau turint omenyje, kad visa tai yra atvirojo kodo įmonė galėtų paimti MLC LLM ir Vicuna-7B modelio komandos atliktą darbą ir įgyvendinti jį kitoje naudingoje formoje kontekste.
Įrenginio generuojamojo AI programos
Kalbėjausi su Karlu Whealtonu, vyresniuoju Qualcomm produktų valdymo direktoriumi, atsakingu už centrinį procesorių, DSP, lyginamąją analizę ir dirbtinio intelekto aparatinę įrangą. Jis papasakojo man viską apie įvairias AI modelių, veikiančių „Snapdragon“ mikroschemų rinkiniuose, programas ir davė idėją, kas šiandien gali būti įmanoma naudojant „Snapdragon“ mikroschemų rinkinius. Jis man sako, kad „Snapdragon 8 Gen 2“ mikro plytelių išvados yra neįtikėtinai geros naudojant transformatorius, kur transformatorius yra modelis, galintis sekti ryšius nuosekliuose duomenyse (pvz., žodžių sakinyje), kurie taip pat gali mokytis kontekstą.
Tuo tikslu aš jo paklausiau apie tuos RAM reikalavimus, apie kuriuos šiuo metu sklando gandai, ir jis man pasakė, kad naudojant bet kokio pobūdžio ar masto kalbos modelį jūs iš esmės reikia įkelti jį į RAM. Jis tęsė, kad tikėtųsi, kad jei OĮG įdiegs kažką panašaus į labiau ribotą RAM aplinką, labiau tikėtina, kad jie naudotų mažesnį, galbūt labiau specializuotą kalbos modelį mažesniame RAM segmente, nei paprasčiausiai paleis jį iš atminties saugyklos. prietaisas. Priešingu atveju tai būtų žiauriai lėta ir nebūtų gera vartotojo patirtis.
Specializuoto naudojimo pavyzdys yra tas, apie kurį Qualcomm neseniai kalbėjo kasmetiniame kompiuteriniame renginyje Vizijos ir modelio atpažinimo konferencija – kad generuojantis AI gali būti kūno rengybos treneris iki galo vartotojų. Pavyzdžiui, vizualiai pagrįstas LLM gali analizuoti vaizdo įrašų sklaidos kanalą, kad pamatytų, ką vartotojas daro, analizuoja, ar jis tai daro neteisingai, rezultatas – kalbos modelis, kuris gali žodžiais išreikšti tai, ką vartotojas daro ne taip, o tada naudoti kalbos modelį tą informaciją perduoti Vartotojas.
Teoriškai „OnePlus“ gali suteikti 16 GB RAM bendram naudojimui, tačiau be to, tai yra dar 8 GB RAM. tik naudojamas dirbtiniam intelektui.
Žinoma, kitas svarbus įrenginio AI veiksnys yra privatumas. Naudodami šiuos modelius labai tikėtina, kad užduodami klausimus dalinsitės su jais asmeninio gyvenimo dalimis arba netgi suteikę dirbtinio intelekto prieigą prie savo išmaniojo telefono gali kelti nerimą žmonėms. Whealtonas man sako, kad viskas, kas patenka į SoC, yra labai saugi ir kad tai yra „viena iš priežasčių“, kodėl „Qualcomm“ tai daro įrenginyje.
Tuo tikslu „Qualcomm“ taip pat paskelbė, kad bendradarbiauja su „Meta“, kad įgalintų bendrovės atvirąjį kodą „Llama 2 LLM“ veiks „Qualcomm“ įrenginiuose ir planuojama, kad jis bus pasiekiamas įrenginiams nuo m. 2024.
Kaip 24 GB RAM gali būti įtraukta į išmanųjį telefoną
Šaltinis: Smartprix
Neseniai nutekėję pranešimai rodo būsimą „OnePlus 12“ talpina iki 16 GB RAM, jums gali kilti klausimas, kas nutiko tiems gandams apie 24 GB RAM. Reikalas tas, kad tai netrukdo „OnePlus“ įtraukti įrenginio AI, ir tam yra priežastis.
Kaip man pažymėjo Whealtonas, kai valdote DRAM, niekas netrukdo jums segmentuoti RAM, kad sistema negalėtų jos visos pasiekti. Teoriškai „OnePlus“ gali suteikti 16 GB RAM bendram naudojimui, tačiau be to, tai yra dar 8 GB RAM. tik naudojamas dirbtiniam intelektui. Šiuo atveju nebūtų prasmės jį reklamuoti kaip viso RAM skaičiaus dalį, nes ji nepasiekiama likusiai sistemos daliai. Be to, labai tikėtina, kad šis RAM kiekis išliks nepakitęs net 8 GB arba 12 GB RAM konfigūracijoje, nes AI poreikiai nepasikeis.
Kitaip tariant, neatmestina, kad „OnePlus 12“ vis tiek turės 24 GB RAM; tiesiog 8 GB gali būti tradiciškai nepasiekiama. Tokie nutekėjimai, kurie atsiranda anksčiau, paprastai atsiranda dėl žmonių, kurie gali būti susiję su faktine įrenginio gamyba, todėl gali būti, kad jie dirbo su 24 GB RAM ir nežinojo, kad 8 GB gali būti rezervuota labai konkretiems tikslams. Vis dėlto tai tik mano spėlionės, ir tai yra bandymas suprasti nutekėjimą, kur gali tiek Digital Chat Station, tiek OnLeaks tiek Būk teisus.
Nepaisant to, 24 GB RAM yra beprotiškas kiekis išmaniajame telefone, o kai pristatomos tokios funkcijos, Dar niekada nebuvo taip aišku, kad išmanieji telefonai yra tik itin galingi kompiuteriai, kurių gali tik tapti daugiau galingas.