24 Gt RAM-muistia älypuhelimessa? Se ei ole niin hullua kuin luulisi.

Huhut ovat pyörineet jo jonkin aikaa, että ensi vuoden aikana on tulossa älypuhelimia, joissa on huikeat 24 Gt RAM-muistia. Se on valtava määrä millä tahansa mittarilla, sillä pelitietokoneiden yleisin RAM-kokoonpano on vaatimaton 16 Gt. kirjoitushetkellä. 24 Gt RAM-muistia kuulostaa naurettavalta määrältä, mutta, ei kun on kyse tekoälystä.

AI on RAM-nälkäinen

Jos haluat käyttää mitä tahansa tekoälymallia älypuhelimessa, sinun on ensin tiedettävä, että periaatteessa minkä tahansa mallin suorittamiseksi tarvitset paljon RAM-muistista. Tämän filosofian takia tarvitset paljon VRAM kun työskentelet sovellusten, kuten Stable Diffusion, kanssa, ja se koskee myös tekstipohjaisia ​​malleja. Periaatteessa nämä mallit ladataan tyypillisesti RAM-muistiin työmäärän ajaksi, ja se on apaljon nopeampi kuin tallennus tallennustilasta.

RAM on nopeampi muutamasta syystä, mutta kaksi tärkeintä ovat, että sen latenssi on pienempi, koska se on lähempänä prosessoria ja sillä on suurempi kaistanleveys. Näiden ominaisuuksien vuoksi on välttämätöntä ladata suuria kielimalleja (LLM) RAM-muistiin, mutta seuraava tyypillisesti seuraava kysymys on juuri

kuinka paljon Nämä mallit käyttävät RAM-muistia.

Jos Vicuna-7B käyttäisi Google Assistantia ihmisten laitteissa pilvipalvelujen avulla, teoriassa on kaikki laitteella toimivan LLM: n edut ja lisäetu pilvipohjaisen tiedon keräämisestä.

On paljon tutkimisen arvoista, kun on kyse joistakin tällä hetkellä käyttöönotettavissa olevista LLM: istä, ja yksi, jonka kanssa olen leikkinyt viime aikoina, on Vicuna-7B. Se on LLM, joka on koulutettu 7 miljardin parametrin tietojoukkoon, joka voidaan ottaa käyttöön Android-älypuhelimessa MLC LLM: n kautta, joka on universaali sovellus, joka auttaa LLM: n käyttöönottoa. Sen käyttämiseen Android-älypuhelimella tarvitaan noin 6 Gt RAM-muistia. Se ei tietenkään ole niin edistynyt kuin jotkin muut markkinoilla olevat LLM: t, mutta se toimii myös täysin paikallisesti ilman Internet-yhteyttä. Kontekstia varten huhutaan, että GPT-4:llä on 1,76 biljoonaa GPT-3:lla on 175 miljardia.

Qualcomm ja laitteen AI

Samalla kun monet yritykset kilpailevat luodakseen omia suuria kielimallejaan (ja käyttöliittymiä niiden kanssa vuorovaikutukseen), Qualcomm on keskittynyt yhteen avainalueeseen: käyttöönottoon. Yritysten käyttämät pilvipalvelut maksavat miljoonia pyörittää tehokkaimpia chatbotteja, ja OpenAI: n ChatGPT: n sanotaan pyörittävän yritystä jopa 700 000 dollaria vuodessa päivä. Mikä tahansa käyttäjän resursseja hyödyntävä käyttöönotto voi säästää paljon rahaa, varsinkin jos se on laajalle levinnyt.

Qualcomm kutsuu tätä "hybridi tekoälyksi", ja se yhdistää pilven ja laitteen resurssit jakaakseen laskennan sinne, missä se on sopivinta. Se ei toimi kaikkeen, mutta jos Vicuna-7B saisi virran Google Assistantista ihmisten laitteille pilven avulla Teoriassa sinulla olisi kaikki laitteella toimivan LLM: n edut ja lisäetu kerätä pilvipohjaista dataa. Tällä tavalla se toimii samalla hinnalla Googlelle kuin Assistant, mutta ilman ylimääräisiä yleiskustannuksia.

Tämä on vain yksi tapa, jolla laitteiden tekoäly kiertää yritysten tällä hetkellä kohtaaman kustannusongelman, mutta siihen tulee lisälaitteita. Älypuhelimien tapauksessa Qualcomm osoitti vakaata diffuusiota Android-älypuhelimessa, jossa on Snapdragon 8 Gen 2, mikä on asia, jonka kanssa monet nykyiset tietokoneet itse asiassa kamppailevat. Siitä lähtien yritys on näyttänyt ControlNetin toimivan myös Android-laitteella. Se on selvästi valmistellut laitteistoa, joka pystyy kestämään intensiivisiä tekoälytöitä jo jonkin aikaa, ja MLC LLM on tapa testata sitä juuri nyt.

Huomaa yllä olevasta kuvakaappauksesta, että olen lentotilassa ja Wi-Fi on pois päältä, ja se toimii edelleen erittäin hyvin. se tuottaa noin viisi merkkiä sekunnissa, jossa token on noin puoli sanaa. Siksi se tuottaa noin 2,5 sanaa sekunnissa, mikä on melko nopeaa jollekin tällaiselle. Se ei ole vuorovaikutuksessa Internetin kanssa nykyisessä tilassaan, mutta koska tämä kaikki on avoimen lähdekoodin yritys voisi ottaa MLC LLM: n ja Vicuna-7B-mallin takana olevan tiimin tekemän työn ja toteuttaa sen toisessa hyödyllisessä yhteydessä.

Laitteen luovan tekoälyn sovellukset

Puhuin Qualcommin tuotehallinnan vanhemman johtajan Karl Whealtonin kanssa, joka vastaa suorittimesta, DSP: stä, benchmarkingista ja tekoälylaitteistosta. Hän kertoi minulle kaiken Snapdragon-piirisarjoilla toimivien tekoälymallien erilaisista sovelluksista, ja hän antoi minulle käsityksen siitä, mikä voi olla mahdollista Snapdragon-piirisarjoilla tänään. Hän kertoo minulle, että Snapdragon 8 Gen 2:n mikrolaattojen päättely on uskomattoman hyvä muuntajien kanssa, joissa muuntaja on malli, joka voi seurata peräkkäisten tietojen suhteita (kuten lauseen sanoja), jotka voivat myös oppia konteksti.

Tätä tarkoitusta varten kysyin häneltä noista RAM-vaatimuksista, joista tällä hetkellä huhutaan, ja hän kertoi minulle, että minkä tahansa kielimallin tai mittakaavan avulla sinä periaatteessa tarve ladataksesi sen RAM-muistiin. Hän jatkoi, että hän odottaisi, että jos OEM-valmistaja toteuttaisi jotain tällaista rajoitetussa RAM-ympäristössä, on todennäköisempää, että he käyttäisivät pienempää, kenties erikoistuneempaa kielimallia pienemmässä RAM-segmentissä kuin vain ajaisivat sen pois muistin muistista. laite. Se olisi muuten julman hidasta eikä olisi hyvä käyttökokemus.

Esimerkki erikoistuneesta käyttötapauksesta on se, josta Qualcomm puhui äskettäin vuosittaisessa Computer-tapahtumassa Vision ja Pattern Recognition -konferenssi – että generatiivinen tekoäly voi toimia kuntovalmentajana loppuun asti käyttäjiä. Esimerkiksi visuaalisesti maadoitettu LLM voi analysoida videosyötteen nähdäkseen, mitä käyttäjä tekee, analysoidakseen, tekeekö hän sen väärin, syöttääkseen tuloksena kielimalli, joka voi pukea sanoiksi sen, mitä käyttäjä tekee väärin, ja sitten käyttää puhemallia välittämään tiedot käyttäjä.

Teoriassa OnePlus voisi tarjota 16 Gt RAM-muistia yleiseen käyttöön, mutta sen lisäksi 8 Gt RAM-muistia. vain käytetään tekoälyyn.

Tietenkin toinen tärkeä tekijä laitteen tekoälyssä on yksityisyys. Näiden mallien avulla on hyvin todennäköistä, että jaat heidän kanssaan osia henkilökohtaisesta elämästäsi, kun esität kysymyksiä, tai jopa pelkkä tekoälyn käyttö älypuhelimellesi saattaa huolestuttaa ihmisiä. Whealton kertoo minulle, että kaikki, mikä tulee SoC: hen, on erittäin turvallista ja että tämä on "yksi syy" sen tekeminen laitteella on erittäin tärkeää Qualcommille.

Tätä varten Qualcomm ilmoitti myös työskentelevänsä Metan kanssa mahdollistaakseen yrityksen avoimen lähdekoodin Llama 2 LLM toimii Qualcomm-laitteissa, ja sen on määrä olla saatavilla laitteissa vuodesta 2024.

Kuinka 24 Gt RAM-muistia voidaan sisällyttää älypuhelimeen

Viimeaikaiset vuodot viittaavat tulevaisuuteen OnePlus 12 sisältää jopa 16 Gt RAM-muistia, saatat ihmetellä, mitä tapahtui niille 24 Gt: n RAM-huhuille. Asia on, että se ei estä OnePlusia sisällyttämästä laitteen tekoälyä, ja siihen on syy.

Kuten Whealton totesi minulle, kun ohjaat DRAM-muistia, mikään ei estä sinua segmentoimasta RAM-muistia niin, että järjestelmä ei pääse käyttämään sitä kaikkea. Teoriassa OnePlus voisi tarjota 16 Gt RAM-muistia yleiseen käyttöön, mutta sen lisäksi 8 Gt RAM-muistia. vain käytetään tekoälyyn. Tässä tapauksessa ei olisi järkevää mainostaa sitä osana RAM-muistin kokonaismäärää, koska muu järjestelmä ei pääse siihen käsiksi. Lisäksi on hyvin todennäköistä, että tämä RAM-muistin määrä pysyisi staattisena jopa 8 Gt tai 12 Gt RAM-kokoonpanoissa, koska tekoälyn tarpeet eivät muutu.

Toisin sanoen ei ole poissuljettua, että OnePlus 12:ssa on edelleen 24 Gt RAM-muistia; se vain, että 8 Gt ei ehkä ole perinteisesti saatavilla. Tämänkaltaiset vuodot, jotka tulevat jo varhain, tulevat yleensä esiin ihmisiltä, ​​jotka saattavat olla mukana laitteen varsinaisessa tuotannossa, joten voi olla niin, että he ovat työskennelleet 24 Gt RAM-muistilla, eivätkä ole tienneet, että 8 Gt voidaan varata hyvin erityisiin tarkoituksiin. Tämä on kuitenkin täysin arvailua omalta osaltani, ja se on yritys saada järkeä vuodoista, joissa sekä Digital Chat Station että OnLeaks voivat molemmat olla oikeassa.

Siitä huolimatta 24 Gt RAM-muistia on älypuhelimessa hullu määrä, ja kun tällaisia ​​ominaisuuksia esitellään, ei ole koskaan ollut selvempää, että älypuhelimet ovat vain supertehokkaita tietokoneita, joista voi vain tulla enemmän voimakas.