24 GB RAM egy okostelefonban? Nem olyan őrült, mint gondolnád.

Már egy ideje keringenek a pletykák, miszerint a következő évben olyan okostelefonok is megjelennek, amelyek 24 GB RAM-mal rendelkeznek majd. Ez bármilyen mérőszámmal mérve hatalmas összeg, mivel a játék PC-k leggyakoribb RAM-konfigurációja szerény 16 GB. az írás idején. A 24 GB RAM nevetséges mennyiségnek tűnik, de, nem ha mesterséges intelligenciáról van szó.

Az AI RAM-éhes

Ha bármilyen mesterséges intelligencia-modellt szeretne futtatni okostelefonon, az első dolog, amit tudnod kell, hogy gyakorlatilag bármilyen modell futtatásához szükséged van egy sok RAM-ból. Ez a filozófia az, amiért sok kell VRAM amikor olyan alkalmazásokkal dolgozik, mint a Stable Diffusion, és ez vonatkozik a szöveges modellekre is. Alapvetően ezek a modellek általában a munkaterhelés idejére betöltődnek a RAM-ba, és ez így van asok gyorsabb, mint a tárhelyről történő végrehajtás.

A RAM több okból is gyorsabb, de a két legfontosabb az, hogy kisebb a késleltetése, mivel közelebb van a CPU-hoz, és nagyobb a sávszélessége. E tulajdonságok miatt szükséges nagy nyelvi modelleket (LLM) betölteni a RAM-ba, de a következő kérdés, ami jellemzően pontosan az

mennyi Ezek a modellek RAM-ot használnak.

Ha a Vicuna-7B működtetné a Google Asszisztenst az emberek eszközein a felhőszolgáltatások segítségével, akkor Az elmélet szerint egy eszközön futó LLM minden előnyével rendelkezik, és a felhőalapú adatok gyűjtésének további előnye.

Sok mindenre érdemes odafigyelni, amikor néhány jelenleg telepítés alatt álló LLM-ről van szó, és az egyik, amivel mostanában játszadoztam, a Vicuna-7B. Ez egy 7 milliárd paraméterből álló adathalmazra kiképzett LLM, amely az MLC LLM-en keresztül telepíthető Android okostelefonra, amely egy univerzális alkalmazás, amely segíti az LLM telepítését. Körülbelül 6 GB RAM szükséges a vele való interakcióhoz egy Android okostelefonon. Nyilvánvalóan nem olyan fejlett, mint néhány jelenleg a piacon lévő LLM, de teljesen helyi szinten is működik, internetkapcsolat nélkül. A szövegkörnyezet szempontjából a pletykák szerint a GPT-4 1,76-tal rendelkezik billió paraméterek, a GPT-3 pedig 175 milliárddal rendelkezik.

Qualcomm és az eszközön lévő AI

Miközben rengeteg vállalat versenyez saját nagy nyelvi modelljeik (és az ezekkel való interakcióhoz szükséges interfészek) létrehozásáért, a Qualcomm egy kulcsfontosságú területre összpontosít: a telepítésre. A vállalatok által igénybe vett felhőszolgáltatások költsége milliókat a legerősebb chatbotok futtatására, az OpenAI ChatGPT pedig állítólag akár 700 000 dollárt nap. Bármilyen, a felhasználó erőforrásait kihasználó, eszközön történő telepítés sok pénzt takaríthat meg, különösen, ha széles körben elterjedt.

A Qualcomm ezt "hibrid AI-nak" nevezi, és egyesíti a felhő és az eszköz erőforrásait, hogy ott ossza fel a számítást, ahol az a legmegfelelőbb. Nem fog mindenre működni, de ha a Vicuna-7B a felhő segítségével működtetné a Google Asszisztenst az emberek eszközein szolgáltatásokat, akkor elméletileg az összes előnyével rendelkezne egy eszközön futó LLM-nek, amely további előnyökkel jár felhő alapú adatok. Így a Google számára ugyanolyan költséggel fut, mint az Assistant, de további általános költségek nélkül.

Ez csak egy módja annak, hogy az eszközön található mesterséges intelligencia megkerülje a költségeket, amelyekkel a vállalatok jelenleg szembesülnek, de itt jön a képbe a további hardver. Okostelefonok esetében a Qualcomm mutatta a Stable Diffusion egy Snapdragon 8 Gen 2-vel hajtott Android okostelefonon, amivel a jelenlegi számítógépek többsége küzdene. Azóta a vállalat bemutatta, hogy a ControlNet Android-eszközön is fut. Egy ideje nyilvánvalóan intenzív mesterségesintelligencia-terhelésre képes hardvert készít elő, és az MLC LLM egy módja annak, hogy ezt most tesztelje.

A fenti képernyőkép alapján vegye figyelembe, hogy repülőgép üzemmódban vagyok, és a Wi-Fi ki van kapcsolva, és továbbra is nagyon jól működik. másodpercenként nagyjából öt tokent generál, ahol egy token körülbelül fél szóból áll. Ezért körülbelül 2,5 szót generál másodpercenként, ami bőven gyors az ilyesmihez. Jelenlegi állapotában nem lép interakcióba az internettel, de mivel ez mind nyílt forráskódú, egy vállalat átvehetné az MLC LLM és a Vicuna-7B modell mögött álló csapat munkáját, és megvalósíthatná azt egy másik hasznosban kontextus.

Az eszközön található generatív AI alkalmazásai

Beszéltem Karl Whealtonnal, a Qualcomm termékmenedzsment vezető igazgatójával, aki a CPU-ért, a DSP-ért, a benchmarkingért és az AI-hardverért felelős. Mindent elmondott a Snapdragon lapkakészleteken futó mesterséges intelligencia modellek különféle alkalmazásairól, és ötletet adott arról, hogy mi lehet ma a Snapdragon lapkakészleteken. Azt mondja, hogy a Snapdragon 8 Gen 2 mikrocsempére való következtetés hihetetlenül jó a transzformátorokkal, ahol a A transzformátor egy olyan modell, amely képes nyomon követni a kapcsolatokat a szekvenciális adatokban (például szavak egy mondatban), amely szintén képes tanulni a kontextus.

Ebből a célból megkérdeztem azokról a RAM-követelményekről, amelyekről jelenleg pletykálják, és azt mondta, hogy bármilyen típusú vagy léptékű nyelvi modellel alapvetően szükség hogy betöltse a RAM-ba. Majd azt mondta, hogy ha egy OEM valami ilyesmit valósítana meg egy korlátozottabb RAM-környezetben, akkor valószínűbb, hogy kisebb, talán speciálisabb nyelvi modellt használnának a RAM egy kisebb szegmensében, mintsem egyszerűen lefuttatják a tárhelyről. eszköz. Különben brutálisan lassú lenne, és nem lenne jó felhasználói élmény.

Speciális felhasználási eset például az, amelyről a Qualcomm a közelmúltban beszélt az éves Computer rendezvényen Vision and Pattern Recognition konferencia – hogy a generatív mesterséges intelligencia a végére fitneszedzőként működhet felhasználókat. Például egy vizuálisan megalapozott LLM elemezni tud egy videó hírfolyamot, hogy megnézze, mit csinál a felhasználó, elemzi, hogy rosszul csinálja-e, eredménye egy nyelvi modell, amely képes szavakba önteni azt, amit a felhasználó rosszul csinál, majd beszédmodell segítségével továbbítja ezt az információt a felhasználó.

Elméletileg a OnePlus 16 GB RAM-ot biztosíthat általános használatra, de ezen felül további 8 GB RAM csak AI-hoz használják.

Természetesen az eszközön található mesterséges intelligencia másik fontos tényezője a magánélet. Ezekkel a modellekkel nagyon valószínű, hogy megosztaná velük személyes életének bizonyos részeit, amikor kérdéseket tesz fel, vagy akár csak a mesterséges intelligencia hozzáférést adva az okostelefonjához, aggodalomra adhat okot. Whealton azt mondja, hogy bármi, ami belép az SoC-be, rendkívül biztonságos, és ez az egyik oka annak, hogy az eszközön történő megtétele olyan fontos a Qualcomm számára.

Ennek érdekében a Qualcomm azt is bejelentette, hogy a Metával együttműködve lehetővé teszi a vállalat nyílt forráskódját A Llama 2 LLM futni fog Qualcomm eszközökön, és a tervek szerint 2010-től lesz elérhető az eszközökön. 2024.

Hogyan építhető be 24 GB RAM egy okostelefonba

A közelmúltbeli kiszivárogtatások a közelgőre utalnak OnePlus 12 akár 16 GB RAM-mal, kíváncsi lehet, mi történt azokkal a 24 GB RAM-ról szóló pletykákkal. A helyzet az, hogy ez nem zárja ki, hogy a OnePlus beépítse az eszközön található mesterséges intelligencia alkalmazását, és ennek megvan az oka.

Ahogy Whealton megjegyezte nekem, amikor a DRAM-ot vezérli, semmi sem akadályozza meg a RAM szegmentálásában, hogy a rendszer ne férhessen hozzá az egészhez. Elméletileg a OnePlus 16 GB RAM-ot biztosíthat általános használatra, de ezen felül további 8 GB RAM csak AI-hoz használják. Ebben az esetben nem lenne értelme a teljes RAM-szám részeként hirdetni, mivel a rendszer többi része nem fér hozzá. Ezenkívül nagyon valószínű, hogy ez a RAM-mennyiség még 8 GB-os vagy 12 GB-os RAM-konfigurációkban is statikus marad, mivel az AI igényei nem változnak.

Vagyis nem kizárt, hogy a OnePlus 12-ben továbbra is 24 GB RAM lesz; csak lehet, hogy a 8 GB hagyományosan nem elérhető. Az ilyen szivárgások, amelyek már a megjelenésük pillanatában jelentkeznek, jellemzően olyan személyektől származnak, akik részt vehetnek az eszköz tényleges gyártásában, így előfordulhat, hogy 24 GB RAM-mal dolgoztak, és nem voltak tudatában annak, hogy 8 GB nagyon konkrét célokra lefoglalható. Ez azonban teljesen találgatás a részemről, és ez egy kísérlet a szivárgások értelmezésére, ahol mind a Digital Chat Station, mind az OnLeaks képes mindkét igaza van.

Mindazonáltal a 24 GB RAM őrült mennyiség egy okostelefonban, és ahogy az ehhez hasonló funkciókat bemutatják, Soha nem volt még egyértelműbb, hogy az okostelefonok csak szupererős számítógépek, amelyek csak még nagyobbak lehetnek erős.