24 GB RAM viedtālrunī? Tas nav tik traki, kā jūs varētu domāt.

Jau kādu laiku klīst baumas, ka nākamā gada laikā būs pieejami viedtālruņi ar milzīgu 24 GB RAM. Tas ir milzīgs daudzums pēc jebkura rādītāja, jo visizplatītākā RAM konfigurācija spēļu datoros ir 16 GB. rakstīšanas laikā. 24 GB RAM izklausās pēc smieklīgas summas, bet, nevis tad, kad runa ir par AI.

AI ir izsalcis RAM

Ja vēlaties viedtālrunī palaist jebkuru AI modeli, pirmā lieta, kas jums jāzina, ir tas, ka, lai izpildītu būtībā jebkuru modeli, jums ir nepieciešams daudz RAM. Šī filozofija ir iemesls, kāpēc jums ir nepieciešams daudz VRAM strādājot ar tādām lietojumprogrammām kā Stable Diffusion, un tas attiecas arī uz teksta modeļiem. Būtībā šie modeļi parasti tiks ielādēti RAM uz darba slodzes laiku, un tā arī ir adaudz ātrāk nekā izpilde no krātuves.

RAM ir ātrāka vairāku iemeslu dēļ, taču divi vissvarīgākie ir mazāks latentums, jo tā atrodas tuvāk centrālajam procesoram un tai ir lielāks joslas platums. Šo īpašību dēļ RAM ir jāielādē lieli valodu modeļi (LLM), taču nākamais jautājums, kas parasti seko, ir tieši

cik daudz Šajos modeļos tiek izmantota RAM.

Ja Vicuna-7B izmantotu Google palīgu cilvēku ierīcēs ar mākoņpakalpojumu palīdzību, jūs teorijā, ir visas priekšrocības, ko sniedz LLM, kas darbojas ierīcē, kā arī papildu ieguvums — mākoņdatošanas datu apkopošana.

Ir daudz ko vērts izpētīt, runājot par dažiem LLM, kas pašlaik tiek ieviesti, un viens, ar ko es nesen spēlēju, ir Vicuna-7B. Tā ir LLM, kas apmācīta, izmantojot 7 miljardu parametru datu kopu, ko var izvietot Android viedtālrunī, izmantojot MLC LLM, kas ir universāla lietotne, kas palīdz LLM izvietošanā. Lai mijiedarbotos ar to Android viedtālrunī, ir nepieciešami aptuveni 6 GB RAM. Acīmredzot tas nav tik attīstīts kā daži citi LLM šobrīd tirgū, taču tas darbojas arī pilnībā lokāli, bez nepieciešamības izveidot interneta savienojumu. Attiecībā uz kontekstu tiek baumots, ka GPT-4 ir 1,76 triljoni parametriem, un GPT-3 ir 175 mljrd.

Qualcomm un ierīces AI

Kamēr daudzi uzņēmumi sacenšas, lai izveidotu savus lielos valodu modeļus (un saskarnes, lai ar tiem mijiedarbotos), Qualcomm ir koncentrējies uz vienu galveno jomu: izvietošanu. Mākoņpakalpojumi, ko uzņēmumi izmanto, maksā miljoniem lai palaistu jaudīgākos tērzēšanas robotus, un tiek uzskatīts, ka OpenAI ChatGPT nodrošinās uzņēmuma darbību līdz pat 700 000 USD gadā. diena. Jebkura izvietošana ierīcē, kas izmanto lietotāja resursus, var ietaupīt daudz naudas, it īpaši, ja tā ir plaši izplatīta.

Qualcomm to dēvē par "hibrīdu AI", un tas apvieno mākoņa un ierīces resursus, lai sadalītu aprēķinus, kur tas ir vispiemērotākais. Tas nedarbosies visiem, taču, ja Vicuna-7B ar mākoņa palīdzību darbinātu Google palīgu cilvēku ierīcēs pakalpojumus, jums teorētiski būtu visas priekšrocības, ko sniedz LLM, kas darbojas ierīcē, kā arī papildu ieguvums uz mākoņiem balstīti dati. Tādā veidā tas darbojas par tādām pašām izmaksām Google kā Asistents, taču bez papildu pieskaitāmām izmaksām.

Tas ir tikai viens veids, kā ierīcē iebūvētais mākslīgais intelekts var apiet izmaksu problēmu, ar kuru uzņēmumi pašlaik saskaras, taču šeit tiek izmantota papildu aparatūra. Viedtālruņu gadījumā Qualcomm demonstrēja Stabilo difūziju Android viedtālrunī, ko darbina Snapdragon 8 Gen 2, ar ko daudzi pašreizējie datori patiešām cīnītos. Kopš tā laika uzņēmums ir parādījis, ka ControlNet darbojas arī Android ierīcē. Tas nepārprotami jau kādu laiku ir sagatavojis aparatūru, kas spēj izturēt intensīvas AI darba slodzes, un MLC LLM ir veids, kā to šobrīd varat pārbaudīt.

Iepriekš redzamajā ekrānuzņēmumā ņemiet vērā, ka esmu lidmašīnas režīmā ar izslēgtu Wi-Fi, un tas joprojām darbojas ļoti labi. tas ģenerē aptuveni piecus marķierus sekundē, kur marķieris ir apmēram puse vārda. Tāpēc tas ģenerē aptuveni 2,5 vārdus sekundē, kas ir pietiekami ātri kaut kam līdzīgam. Pašreizējā stāvoklī tas nesadarbojas ar internetu, bet, ņemot vērā, ka tas viss ir atvērtā koda uzņēmums varētu veikt MLC LLM un Vicuna-7B modeļa komandas paveikto un ieviest to citā noderīgā kontekstā.

Ierīces ģeneratīvā AI lietojumprogrammas

Es runāju ar Karlu Viltonu, Qualcomm produktu pārvaldības vecāko direktoru, kurš ir atbildīgs par CPU, DSP, salīdzinošo novērtēšanu un AI aparatūru. Viņš man pastāstīja visu par dažādām AI modeļu lietojumprogrammām, kas darbojas ar Snapdragon mikroshēmojumiem, un sniedza man priekšstatu par to, kas šodien var būt iespējams Snapdragon mikroshēmojumos. Viņš man saka, ka Snapdragon 8 Gen 2 mikroflīžu secinājumi ir neticami labi ar transformatoriem, kur transformators ir modelis, kas var izsekot attiecības secīgos datos (piemēram, vārdus teikumā), kas var arī mācīties kontekstu.

Šajā nolūkā es viņam jautāju par tām RAM prasībām, par kurām pašlaik tiek baumots, un viņš man teica, ka ar jebkāda veida vai mēroga valodas modeli jūs būtībā nepieciešams lai to ielādētu RAM. Viņš turpināja teikt, ka, ja oriģinālā aprīkojuma ražotājs kaut ko līdzīgu ieviestu ierobežotākā RAM vidē, viņš varētu sagaidīt, ka viņi izmantotu mazāku, iespējams, specializētāku valodas modeli mazākā RAM segmentā, nevis vienkārši palaistu to no RAM krātuves. ierīci. Citādi tas darbotos nežēlīgi lēni un nesniegtu labu lietotāja pieredzi.

Specializēta lietošanas gadījuma piemērs ir tas, par ko Qualcomm nesen runāja ikgadējā datorā Vīzijas un modeļu atpazīšanas konference — ka ģeneratīvais AI var darboties kā fitnesa treneris lietotājiem. Piemēram, vizuāli pamatots LLM var analizēt video plūsmu, lai pēc tam redzētu, ko lietotājs dara, analizētu, vai viņš to dara nepareizi, rezultāts valodas modelim, kas var izteikt vārdos to, ko lietotājs dara nepareizi, un pēc tam izmantot runas modeli, lai pārraidītu šo informāciju lietotājs.

Teorētiski OnePlus varētu nodrošināt 16 GB RAM vispārējai lietošanai, bet papildus 8 GB RAM. tikai izmanto AI.

Protams, otrs svarīgs ierīces AI faktors ir privātums. Izmantojot šos modeļus, ir ļoti iespējams, ka, uzdodot jautājumus, jūs dalīsities ar viņiem savas personīgās dzīves daļās vai pat vienkārši piešķirat AI piekļuvi viedtālrunim, tas var satraukt cilvēkus. Viltons man saka, ka viss, kas nonāk SoC, ir ļoti drošs un ka tas ir "viens no iemesliem", kas uzņēmumam Qualcomm ir tik svarīgi darīt to ierīcē.

Šajā nolūkā Qualcomm arī paziņoja, ka sadarbojas ar Meta, lai iespējotu uzņēmuma atvērtā koda darbību Llama 2 LLM darbosies Qualcomm ierīcēs, un ir plānots, ka tas būs pieejams ierīcēm, sākot no 2024.

Kā viedtālrunī var iekļaut 24 GB RAM

Ar nesenajām noplūdēm, kas norāda uz gaidāmo OnePlus 12 komplektā līdz 16 GB RAM, jūs varētu brīnīties, kas noticis ar šīm baumām par 24 GB RAM. Lieta ir tāda, ka tas neliedz OnePlus iekļaut ierīces AI, un tam ir iemesls.

Kā man atzīmēja Viltons, kad jūs kontrolējat DRAM, nekas neliedz jums segmentēt RAM, lai sistēma nevarētu tai piekļūt. Teorētiski OnePlus varētu nodrošināt 16 GB RAM vispārējai lietošanai, bet papildus 8 GB RAM. tikai izmanto AI. Šajā gadījumā nebūtu jēgas to reklamēt kā daļu no kopējā RAM skaita, jo tā nav pieejama pārējai sistēmai. Turklāt ir ļoti iespējams, ka šis RAM apjoms paliktu nemainīgs pat 8 GB vai 12 GB RAM konfigurācijās, jo AI vajadzības nemainīsies.

Citiem vārdiem sakot, nav izslēgts, ka OnePlus 12 joprojām būs 24 GB RAM; vienkārši 8GB var nebūt tradicionāli pieejams. Šādas noplūdes, kas rodas jau pēc tās, parasti atklāj cilvēki, kas var būt iesaistīti faktiskajā ierīces ražošanā, tāpēc var gadīties, ka viņi ir strādājuši ar 24 GB RAM un nav zinājuši, ka 8 GB var rezervēt ļoti konkrētiem mērķiem. Tomēr tas ir tikai minējums no manas puses, un tas ir mēģinājums saprast noplūdes, kur gan Digital Chat Station, gan OnLeaks var gan esi taisnība.

Tomēr 24 GB RAM viedtālrunī ir neprātīgs daudzums, un, ieviešot šādas funkcijas, nekad nav bijis tik skaidrs, ka viedtālruņi ir tikai īpaši jaudīgi datori, kas var kļūt tikai vēl vairāk spēcīgs.