Није претерано узети у обзир да ће 24 ГБ РАМ-а бити норма за паметне телефоне у будућности, и то захваљујући АИ.
Већ неко време се ковитлају гласине да ће се следеће године појавити паметни телефони који ће имати невероватних 24 ГБ РАМ-а. То је огроман износ по било којој метрици, а најчешћа конфигурација РАМ-а на рачунарима за игре је скромних 16 ГБ у време писања. 24 ГБ РАМ-а звучи као смешна количина, али, не када је у питању АИ.
АИ је гладан РАМ-а
Ако желите да покренете било који АИ модел на паметном телефону, прва ствар коју треба да знате је да вам је за извршење било којег модела потребан лот РАМ-а. Та филозофија је разлог зашто вам треба много ВРАМ када радите са апликацијама као што је Стабле Диффусион, а примењује се и на моделе засноване на тексту. У основи, ови модели ће се обично учитавати у РАМ током трајања радног оптерећења, и алот брже од извршавања из складишта.
РАМ је бржа из неколико разлога, али два најважнија су то што је мања латенција, пошто је ближа ЦПУ-у и има већи пропусни опсег. Неопходно је учитати велике језичке моделе (ЛЛМ) у РАМ због ових својстава, али следеће питање које обично следи је управо
Ако би Вицуна-7Б покретао Гоогле помоћника на уређајима људи уз помоћ услуга у облаку, ви бисте, у теорије, имају све предности ЛЛМ-а који ради на уређају уз додатну предност прикупљања података у облаку.
Много тога вреди размотрити када су у питању неки ЛЛМ-ови који су тренутно у примени, а један са којим сам се недавно играо је Вицуна-7Б. То је ЛЛМ обучен на скупу података од 7 милијарди параметара који се могу применити на Андроид паметном телефону преко МЛЦ ЛЛМ, што је универзална апликација која помаже у примени ЛЛМ. Потребно је око 6 ГБ РАМ-а за интеракцију са њим на Андроид паметном телефону. Очигледно није тако напредан као неки други ЛЛМ тренутно на тржишту, али такође ради у потпуности локално без потребе за интернет везом. За контекст, прича се да ГПТ-4 има 1.76 трилиона параметара, а ГПТ-3 има 175 млрд.
Куалцомм и АИ на уређају
Док се многе компаније утркују да креирају сопствене велике језичке моделе (и интерфејсе за интеракцију са њима), Куалцомм се фокусира на једну кључну област: примену. Услуге у облаку које компаније користе по цени милиона да покреће најмоћније цхат ботове, а каже се да ОпенАИ ЦхатГПТ води компанију до 700.000 долара дан. Било која примена на уређају која користи ресурсе корисника може уштедети много новца, посебно ако је широко распрострањена.
Куалцомм ово назива „хибридном вештачком интелигенцијом“ и комбинује ресурсе облака и уређаја да би поделио рачунање тамо где је то најприкладније. Неће радити за све, али ако би Вицуна-7Б напајао Гоогле Ассистант на уређајима људи уз помоћ облака услуге, теоретски бисте имали све предности ЛЛМ-а који ради на уређају уз додатну корист прикупљања подаци засновани на облаку. На тај начин ради по истој цени за Гоогле као и помоћник, али без икаквих додатних трошкова.
То је само један од начина на који АИ на уређају заобилази проблем трошкова са којим се компаније тренутно суочавају, али ту долази додатни хардвер. У случају паметних телефона, Куалцомм показао стабилну дифузију на Андроид паметном телефону који покреће Снапдрагон 8 Ген 2, што је нешто са чиме би се многи садашњи рачунари заправо борили. Од тада, компанија је показала да ЦонтролНет ради и на Андроид уређају. Јасно је да је већ неко време припремао хардвер способан за интензивна АИ оптерећења, а МЛЦ ЛЛМ је начин на који то можете тестирати управо сада.
Са горњег снимка екрана, имајте на уму да сам у режиму авиона са искљученим Ви-Фи-јем и да и даље ради веома добро. генерише отприлике пет токена у секунди, где је токен око пола речи. Дакле, генерише око 2,5 речи у секунди, што је доста брзо за овако нешто. Не комуницира са интернетом у његовом тренутном стању, али имајући у виду да је све ово компанија отвореног кода могао преузети посао који су обавили МЛЦ ЛЛМ и тим који стоји иза модела Вицуна-7Б и имплементирати га у још једну корисну контекст.
Примене генеративне АИ на уређају
Разговарао сам са Карлом Вхеалтоном, вишим директором управљања производима у компанији Куалцомм, који је одговоран за ЦПУ, ДСП, бенцхмаркинг и АИ хардвер. Рекао ми је све о различитим применама АИ модела који раде на Снапдрагон чипсетима и дао ми је идеју о томе шта је данас могуће на Снапдрагон чипсетима. Он ми каже да је закључак о микро плочицама Снапдрагон 8 Ген 2 невероватно добар са трансформаторима, где трансформатор је модел који може да прати односе у секвенцијалним подацима (попут речи у реченици) који такође могу да уче контекст.
У том циљу, питао сам га о оним захтевима РАМ-а о којима се тренутно прича, а он ми је рекао да са језичким моделом било које врсте или размере, у суштини потреба да га учитате у РАМ. Даље је рекао да би очекивао ако би ОЕМ имплементирао нешто овако у ограниченијем РАМ окружењу, вероватније је да користили би мањи, можда специјализованији језички модел у мањем сегменту РАМ-а него што би га једноставно покренули из складишта уређај. Иначе би било брутално споро и не би било добро корисничко искуство.
Пример специјализованог случаја употребе је онај о коме је Куалцомм недавно говорио на годишњем Цомпутер Цомпутер Конференција о визији и препознавању узорака — та генеративна АИ може деловати као фитнес тренер за крај корисника. На пример, визуелно утемељен ЛЛМ може анализирати видео фид да би затим видео шта корисник ради, анализирао да ли то ради погрешно, хранио резултирати језичким моделом који може да изрази у речима шта корисник ради погрешно, а затим користи модел говора да пренесе ту информацију корисник.
У теорији, ОнеПлус би могао да обезбеди 16 ГБ РАМ-а за општу употребу, али додатних 8 ГБ РАМ-а поврх тога само користи се за АИ.
Наравно, други важан фактор у АИ на уређају је приватност. Са овим моделима, врло је вероватно да ћете делити делове свог личног живота са њима када постављате питања, или чак само давање АИ приступа вашем паметном телефону може забрињавати људе. Вхеалтон ми каже да је све што уђе у СоЦ веома безбедно и да је то „један од разлога због којих је то што се ради на уређају толико важно за Куалцомм.
У том циљу, Куалцомм је такође најавио да сарађује са Метом како би омогућио отворени код компаније Ллама 2 ЛЛМ ће радити на Куалцомм уређајима, а планирано је да буде доступан уређајима почевши од 2024.
Како се 24 ГБ РАМ-а може уградити у паметни телефон
Извор: Смартприк
Са недавним цурењима која указују на предстојеће ОнеПлус 12 пакује до 16 ГБ РАМ-а, можда се запитате шта се догодило са тим гласинама о 24 ГБ РАМ-а. Ствар је у томе што то не спречава ОнеПлус да укључи АИ на уређају, а за то постоји разлог.
Као што ми је Вхеалтон приметио, када контролишете ДРАМ, ништа вас не спречава да сегментирате РАМ тако да систем не може да приступи свему. У теорији, ОнеПлус би могао да обезбеди 16 ГБ РАМ-а за општу употребу, али додатних 8 ГБ РАМ-а поврх тога само користи се за АИ. У овом случају, не би имало смисла да га оглашавате као део укупног броја РАМ меморије, јер је недоступан остатку система. Штавише, врло је вероватно да ће ова количина РАМ-а остати статична чак и у конфигурацијама од 8 ГБ или 12 ГБ РАМ-а, јер се потребе АИ неће променити.
Другим речима, није искључено да ће ОнеПлус 12 и даље имати 24 ГБ РАМ-а; само што 8 ГБ можда није традиционално доступно. Оваква цурења која се јављају већ када дођу обично се јављају од људи који су можда укључени у стварну производњу уређаја, тако да може бити случај да су радили са 24 ГБ РАМ-а и нису били свесни да 8 ГБ може бити резервисано за врло специфичне сврхе. То је, међутим, потпуно нагађање са моје стране, и то је покушај да се схвати цурење где и Дигитал Цхат Статион и ОнЛеакс могу и једно и друго бити у праву.
Без обзира на то, 24 ГБ РАМ-а је луда количина у паметном телефону, а пошто се функције попут ових уводе, никад није било јасније да су паметни телефони само супер моћни рачунари који могу само да постану више моћан.