24GB RAM в смартфон? Не е толкова луд, колкото си мислите.

От известно време се носят слухове, че през следващата година ще се появят смартфони, които ще имат огромните 24 GB RAM. Това е огромна сума по всеки показател, като най-често срещаната конфигурация на RAM на компютри за игри е скромните 16 GB към момента на писане. 24GB RAM звучи като нелепо количество, но, не когато става въпрос за AI.

AI е гладен за RAM

Ако искате да стартирате който и да е AI модел на смартфон, първото нещо, което трябва да знаете е, че за да изпълните практически всеки модел, имате нужда от много на RAM. Тази философия е причината да имате нужда от много VRAM когато работите с приложения като Stable Diffusion и се отнася и за текстови модели. По принцип тези модели обикновено се зареждат в RAM за продължителността на работното натоварване и това е амного по-бързо от изпълнение от хранилище.

RAM е по-бърза поради няколко причини, но двете най-важни са, че има по-ниска латентност, тъй като е по-близо до процесора и има по-висока честотна лента. Необходимо е да се заредят големи езикови модели (LLM) в RAM поради тези свойства, но следващият въпрос, който обикновено следва, е точно

колко RAM се използва от тези модели.

Ако Vicuna-7B захранваше Google Assistant на устройствата на хората с помощта на облачни услуги, вие бихте теория, имат всички предимства на LLM, работещи на устройство, с допълнителната полза от събирането на данни, базирани на облак.

Има много неща, които си струва да се разгледат, когато става въпрос за някои LLM, които в момента се внедряват, и един, с който си играх наскоро, беше Vicuna-7B. Това е LLM, обучен върху набор от данни от 7 милиарда параметри, които могат да бъдат внедрени на смартфон с Android чрез MLC LLM, което е универсално приложение, което подпомага внедряването на LLM. Необходими са около 6 GB RAM, за да взаимодействате с него на смартфон с Android. Очевидно не е толкова напреднал, колкото някои други LLMs на пазара в момента, но също така работи изцяло локално, без да е необходима интернет връзка. За контекст се говори, че GPT-4 има 1.76 трилиона параметри, а GPT-3 има 175 милиарда.

Qualcomm и AI на устройството

Докато тонове компании се надпреварват да създадат свои собствени големи езикови модели (и интерфейси за взаимодействие с тях), Qualcomm се фокусира върху една ключова област: внедряването. Облачните услуги, които компаниите използват, струват милиони да управлява най-мощните чатботове, а ChatGPT на OpenAI се казва, че управлява компанията до $700 000 на ден. Всяко внедряване на устройството, което използва ресурсите на потребителя, може да спести много пари, особено ако е широко разпространено.

Qualcomm нарича това „хибриден AI“ и той комбинира ресурсите на облака и устройството, за да раздели изчисленията там, където е най-подходящо. Няма да работи за всичко, но ако Vicuna-7B захранва Google Assistant на устройствата на хората с малко помощ от облака услуги, на теория бихте имали всички предимства на LLM, работещ на устройство с допълнителната полза от събирането облачно базирани данни. По този начин той работи на същата цена за Google като Assistant, но без никакви допълнителни режийни разходи.

Това е само един от начините AI на устройството да заобиколи проблема с разходите, пред който компаниите са изправени в момента, но тук се намесва допълнителен хардуер. В случай на смартфони, Qualcomm показа стабилна дифузия на смартфон с Android, захранван от Snapdragon 8 Gen 2, което е нещо, с което много настоящи компютри всъщност биха се затруднили. Оттогава компанията показа ControlNet, работещ и на устройство с Android. Ясно е, че известно време подготвя хардуер, способен на интензивни натоварвания на AI, и MLC LLM е начин, по който можете да го тествате точно сега.

От горната екранна снимка имайте предвид, че съм в самолетен режим с изключен Wi-Fi и той все още работи много добре. той генерира с приблизително пет токена в секунда, където токенът е около половин дума. Следователно той генерира около 2,5 думи в секунда, което е доста бързо за нещо подобно. Той не взаимодейства с интернет в сегашното си състояние, но като се има предвид, че всичко това е с отворен код, компания може да вземе работата, извършена от MLC LLM и екипа зад модела Vicuna-7B, и да я приложи в друга полезна контекст.

Приложения на генеративен AI на устройството

Говорих с Карл Уилтън, старши директор продуктов мениджмънт в Qualcomm, който отговаря за CPU, DSP, бенчмаркинг и AI хардуер. Той ми разказа всичко за различните приложения на AI модели, работещи на чипсети Snapdragon, и ми даде представа какво може да е възможно на чипсетите Snapdragon днес. Той ми каза, че изводите за микроплочки на Snapdragon 8 Gen 2 са невероятно добри с трансформатори, където transformer е модел, който може да проследява връзки в последователни данни (като думи в изречение), които също могат да се учат контекстът.

За тази цел го попитах за онези изисквания за RAM, за които се носят слухове в момента, и той ми каза, че с езиков модел от всякакъв вид или мащаб вие основно трябва за да го заредите в RAM. Той каза още, че би очаквал, ако OEM внедри нещо подобно в по-ограничена RAM среда, по-вероятно е, че те биха използвали по-малък, може би по-специализиран езиков модел в по-малък сегмент от RAM, отколкото просто да го пуснат от хранилището на устройство. В противен случай би било брутално бавно и не би било добро потребителско изживяване.

Пример за специализиран случай на употреба е този, за който Qualcomm говори наскоро на годишния Computer Конференция за визия и разпознаване на модели — че генеративният AI може да действа като фитнес треньор за края потребители. Например, визуално базиран LLM може да анализира видео емисия, за да види след това какво прави потребителят, да анализира дали го прави грешно, да захрани доведе до езиков модел, който може да изрази с думи това, което потребителят прави погрешно, и след това да използва речев модел, за да предаде тази информация на потребител.

На теория OnePlus може да осигури 16 GB RAM за обща употреба, но допълнителни 8 GB RAM в допълнение към това е само използвани за AI.

Разбира се, другият важен фактор в AI на устройството е поверителността. С тези модели е много вероятно да споделяте части от личния си живот с тях, когато задавате въпроси или дори самото предоставяне на AI достъп до вашия смартфон може да разтревожи хората. Whealton ми казва, че всичко, което влиза в SoC, е силно защитено и че това е „една от причините“ да го правим на устройството е толкова важно за Qualcomm.

За тази цел Qualcomm също обяви, че работи с Meta, за да активира отворения код на компанията Llama 2 LLM ще работи на устройства на Qualcomm, като е планирано да бъде достъпен за устройства от 2024.

Как 24 GB RAM могат да бъдат включени в смартфон

С последните изтичания, сочещи предстоящото OnePlus 12 с до 16 GB RAM, може да се чудите какво се е случило с тези слухове за 24 GB RAM. Работата е там, че това не пречи на OnePlus да включва AI на устройството и има причина за това.

Както Whealton ми отбеляза, когато контролирате DRAM, нищо не ви пречи да сегментирате RAM, така че системата да няма достъп до цялата. На теория OnePlus може да осигури 16 GB RAM за обща употреба, но допълнителни 8 GB RAM в допълнение към това е само използвани за AI. В този случай не би имало смисъл да го рекламирате като част от общия брой RAM, тъй като е недостъпен за останалата част от системата. Освен това е много вероятно това количество RAM да остане статично дори в конфигурации с 8 GB или 12 GB RAM, тъй като нуждите на AI няма да се променят.

С други думи, не е изключено OnePlus 12 все още да има 24GB RAM; просто 8GB може да не са традиционно достъпни. Течове като тези, които са още в момента, в който се появяват, обикновено възникват от хора, които може да участват в действителното производство на устройството, така че може да се окаже, че са работили с 24 GB RAM и не са знаели, че 8 GB могат да бъдат запазени за много специфични цели. Това обаче са изцяло догадки от моя страна и е опит за осмисляне на течовете, където и Digital Chat Station, и OnLeaks могат и двете да е прав.

Въпреки това, 24 GB RAM е лудо количество за смартфон и с въвеждането на функции като тези, никога не е било по-ясно, че смартфоните са просто супер мощни компютри, които могат да стават повече мощен.