24 GB RAM w smartfonie? To nie jest tak szalone, jak mogłoby się wydawać.

Od jakiegoś czasu krążą pogłoski, że w przyszłym roku na rynku pojawią się smartfony z aż 24 GB pamięci RAM. To ogromna ilość pod każdym względem, przy czym najpopularniejsza konfiguracja pamięci RAM na komputerach do gier to skromne 16 GB w momencie pisania. 24 GB RAM brzmi jak absurdalna ilość, Ale, nie jeśli chodzi o sztuczną inteligencję.

AI jest głodna pamięci RAM

Jeśli chcesz uruchomić dowolny model AI na smartfonie, pierwszą rzeczą, którą musisz wiedzieć, jest to, że do uruchomienia w zasadzie dowolnego modelu potrzebny jest działka pamięci RAM. Właśnie dzięki tej filozofii potrzebujesz dużo VRAM podczas pracy z aplikacjami takimi jak Stable Diffusion i dotyczy to również modeli tekstowych. Zasadniczo modele te będą zazwyczaj ładowane do pamięci RAM na czas obciążenia i tak będzie Adziałka szybsze niż wykonywanie z pamięci.

Pamięć RAM jest szybsza z kilku powodów, ale dwa najważniejsze to mniejsze opóźnienia, ponieważ jest bliżej procesora i ma większą przepustowość. Ze względu na te właściwości konieczne jest załadowanie dużych modeli językowych (LLM) do pamięci RAM, ale następnym pytaniem, które zwykle następuje, jest dokładnie

ile W tych modelach używana jest pamięć RAM.

Gdyby Vicuna-7B miała obsługiwać Asystenta Google na urządzeniach użytkowników przy pomocy usług w chmurze, w teoretycznie mają wszystkie zalety LLM działającego na urządzeniu z dodatkową korzyścią polegającą na gromadzeniu danych w chmurze.

Jest wiele rzeczy wartych uwagi, jeśli chodzi o niektóre aktualnie wdrażane LLM, a jednym z nich, z którym ostatnio się bawiłem, jest Vicuna-7B. Jest to LLM przeszkolony na zestawie danych zawierającym 7 miliardów parametrów, który można wdrożyć na smartfonie z systemem Android za pośrednictwem MLC LLM, czyli uniwersalnej aplikacji pomagającej we wdrażaniu LLM. Do interakcji z nim na smartfonie z Androidem potrzeba około 6 GB RAM-u. Oczywiście nie jest tak zaawansowany, jak niektóre inne LLM dostępne obecnie na rynku, ale działa również całkowicie lokalnie, bez konieczności połączenia z Internetem. Dla kontekstu krążą pogłoski, że GPT-4 ma 1,76 bilion parametrów, a GPT-3 ma 175 miliardów.

Qualcomm i sztuczna inteligencja na urządzeniu

Podczas gdy mnóstwo firm prześciga się w tworzeniu własnych, dużych modeli językowych (i interfejsów do interakcji z nimi), Qualcomm koncentruje się na jednym kluczowym obszarze: wdrażaniu. Usługi w chmurze, z których korzystają firmy, kosztują miliony do obsługi najpotężniejszych chatbotów, a ChatGPT należący do OpenAI zapewnia firmie przychody do 700 000 dolarów rocznie dzień. Każde wdrożenie na urządzeniu, które wykorzystuje zasoby użytkownika, może zaoszczędzić dużo pieniędzy, szczególnie jeśli jest powszechne.

Qualcomm nazywa to „hybrydową sztuczną inteligencją” i łączy zasoby chmury i urządzenia, aby dzielić obliczenia tam, gdzie jest to najbardziej odpowiednie. Nie na wszystko to zadziała, ale gdyby Vicuna-7B miała zasilać Asystenta Google na urządzeniach ludzkich przy pomocy chmury usług, teoretycznie miałbyś wszystkie zalety LLM działającego na urządzeniu z dodatkową korzyścią polegającą na kolekcjonowaniu dane w chmurze. W ten sposób działa dla Google po tych samych kosztach co Asystent, ale bez żadnych dodatkowych kosztów ogólnych.

To tylko jeden ze sposobów, w jaki sztuczna inteligencja na urządzeniach radzi sobie z problemem kosztów, z którym borykają się obecnie firmy, ale tu właśnie pojawia się dodatkowy sprzęt. W przypadku smartfonów Qualcomm pokazał stabilną dyfuzję na smartfonie z Androidem zasilanym przez Snapdragon 8 Gen 2, z czym borykałoby się wiele obecnych komputerów. Od tego czasu firma pokazała, że ​​ControlNet działa również na urządzeniu z Androidem. Najwyraźniej od jakiegoś czasu przygotowywał sprzęt zdolny do intensywnych obciążeń AI, a MLC LLM to sposób, w jaki możesz to przetestować już teraz.

Na powyższym zrzucie ekranu widać, że jestem w trybie samolotowym z wyłączonym Wi-Fi i nadal działa bardzo dobrze. generuje około pięciu tokenów na sekundę, gdzie token to około pół słowa. Dlatego generuje około 2,5 słów na sekundę, co jest w zupełności wystarczające dla czegoś takiego. W obecnym stanie nie wchodzi w interakcję z Internetem, ale biorąc pod uwagę, że jest to oprogramowanie typu open source, firma mógłby wykorzystać pracę wykonaną przez MLC LLM i zespół odpowiedzialny za model Vicuna-7B i wdrożyć ją w innym użytecznym kontekst.

Zastosowania generatywnej sztucznej inteligencji na urządzeniu

Rozmawiałem z Karlem Whealtonem, starszym dyrektorem ds. zarządzania produktami w Qualcomm, który jest odpowiedzialny za procesory, procesory DSP, testy porównawcze i sprzęt AI. Opowiedział mi wszystko o różnych zastosowaniach modeli sztucznej inteligencji działających na chipsetach Snapdragon i dał mi wyobrażenie o tym, co może być obecnie możliwe na chipsetach Snapdragon. Mówi mi, że wnioskowanie mikropłytek Snapdragon 8 Gen 2 jest niesamowicie dobre w przypadku transformatorów, gdzie a transformator to model, który może śledzić relacje w danych sekwencyjnych (takich jak słowa w zdaniu), który może również się uczyć kontekst.

W tym celu zapytałem go o wymagania dotyczące pamięci RAM, o których obecnie krążą pogłoski, a on powiedział mi, że w przypadku modelu językowego dowolnego rodzaju i skali w zasadzie potrzebować aby załadować go do pamięci RAM. Następnie powiedział, że spodziewałby się, że jeśli producent OEM wdroży coś takiego w bardziej ograniczonym środowisku pamięci RAM, jest bardziej prawdopodobne, że użyliby mniejszego, być może bardziej wyspecjalizowanego modelu języka w mniejszym segmencie pamięci RAM, niż po prostu uruchomiliby go z pamięci urządzenie. W przeciwnym razie działanie byłoby brutalnie powolne i nie byłoby dobrym doświadczeniem dla użytkownika.

Przykładem wyspecjalizowanego przypadku użycia jest ten, o którym Qualcomm mówił niedawno na dorocznej konferencji Computer Konferencja na temat rozpoznawania wizji i wzorców — ta generatywna sztuczna inteligencja może ostatecznie pełnić rolę trenera fitness użytkownicy. Na przykład zorientowany wizualnie LLM może przeanalizować kanał wideo, aby następnie zobaczyć, co robi użytkownik, sprawdzić, czy robi to źle, przekazać wyniku na model językowy, który może ubrać w słowa to, co użytkownik robi źle, a następnie użyć modelu mowy do przekazania tej informacji użytkownik.

Teoretycznie OnePlus mógłby zapewnić 16 GB pamięci RAM do ogólnego użytku, ale do tego dodatkowe 8 GB pamięci RAM. tylko używany do sztucznej inteligencji.

Oczywiście innym ważnym czynnikiem sztucznej inteligencji na urządzeniu jest prywatność. W przypadku tych modeli jest bardzo prawdopodobne, że będziesz dzielić się z nimi fragmentami swojego życia osobistego, zadając pytania lub nawet po prostu zapewniając dostęp AI do smartfona, co może wywołać niepokój. Whealton mówi mi, że wszystko, co dostanie się do SoC, jest bardzo bezpieczne i że jest to „jeden z powodów”, dla których robienie tego na urządzeniu jest tak ważne dla Qualcomm.

W tym celu Qualcomm ogłosił również, że współpracuje z Meta, aby umożliwić firmie korzystanie z oprogramowania typu open source Llama 2 LLM ma działać na urządzeniach Qualcomm i ma zostać udostępniona urządzeniom począwszy od r 2024.

Jak można zintegrować 24 GB pamięci RAM w smartfonie

Z niedawnymi przeciekami wskazującymi na nadchodzącą OnePlus 12 z aż 16 GB RAM-u, możesz się zastanawiać, co się stało z plotkami o 24 GB pamięci RAM. Rzecz w tym, że nie uniemożliwia to OnePlus włączenia sztucznej inteligencji na urządzeniu i jest ku temu powód.

Jak zauważył Whealton, kiedy kontrolujesz pamięć DRAM, nic nie stoi na przeszkodzie, aby podzielić ją na segmenty tak, aby system nie miał dostępu do całej pamięci. Teoretycznie OnePlus mógłby zapewnić 16 GB pamięci RAM do ogólnego użytku, ale do tego dodatkowe 8 GB pamięci RAM. tylko używany do sztucznej inteligencji. W tym przypadku nie ma sensu reklamować jej jako części całkowitej ilości pamięci RAM, gdyż jest ona niedostępna dla reszty systemu. Co więcej, jest bardzo prawdopodobne, że ilość pamięci RAM pozostanie niezmienna nawet w konfiguracjach z 8 lub 12 GB pamięci RAM, ponieważ potrzeby sztucznej inteligencji nie ulegną zmianie.

Innymi słowy, nie jest wykluczone, że OnePlus 12 nadal będzie miał 24 GB pamięci RAM; po prostu 8 GB może nie być tradycyjnie dostępne. Tego typu wycieki pojawiają się zazwyczaj od osób, które mogą być zaangażowane w faktyczną produkcję urządzenia, więc może się zdarzyć, że pracowali z 24 GB pamięci RAM i nie zdawali sobie sprawy, że 8 GB można zarezerwować do bardzo konkretnych celów. To jednak z mojej strony całkowicie domysły i próba zrozumienia wycieków, w przypadku których zarówno Digital Chat Station, jak i OnLeaks mogą Zarówno mieć rację.

Niemniej jednak 24 GB pamięci RAM to szalona ilość w smartfonie, a wraz z wprowadzeniem takich funkcji, Nigdy nie było bardziej jasne, że smartfony to po prostu superwydajne komputery, które mogą stać się jeszcze większe potężny.