24 ГБ ОЗУ в смартфоне? Это не так безумно, как вы думаете.

Уже некоторое время ходят слухи о том, что в следующем году появятся смартфоны с колоссальными 24 ГБ оперативной памяти. Это огромная сумма по любым показателям: наиболее распространенная конфигурация оперативной памяти на игровых ПК составляет скромные 16 ГБ. на момент написания. 24 ГБ ОЗУ звучат как смехотворное количество. но, а не когда дело касается ИИ.

ИИ жаждет оперативной памяти

Если вы хотите запустить любую модель ИИ на смартфоне, первое, что вам нужно знать, это то, что для выполнения практически любой модели вам понадобится много оперативной памяти. Именно эта философия объясняет, почему вам нужно много видеопамять при работе с такими приложениями, как Stable Diffusion, а также к текстовым моделям. По сути, эти модели обычно загружаются в оперативную память на время рабочей нагрузки, и это амного быстрее, чем выполнение из хранилища.

Оперативная память работает быстрее по нескольким причинам, но две наиболее важные из них — это меньшая задержка, поскольку она ближе к процессору и имеет более высокую пропускную способность. Из-за этих свойств необходимо загружать большие языковые модели (LLM) в ОЗУ, но обычно возникает следующий вопрос: сколько? Эти модели используют ОЗУ.

Если бы Vicuna-7B запускал Google Assistant на устройствах людей с помощью облачных сервисов, вы бы, в Теоретически, обладают всеми преимуществами LLM, работающего на устройстве, с дополнительным преимуществом сбора данных в облаке.

Когда дело доходит до некоторых LLM, находящихся в настоящее время в эксплуатации, есть на что обратить внимание, и одним из тех, с которыми я недавно экспериментировал, был Vicuna-7B. Это LLM, обученный на наборе данных из 7 миллиардов параметров, который можно развернуть на смартфоне Android с помощью MLC LLM, универсального приложения, помогающего в развертывании LLM. Для взаимодействия с ним на Android-смартфоне требуется около 6 ГБ оперативной памяти. Очевидно, что он не так продвинут, как некоторые другие программы LLM, представленные на рынке сейчас, но он также работает полностью локально, без необходимости подключения к Интернету. Для контекста ходят слухи, что GPT-4 имеет 1,76. триллион параметры, а у GPT-3 — 175 миллиардов.

Qualcomm и искусственный интеллект на устройстве

В то время как множество компаний стремятся создать свои собственные большие языковые модели (и интерфейсы для взаимодействия с ними), Qualcomm сосредоточилась на одной ключевой области: развертывании. Облачные сервисы, которыми пользуются компании, стоят дорого миллионы для запуска самых мощных чат-ботов, а ChatGPT от OpenAI, как говорят, приносит компании доход до 700 000 долларов в год. день. Любое развертывание на устройстве, использующее ресурсы пользователя, может сэкономить много денег, особенно если оно широко распространено.

Qualcomm называет это «гибридным искусственным интеллектом» и объединяет ресурсы облака и устройства для разделения вычислений там, где это наиболее целесообразно. Это не будет работать для всего, но если Vicuna-7B будет включать Google Assistant на устройствах людей с некоторой помощью облака сервисов, теоретически вы получите все преимущества LLM, работающего на устройстве, с дополнительным преимуществом сбора облачные данные. Таким образом, он будет работать для Google по той же цене, что и Assistant, но без каких-либо дополнительных затрат.

Это всего лишь один из способов, с помощью которого ИИ на устройстве решает проблему затрат, с которой компании сталкиваются в настоящее время, но именно здесь на помощь приходит дополнительное оборудование. В случае со смартфонами Qualcomm продемонстрировал стабильную диффузию на смартфоне Android на базе Snapdragon 8 Gen 2, с чем многие современные компьютеры действительно столкнулись бы. С тех пор компания продемонстрировала работу ControlNet и на устройстве Android. Очевидно, что компания уже некоторое время готовит оборудование, способное выполнять интенсивные рабочие нагрузки искусственного интеллекта, и MLC LLM — это способ протестировать это прямо сейчас.

На скриншоте выше обратите внимание, что я нахожусь в режиме полета с отключенным Wi-Fi, и он по-прежнему работает очень хорошо. он генерирует примерно пять токенов в секунду, где токен составляет примерно половину слова. Таким образом, он генерирует около 2,5 слов в секунду, что достаточно быстро для чего-то подобного. В его нынешнем состоянии он не взаимодействует с Интернетом, но, учитывая, что все это с открытым исходным кодом, компания мог бы взять на вооружение работу, проделанную MLC LLM и командой, создавшей модель Vicuna-7B, и реализовать ее в другом полезном контекст.

Применение генеративного искусственного интеллекта на устройстве

Я разговаривал с Карлом Уилтоном, старшим директором по управлению продуктами Qualcomm, который отвечает за процессоры, DSP, бенчмаркинг и аппаратное обеспечение искусственного интеллекта. Он рассказал мне все о различных приложениях моделей искусственного интеллекта, работающих на чипсетах Snapdragon, и дал мне представление о том, что сегодня возможно на чипсетах Snapdragon. Он рассказал мне, что вывод микротайлов Snapdragon 8 Gen 2 невероятно хорош при работе с трансформаторами, где Трансформатор — это модель, которая может отслеживать отношения в последовательных данных (например, слова в предложении), а также может обучаться. контекст.

С этой целью я спросил его о тех требованиях к оперативной памяти, о которых сейчас ходят слухи, и он сказал мне, что с языковой моделью любого типа и масштаба вы, по сути, нуждаться чтобы загрузить его в ОЗУ. Далее он сказал, что, по его мнению, если бы OEM-производитель реализовал что-то подобное в более ограниченной среде оперативной памяти, более вероятно, что они будут использовать меньшую, возможно, более специализированную языковую модель в меньшем сегменте оперативной памяти, чем просто запускать ее из хранилища устройство. В противном случае это было бы очень медленно и не было бы удобно для пользователя.

Примером специализированного варианта использования является тот, о котором компания Qualcomm недавно рассказала на ежегодной компьютерной конференции. Конференция «Видение и распознавание образов»: генеративный ИИ может выступать в роли тренера по фитнесу в конечном итоге. пользователи. Например, LLM с визуальной основой может анализировать видеопоток, чтобы затем увидеть, что делает пользователь, проанализировать, делают ли они это неправильно, передать Результатом является языковая модель, которая может выразить словами, что пользователь делает неправильно, а затем использовать речевую модель для передачи этой информации пользователь.

Теоретически OnePlus может предоставить 16 ГБ ОЗУ для общего использования, но дополнительно к этому необходимо добавить еще 8 ГБ ОЗУ. только используется для ИИ.

Конечно, другим важным фактором искусственного интеллекта на устройстве является конфиденциальность. С этими моделями весьма вероятно, что вы будете делиться с ними частями своей личной жизни, задавая вопросы, или даже просто предоставление ИИ-доступа к вашему смартфону может беспокоить людей. Уилтон говорит мне, что все, что входит в SoC, имеет высокую степень безопасности, и это «одна из причин», по которой выполнение этого на устройстве так важно для Qualcomm.

С этой целью Qualcomm также объявила, что работает с Meta, чтобы сделать возможным использование открытого исходного кода компании. Llama 2 LLM будет работать на устройствах Qualcomm, и его планируется сделать доступным для устройств, начиная с 2024.

Как в смартфон можно встроить 24 ГБ оперативной памяти

Недавние утечки указывают на предстоящее OnePlus 12 оснащен до 16 ГБ оперативной памяти, вы можете задаться вопросом, что случилось со слухами о 24 ГБ ОЗУ. Дело в том, что это не мешает OnePlus включать искусственный интеллект на устройстве, и для этого есть причина.

Как заметил мне Уилтон, когда вы управляете DRAM, ничто не мешает вам сегментировать ОЗУ так, чтобы система не могла получить доступ ко всей ней. Теоретически OnePlus может предоставить 16 ГБ ОЗУ для общего использования, но дополнительно к этому необходимо добавить еще 8 ГБ ОЗУ. только используется для ИИ. В этом случае не имеет смысла объявлять ее как часть общего количества оперативной памяти, поскольку она недоступна остальной части системы. Более того, весьма вероятно, что этот объем оперативной памяти останется неизменным даже в конфигурациях с 8 ГБ или 12 ГБ, поскольку потребности ИИ не изменятся.

Другими словами, не исключено, что OnePlus 12 по-прежнему будет иметь 24 ГБ оперативной памяти; просто 8 ГБ традиционно могут быть недоступны. Подобные утечки, возникающие уже на ранней стадии, обычно возникают от людей, которые могут быть вовлечены в фактическое производство устройства. так что, возможно, они работали с 24 ГБ ОЗУ и не знали, что 8 ГБ можно зарезервировать для очень конкретных целей. Однако с моей стороны это всего лишь догадки, и это попытка разобраться в утечках, где это могут сделать и Digital Chat Station, и OnLeaks. оба быть правым.

Тем не менее, 24 ГБ ОЗУ — это сумасшедший объем для смартфона, и с появлением подобных функций еще никогда не было так ясно, что смартфоны — это просто сверхмощные компьютеры, которые могут только становиться больше мощный.