将来、スマートフォンの 24GB RAM が標準になるのは、AI のおかげであると考えるのはそれほど突飛なことではありません。
来年にはなんと24GBのRAMを搭載したスマートフォンが登場するという噂がしばらく飛び交っている。 これはどのような基準から見ても膨大な量であり、ゲーム用 PC の最も一般的な RAM 構成はわずか 16GB です。 執筆時点では. 24GB RAM というのは途方もない量のように思えますが、 しかしAIの場合はそうではありません。
AI は RAM を大量に消費します
スマートフォンで AI モデルを実行したい場合、まず知っておく必要があるのは、基本的にどのモデルでも実行するには、 多く RAMの。 その哲学があるからこそ、多くのものが必要になります。 VRAM Stable Diffusion などのアプリケーションを使用する場合、テキストベースのモデルにも適用されます。 基本的に、これらのモデルは通常、ワークロード中に RAM にロードされます。 ある多く ストレージから実行するよりも高速です。
RAM の方が高速な理由はいくつかありますが、最も重要な 2 つは、CPU に近いため遅延が少ないことと、帯域幅が高いことです。 これらの特性のため、大規模言語モデル (LLM) を RAM にロードする必要がありますが、通常次の質問が続きます。 いくら これらのモデルでは RAM が使用されます。
Vicuna-7B がクラウド サービスの助けを借りて人々のデバイスに Google アシスタントを搭載できるとしたら、あなたは次のようにするでしょう。 理論的には、デバイス上で実行される LLM のすべての利点に加えて、クラウドベースのデータを収集するという追加の利点もあります。
現在展開中のいくつかの LLM については、検討する価値のあるものがたくさんあります。私が最近試しているものの 1 つは、Vicuna-7B です。 これは、70 億パラメータのデータセットでトレーニングされた LLM であり、LLM の展開を支援するユニバーサル アプリである MLC LLM を介して Android スマートフォンに展開できます。 Android スマートフォンで操作するには、約 6 GB の RAM が必要です。 現在市場にある他の LLM ほど高度ではないことは明らかですが、インターネット接続を必要とせずに完全にローカルで実行されます。 ちなみに、GPT-4 の値は 1.76 であるという噂があります。
兆 GPT-3 には 1,750 億のパラメータがあります。クアルコムとオンデバイス AI
多くの企業が独自の大規模な言語モデル (およびそれらと対話するためのインターフェイス) の作成を競う中、クアルコムは 1 つの重要な領域、つまり展開に焦点を当ててきました。 企業がコストを活用して利用できるクラウドサービス 何百万もの 最も強力なチャットボットを実行するために、OpenAI の ChatGPT によって会社は 1 件あたり最大 70 万ドルの収益を上げると言われています。 日. ユーザーのリソースを活用するデバイス上での展開は、特にそれが広く普及している場合に、大幅なコストを節約できます。
クアルコムはこれを「ハイブリッド AI」と呼んでおり、クラウドとデバイスのリソースを組み合わせて、最適な場所で計算を分割します。 すべてに使えるわけではありませんが、Vicuna-7B がクラウドの助けを借りて人々のデバイスに Google アシスタントを搭載できるとしたら サービスを利用すると、理論的には、デバイス上で実行される LLM のすべての利点に加えて、収集という追加の利点も得られることになります。 クラウドベースのデータ。 そうすれば、Google にとってアシスタントと同じコストで実行されますが、追加のオーバーヘッドは発生しません。
これは、企業が現在直面しているコストの問題をオンデバイス AI で回避する方法の 1 つにすぎませんが、そこで追加のハードウェアが登場します。 スマートフォンの場合はクアルコム 安定拡散を披露 Snapdragon 8 Gen 2 を搭載した Android スマートフォンでは、これは現在の多くのコンピューターでは実際に困難な問題です。 それ以来、同社は Android デバイスでも ControlNet が動作することを示してきました。 明らかに、しばらくの間、激しい AI ワークロードに対応できるハードウェアを準備しており、MLC LLM はそれを今すぐテストできる方法です。
上のスクリーンショットから、Wi-Fi をオフにして機内モードにしていることに注目してください。それでも非常にうまく機能しています。 1 秒あたりおよそ 5 つのトークンが生成されます。1 つのトークンは約半分の単語に相当します。 したがって、1 秒あたり約 2.5 ワードが生成され、このようなものとしては十分に高速です。 現状ではインターネットとは通信しませんが、これがすべてオープンソースであることを考えると、企業は MLC LLM と Vicuna-7B モデルの背後にあるチームによって行われた作業を利用して、別の有用なモデルに実装することができます。 コンテクスト。
オンデバイス生成 AI のアプリケーション
クアルコムの製品管理シニア ディレクターで、CPU、DSP、ベンチマーク、AI ハードウェアを担当する Karl Whealton 氏に話を聞きました。 彼は、Snapdragon チップセットで実行される AI モデルのさまざまなアプリケーションについてすべて話し、今日の Snapdragon チップセットで何が可能になるかについてのアイデアを与えてくれました。 彼は、Snapdragon 8 Gen 2 のマイクロ タイル推論はトランスフォーマーとの併用で信じられないほど優れていると言いました。 トランスフォーマーは、連続データ (文内の単語など) 内の関係を追跡でき、学習もできるモデルです。 コンテキスト。
そのために、現在噂されている RAM 要件について彼に尋ねたところ、どのような種類や規模の言語モデルであっても、基本的には 必要 RAMにロードします。 同氏はさらに、OEM がより制限された RAM 環境でこのような機能を実装する場合、次のような可能性が高いと予想すると述べました。 彼らは、単純にストレージから言語モデルを実行するのではなく、RAM のより小さなセグメントで、より小さく、おそらくより特殊化された言語モデルを使用するでしょう。 デバイス。 そうしないと非常に遅くなり、優れたユーザー エクスペリエンスは得られません。
特殊なユースケースの例としては、クアルコムが最近年次コンピューターで話したものがあります。 ビジョンとパターン認識カンファレンス — 生成 AI は最終的なフィットネス コーチとして機能できる ユーザー。 たとえば、視覚的に根拠のある LLM は、ビデオ フィードを分析して、ユーザーが何をしているかを確認し、ユーザーの行動が間違っているかどうかを分析し、ユーザーにフィードを送信することができます。 ユーザーが間違っていることを言語モデルに変換し、音声モデルを使用してその情報をユーザーに伝えます。 ユーザー。
理論的には、OnePlus は一般的な用途に 16 GB の RAM を提供できますが、それに加えてさらに 8 GB の RAM が追加されます。 のみ AIに使用されます。
もちろん、オンデバイス AI におけるもう 1 つの重要な要素はプライバシーです。 これらのモデルでは、質問するときに私生活の一部を共有する可能性が非常に高く、AI にスマートフォンへのアクセスを許可するだけでも人々を心配させる可能性があります。 Whealton 氏は、SoC に入るあらゆるものは非常に安全であり、これがクアルコムにとってオンデバイスで行うことが非常に重要である「理由の 1 つ」であると語った。
この目的のために、クアルコムはメタ社と協力して同社のオープンソースを実現することも発表した。 Llama 2 LLM は Qualcomm デバイス上で実行され、2018 年以降のデバイスで利用可能になる予定です。 2024.
24GBのRAMがスマートフォンにどのように組み込まれるのか
出典: スマートプリス
最近のリークは今後のことを示唆しています OnePlus 12 は最大 16GB の RAM を搭載、24GBのRAMの噂はどうなったのかと疑問に思うかもしれません。 重要なのは、OnePlus がオンデバイス AI を搭載することを妨げるものではなく、それには理由があるということです。
Whealton 氏が私に指摘したように、DRAM を制御する場合、システムがそのすべてにアクセスできないように RAM をセグメント化することを妨げるものは何もありません。 理論的には、OnePlus は一般的な用途に 16 GB の RAM を提供できますが、それに加えてさらに 8 GB の RAM が追加されます。 のみ AIに使用されます。 この場合、システムの残りの部分からアクセスできないため、合計 RAM 数の一部としてそれをアドバタイズすることは意味がありません。 さらに、AI のニーズは変わらないため、8GB または 12GB RAM 構成であっても、この RAM 量は変わらない可能性が非常に高くなります。
言い換えれば、OnePlus 12 が引き続き 24GB の RAM を搭載する可能性はあります。 従来は 8GB にアクセスできない可能性があるというだけです。 このような早期のリークは通常、デバイスの実際の製造に関与している可能性のある人々から発生します。 そのため、彼らは 24 GB の RAM を使用して作業していて、8 GB が非常に特殊な目的のために予約されている可能性があることに気づいていなかったのかもしれません。 ただし、これは私の完全な推測であり、Digital Chat StationとOnLeaksの両方ができるリークを理解しようとする試みです。 両方 正しくありなさい。
とはいえ、24GBのRAMはスマートフォンとしては異常な量であり、このような機能が導入されると、 スマートフォンは、ただの超強力なコンピュータであり、さらに進化することができるだけだということが、これまでになく明らかになりました。 強力な。