RAM 24GB di smartphone? Ini tidak segila yang Anda bayangkan.

Rumor telah beredar selama beberapa waktu bahwa akan ada smartphone yang akan hadir tahun depan yang akan memiliki RAM sebesar 24GB. Jumlah tersebut sangat besar jika dilihat dari ukuran apa pun, dengan konfigurasi RAM yang paling umum pada PC gaming adalah 16 GB. pada saat penulisan. RAM 24GB terdengar seperti jumlah yang menggelikan, Tetapi, bukan dalam hal AI.

AI haus RAM

Jika Anda ingin menjalankan model AI apa pun di ponsel cerdas, hal pertama yang perlu Anda ketahui adalah bahwa pada dasarnya untuk menjalankan model apa pun, Anda memerlukan banyak RAM. Filosofi itulah mengapa Anda membutuhkan banyak hal VRAM saat bekerja dengan aplikasi seperti Difusi Stabil, dan ini juga berlaku untuk model berbasis teks. Pada dasarnya, model ini biasanya akan dimuat ke RAM selama durasi beban kerja, dan itu saja Abanyak lebih cepat daripada mengeksekusi dari penyimpanan.

RAM lebih cepat karena beberapa alasan, namun dua alasan terpenting adalah latensinya lebih rendah, karena lebih dekat ke CPU, dan bandwidthnya lebih tinggi. Penting untuk memuat model bahasa besar (LLM) ke dalam RAM karena sifat-sifat ini, tetapi pertanyaan selanjutnya yang biasanya muncul adalah berapa harganya RAM digunakan oleh model ini.

Jika Vicuna-7B memberdayakan Asisten Google di perangkat orang-orang dengan bantuan dari layanan cloud, Anda akan ikut serta teorinya, dapatkan semua manfaat LLM yang berjalan di perangkat dengan manfaat tambahan berupa pengumpulan data berbasis cloud.

Ada banyak hal yang perlu diperhatikan terkait dengan beberapa LLM yang saat ini sedang diterapkan, dan salah satu yang saya mainkan baru-baru ini adalah Vicuna-7B. Ini adalah LLM yang dilatih pada kumpulan data 7 miliar parameter yang dapat diterapkan pada ponsel pintar Android melalui MLC LLM, yang merupakan aplikasi universal yang membantu penerapan LLM. Dibutuhkan sekitar 6GB RAM untuk berinteraksi dengannya di smartphone Android. Ini jelas tidak secanggih beberapa LLM lain yang ada di pasaran saat ini, tetapi juga berjalan sepenuhnya secara lokal tanpa memerlukan koneksi internet. Untuk konteksnya, GPT-4 dikabarkan memiliki 1,76 triliun parameter, dan GPT-3 memiliki 175 miliar.

Qualcomm dan AI pada perangkat

Ketika banyak perusahaan berlomba untuk menciptakan model bahasa besar mereka sendiri (dan antarmuka untuk berinteraksi dengannya), Qualcomm berfokus pada satu bidang utama: penerapan. Layanan cloud yang dimanfaatkan perusahaan dengan biaya jutaan untuk menjalankan chatbot paling kuat, dan ChatGPT OpenAI dikatakan dapat menjalankan perusahaan hingga $700.000 per hari. Penerapan apa pun pada perangkat yang memanfaatkan sumber daya pengguna dapat menghemat banyak uang, terutama jika penerapannya tersebar luas.

Qualcomm menyebutnya sebagai "AI hibrid", dan menggabungkan sumber daya cloud dan perangkat untuk membagi komputasi di tempat yang paling tepat. Ini tidak akan berfungsi untuk semuanya, tetapi jika Vicuna-7B mendukung Google Assistant di perangkat orang-orang dengan bantuan dari cloud layanan, secara teori, Anda akan mendapatkan semua manfaat LLM yang berjalan di perangkat dengan manfaat tambahan berupa pengumpulan data berbasis cloud. Dengan begitu, biaya yang dikeluarkan Google sama dengan Asisten, namun tanpa biaya tambahan apa pun.

Itu hanyalah salah satu cara AI pada perangkat mengatasi masalah biaya yang dihadapi perusahaan saat ini, namun di situlah perangkat keras tambahan berperan. Dalam kasus smartphone, Qualcomm memamerkan Difusi Stabil pada ponsel pintar Android yang ditenagai oleh Snapdragon 8 Gen 2, sesuatu yang sulit dihadapi oleh banyak komputer saat ini. Sejak itu, perusahaan telah menunjukkan ControlNet juga berjalan di perangkat Android. Jelas telah mempersiapkan perangkat keras yang mampu menangani beban kerja AI yang intens selama beberapa waktu, dan MLC LLM adalah cara yang dapat Anda uji saat ini.

Dari tangkapan layar di atas, perhatikan bahwa saya berada dalam mode pesawat dengan Wi-Fi dimatikan, dan masih berfungsi dengan baik. itu menghasilkan sekitar lima token per detik, di mana satu token adalah sekitar setengah kata. Oleh karena itu, ini menghasilkan sekitar 2,5 kata per detik, yang cukup cepat untuk hal seperti ini. Itu tidak berinteraksi dengan internet dalam kondisi saat ini, tetapi mengingat ini semua adalah open source, sebuah perusahaan dapat mengambil pekerjaan yang dilakukan oleh MLC LLM dan tim di belakang model Vicuna-7B dan menerapkannya di tempat lain yang bermanfaat konteks.

Penerapan AI generatif pada perangkat

Saya berbicara dengan Karl Whealton, direktur senior manajemen produk di Qualcomm, yang bertanggung jawab atas CPU, DSP, benchmarking, dan perangkat keras AI. Dia menceritakan kepada saya semua tentang berbagai aplikasi model AI yang berjalan pada chipset Snapdragon, dan dia memberi saya gambaran tentang apa yang mungkin dilakukan pada chipset Snapdragon saat ini. Dia memberi tahu saya bahwa inferensi ubin mikro Snapdragon 8 Gen 2 sangat bagus dengan transformator, di mana a transformator adalah model yang dapat melacak hubungan dalam data berurutan (seperti kata-kata dalam kalimat) yang juga dapat dipelajari isi.

Untuk itu, saya bertanya kepadanya tentang persyaratan RAM yang dikabarkan saat ini, dan dia mengatakan kepada saya bahwa dengan model bahasa apa pun atau skala apa pun, pada dasarnya Anda membutuhkan untuk memuatnya ke dalam RAM. Dia melanjutkan dengan mengatakan bahwa dia berharap jika OEM menerapkan sesuatu seperti ini dalam lingkungan RAM yang lebih terbatas, kemungkinan besar akan terjadi hal tersebut. mereka akan menggunakan model bahasa yang lebih kecil, mungkin lebih terspesialisasi di segmen RAM yang lebih kecil daripada sekadar menjalankannya dari penyimpanan perangkat. Jika tidak, ini akan sangat lambat dan bukan pengalaman pengguna yang baik.

Contoh kasus penggunaan khusus adalah yang dibicarakan Qualcomm baru-baru ini di acara tahunan Computer Konferensi Visi dan Pengenalan Pola — bahwa AI generatif dapat bertindak sebagai pelatih kebugaran untuk mencapai tujuan pengguna. Misalnya, LLM yang berbasis visual dapat menganalisis umpan video untuk kemudian melihat apa yang dilakukan pengguna, menganalisis apakah mereka melakukan kesalahan, memberi makan menghasilkan model bahasa yang dapat mengungkapkan kesalahan yang dilakukan pengguna, dan kemudian menggunakan model ucapan untuk menyampaikan informasi tersebut ke pengguna.

Secara teori, OnePlus dapat menyediakan RAM 16GB untuk penggunaan umum tetapi tambahan RAM 8GB di atas itu tidak cukup. hanya digunakan untuk AI.

Tentu saja, faktor penting lainnya dalam AI pada perangkat adalah privasi. Dengan model ini, kemungkinan besar Anda akan berbagi bagian kehidupan pribadi Anda dengan mereka ketika mengajukan pertanyaan, atau bahkan hanya memberikan akses AI ke ponsel cerdas Anda mungkin membuat orang khawatir. Whealton memberi tahu saya bahwa apa pun yang masuk ke SoC sangat aman dan ini adalah "salah satu alasan" melakukannya di perangkat sangat penting bagi Qualcomm.

Untuk itu, Qualcomm juga mengumumkan bahwa mereka bekerja sama dengan Meta untuk mengaktifkan open-source perusahaan Llama 2 LLM akan dijalankan pada perangkat Qualcomm, dan dijadwalkan akan tersedia untuk perangkat mulai tahun ini 2024.

Bagaimana RAM 24GB dapat dimasukkan ke dalam smartphone

Dengan bocoran terbaru yang menunjukkan hal yang akan datang OnePlus 12 mengemas RAM hingga 16GB, Anda mungkin bertanya-tanya apa yang terjadi dengan rumor RAM 24GB tersebut. Masalahnya adalah hal itu tidak menghalangi OnePlus untuk menyertakan AI pada perangkat, dan ada alasannya.

Seperti yang dikatakan Whealton kepada saya, ketika Anda mengontrol DRAM, tidak ada yang menghentikan Anda untuk melakukan segmentasi RAM sehingga sistem tidak dapat mengakses semuanya. Secara teori, OnePlus dapat menyediakan RAM 16GB untuk penggunaan umum tetapi tambahan RAM 8GB di atas itu tidak cukup. hanya digunakan untuk AI. Dalam hal ini, tidak masuk akal untuk mengiklankannya sebagai bagian dari jumlah total RAM, karena tidak dapat diakses oleh seluruh sistem. Selain itu, kemungkinan besar jumlah RAM ini akan tetap statis bahkan dalam konfigurasi RAM 8 GB atau 12 GB karena kebutuhan AI tidak akan berubah.

Dengan kata lain, tidak menutup kemungkinan OnePlus 12 masih memiliki RAM 24GB; hanya saja 8GB mungkin tidak dapat diakses secara tradisional. Kebocoran seperti ini yang terjadi sejak awal biasanya muncul dari orang-orang yang mungkin terlibat dalam produksi sebenarnya perangkat tersebut, jadi mungkin saja mereka menggunakan RAM 24 GB dan tidak menyadari bahwa 8 GB dapat dicadangkan untuk tujuan yang sangat spesifik. Namun, hal ini sepenuhnya hanya dugaan saya, dan ini merupakan upaya untuk memahami kebocoran yang dapat dilakukan oleh Stasiun Obrolan Digital dan OnLeaks. keduanya Jadilah benar.

Namun demikian, RAM 24GB adalah jumlah yang gila-gilaan di sebuah smartphone, dan seiring dengan diperkenalkannya fitur-fitur seperti ini, Kini semakin jelas bahwa ponsel pintar hanyalah komputer super canggih yang bisa menjadi lebih baik lagi kuat.