RAM 24GB ในสมาร์ทโฟน? มันไม่ได้บ้าอย่างที่คุณคิด

มีข่าวลือแพร่สะพัดมาระยะหนึ่งแล้วว่าจะมีสมาร์ทโฟนที่มาในปีหน้าซึ่งจะมี RAM ขนาดมหึมา 24GB นั่นเป็นจำนวนมหาศาลจากตัวชี้วัดใดๆ โดยการกำหนดค่า RAM ที่พบบ่อยที่สุดบนพีซีสำหรับเล่นเกมคือขนาด 16GB ธรรมดาๆ ในขณะที่เขียน. RAM 24GB ฟังดูน่าหัวเราะมาก แต่ไม่ใช่เมื่อพูดถึง AI

AI หิวโหย RAM

หากคุณต้องการรันโมเดล AI บนสมาร์ทโฟน สิ่งแรกที่คุณต้องรู้ก็คือ เพื่อที่จะรันโมเดลใดๆ โดยพื้นฐานแล้ว คุณต้องมี มาก ของแรม ปรัชญานั้นเป็นเหตุผลว่าทำไมคุณถึงต้องการอะไรมากมาย วีแรม เมื่อทำงานกับแอปพลิเคชันเช่น Stable Diffusion และใช้ได้กับโมเดลแบบข้อความด้วย โดยพื้นฐานแล้ว โมเดลเหล่านี้มักจะถูกโหลดลงบน RAM ตลอดระยะเวลาของเวิร์กโหลด และมันก็เป็นเช่นนั้น กมาก เร็วกว่าการดำเนินการจากที่เก็บข้อมูล

RAM นั้นเร็วกว่าด้วยเหตุผลสองประการ แต่สองเหตุผลที่สำคัญที่สุดคือเวลาแฝงที่ต่ำกว่า เนื่องจากใกล้กับ CPU มากขึ้น และมีแบนด์วิธที่สูงกว่า จำเป็นต้องโหลดโมเดลภาษาขนาดใหญ่ (LLM) ลงใน RAM เนื่องจากคุณสมบัติเหล่านี้ แต่คำถามถัดไปที่โดยทั่วไปจะตามมาก็คือ เท่าไร รุ่นเหล่านี้ใช้ RAM

หาก Vicuna-7B ขับเคลื่อน Google Assistant บนอุปกรณ์ของผู้คนด้วยความช่วยเหลือจากบริการคลาวด์ คุณจะ ในทางทฤษฎี มีประโยชน์ทั้งหมดของ LLM ที่ทำงานบนอุปกรณ์พร้อมสิทธิประโยชน์เพิ่มเติมในการรวบรวมข้อมูลบนคลาวด์

มีหลายสิ่งที่คุ้มค่าที่จะพิจารณาเมื่อพูดถึง LLM บางตัวที่กำลังใช้งานอยู่ในปัจจุบัน และสิ่งหนึ่งที่ฉันได้ลองใช้เมื่อเร็ว ๆ นี้ก็คือ Vicuna-7B เป็น LLM ที่ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูล 7 พันล้านพารามิเตอร์ที่สามารถปรับใช้บนสมาร์ทโฟน Android ผ่านทาง MLC LLM ซึ่งเป็นแอปสากลที่ช่วยในการปรับใช้ LLM ต้องใช้ RAM ประมาณ 6GB ในการโต้ตอบกับสมาร์ทโฟน Android เห็นได้ชัดว่ายังไม่ก้าวหน้าเท่ากับ LLM อื่นๆ ในตลาดตอนนี้ แต่ยังทำงานในพื้นที่ทั้งหมดโดยไม่จำเป็นต้องเชื่อมต่ออินเทอร์เน็ต ตามบริบทแล้ว มีข่าวลือว่า GPT-4 มี 1.76 ล้านล้าน พารามิเตอร์ และ GPT-3 มี 175 พันล้าน

Qualcomm และ AI บนอุปกรณ์

ในขณะที่บริษัทจำนวนมากกำลังแข่งขันกันเพื่อสร้างโมเดลภาษาขนาดใหญ่ของตนเอง (และอินเทอร์เฟซเพื่อโต้ตอบกับพวกเขา) Qualcomm ได้มุ่งเน้นไปที่ประเด็นสำคัญประการหนึ่ง: การปรับใช้ บริการคลาวด์ที่บริษัทต่างๆ ใช้ประโยชน์จากต้นทุน ล้าน เพื่อใช้งานแชทบอทที่ทรงพลังที่สุด และ ChatGPT ของ OpenAI ได้รับการกล่าวขานว่าสามารถบริหารบริษัทได้สูงถึง 700,000 ดอลลาร์ต่อ วัน. การใช้งานบนอุปกรณ์ที่ใช้ประโยชน์จากทรัพยากรของผู้ใช้สามารถประหยัดเงินได้มาก โดยเฉพาะอย่างยิ่งหากแพร่หลาย

Qualcomm เรียกสิ่งนี้ว่า "AI ไฮบริด" และรวมทรัพยากรของระบบคลาวด์และอุปกรณ์เข้าด้วยกันเพื่อแยกการคำนวณตามความเหมาะสมที่สุด มันจะไม่ทำงานสำหรับทุกสิ่ง แต่ถ้า Vicuna-7B ขับเคลื่อน Google Assistant บนอุปกรณ์ของผู้คนด้วยความช่วยเหลือจากคลาวด์ ตามทฤษฎีแล้ว คุณจะได้รับประโยชน์ทั้งหมดของ LLM ที่ทำงานบนอุปกรณ์พร้อมสิทธิประโยชน์เพิ่มเติมในการรวบรวม ข้อมูลบนคลาวด์ ด้วยวิธีนี้ Google จะมีค่าใช้จ่ายเท่ากับ Assistant แต่ไม่มีค่าใช้จ่ายเพิ่มเติม

นั่นเป็นเพียงวิธีหนึ่งที่ AI บนอุปกรณ์จะแก้ไขปัญหาด้านต้นทุนที่บริษัทต่างๆ กำลังเผชิญอยู่ในปัจจุบัน แต่นั่นคือที่มาของฮาร์ดแวร์เพิ่มเติม ในส่วนของสมาร์ทโฟน Qualcomm แสดงให้เห็นการแพร่กระจายที่เสถียร บนสมาร์ทโฟน Android ที่ขับเคลื่อนโดย Snapdragon 8 Gen 2 ซึ่งเป็นสิ่งที่คอมพิวเตอร์ปัจจุบันจำนวนมากต้องเผชิญหน้ากันจริงๆ ตั้งแต่นั้นมา บริษัทได้แสดงให้ ControlNet ทำงานบนอุปกรณ์ Android ด้วยเช่นกัน มีการเตรียมฮาร์ดแวร์ที่สามารถรองรับปริมาณงาน AI จำนวนมากได้อย่างชัดเจนมาระยะหนึ่งแล้ว และ MLC LLM ก็เป็นวิธีที่คุณสามารถทดสอบได้ในตอนนี้

จากภาพหน้าจอด้านบน โปรดทราบว่าฉันอยู่ในโหมดเครื่องบินโดยปิด Wi-Fi อยู่ และยังคงใช้งานได้ดีมาก มันสร้างโทเค็นประมาณห้าโทเค็นต่อวินาที โดยที่โทเค็นหนึ่งตัวมีความยาวประมาณครึ่งคำ ดังนั้น มันจึงสร้างคำได้ประมาณ 2.5 คำต่อวินาที ซึ่งเร็วมากสำหรับเรื่องแบบนี้ มันไม่ได้โต้ตอบกับอินเทอร์เน็ตในสถานะปัจจุบัน แต่เนื่องจากทั้งหมดนี้เป็นเพียงโอเพ่นซอร์ส บริษัท สามารถเอางานที่ทำโดย MLC LLM และทีมงานเบื้องหลังโมเดล Vicuna-7B ไปประยุกต์ใช้ให้เกิดประโยชน์อีกอย่างหนึ่งได้ บริบท.

แอปพลิเคชันของ AI ที่สร้างบนอุปกรณ์

ฉันได้พูดคุยกับ Karl Whealton ผู้อำนวยการอาวุโสฝ่ายการจัดการผลิตภัณฑ์ของ Qualcomm ซึ่งรับผิดชอบด้าน CPU, DSP, การเปรียบเทียบประสิทธิภาพ และฮาร์ดแวร์ AI เขาเล่าให้ฉันฟังทั้งหมดเกี่ยวกับแอปพลิเคชันต่างๆ ของโมเดล AI ที่ทำงานบนชิปเซ็ต Snapdragon และเขาได้ให้ไอเดียแก่ฉันเกี่ยวกับสิ่งที่อาจเป็นไปได้ในชิปเซ็ต Snapdragon ในปัจจุบัน เขาบอกฉันว่าการอนุมานไมโครไทล์ของ Snapdragon 8 Gen 2 นั้นดีอย่างเหลือเชื่อกับหม้อแปลง โดยที่ Transformer เป็นโมเดลที่สามารถติดตามความสัมพันธ์ในข้อมูลตามลำดับ (เช่น คำในประโยค) ที่สามารถเรียนรู้ได้เช่นกัน บริบท.

ด้วยเหตุนี้ ฉันจึงถามเขาเกี่ยวกับข้อกำหนด RAM ที่มีข่าวลืออยู่ในปัจจุบัน และเขาบอกฉันว่าด้วยโมเดลภาษาทุกประเภทหรือทุกขนาด โดยพื้นฐานแล้ว ความต้องการ เพื่อโหลดลงใน RAM เขากล่าวต่อไปว่าเขาคาดหวังว่าหาก OEM จะนำสิ่งนี้ไปใช้ในสภาพแวดล้อม RAM ที่จำกัดมากขึ้น ก็มีแนวโน้มมากขึ้นว่า พวกเขาจะใช้โมเดลภาษาที่เล็กกว่าและอาจจะมีความเชี่ยวชาญมากกว่าในส่วน RAM ที่เล็กกว่าที่จะไม่ใช้มันจากที่เก็บข้อมูลของ อุปกรณ์. มิฉะนั้นมันจะช้าอย่างไร้ความปราณีและจะไม่เป็นประสบการณ์ผู้ใช้ที่ดี

ตัวอย่างของกรณีการใช้งานเฉพาะทางคือกรณีที่ Qualcomm พูดถึงเมื่อเร็วๆ นี้ที่งานคอมพิวเตอร์ประจำปี การประชุมการจดจำวิสัยทัศน์และรูปแบบ - AI กำเนิดสามารถทำหน้าที่เป็นโค้ชฟิตเนสได้ในที่สุด ผู้ใช้ ตัวอย่างเช่น LLM ที่มองเห็นได้สามารถวิเคราะห์ฟีดวิดีโอเพื่อดูว่าผู้ใช้กำลังทำอะไร วิเคราะห์ว่าพวกเขาทำผิดหรือไม่ ป้อน ส่งผลให้มีโมเดลภาษาที่สามารถใส่คำในสิ่งที่ผู้ใช้ทำผิด จากนั้นใช้โมเดลคำพูดเพื่อถ่ายทอดข้อมูลนั้นไปยัง ผู้ใช้

ตามทฤษฎี OnePlus สามารถให้ RAM 16GB สำหรับการใช้งานทั่วไป แต่ RAM เพิ่มเติม 8GB นอกเหนือจากนั้น เท่านั้น ใช้สำหรับเอไอ

แน่นอนว่าปัจจัยสำคัญอีกประการหนึ่งของ AI บนอุปกรณ์ก็คือความเป็นส่วนตัว ด้วยโมเดลเหล่านี้ มีโอกาสมากที่คุณจะแบ่งปันชีวิตส่วนตัวบางส่วนของคุณกับพวกเขาเมื่อถามคำถาม หรือแม้แต่การให้ AI เข้าถึงสมาร์ทโฟนของคุณอาจทำให้ผู้คนกังวล Whealton บอกฉันว่าทุกสิ่งที่เข้าสู่ SoC มีความปลอดภัยสูงและนี่คือ "เหตุผลหนึ่ง" ที่ทำบนอุปกรณ์นั้นมีความสำคัญต่อ Qualcomm มาก

ด้วยเหตุนี้ Qualcomm ยังได้ประกาศด้วยว่ากำลังทำงานร่วมกับ Meta เพื่อเปิดใช้งานโอเพ่นซอร์สของบริษัท Llama 2 LLM ทำงานบนอุปกรณ์ Qualcomm โดยมีกำหนดจะพร้อมใช้งานสำหรับอุปกรณ์ที่เริ่มต้น 2024.

RAM ขนาด 24GB สามารถรวมเข้ากับสมาร์ทโฟนได้อย่างไร

ด้วยการรั่วไหลล่าสุดชี้ไปที่ที่กำลังจะเกิดขึ้น OnePlus 12 บรรจุ RAM สูงสุด 16GBคุณอาจสงสัยว่าเกิดอะไรขึ้นกับข่าวลือ RAM ขนาด 24GB เหล่านั้น ประเด็นก็คือมันไม่ได้ขัดขวาง OnePlus จากการรวม AI บนอุปกรณ์ และมีเหตุผลสำหรับสิ่งนั้น

ดังที่ Whealton ระบุไว้สำหรับฉัน เมื่อคุณควบคุม DRAM ไม่มีอะไรหยุดคุณจากการแบ่งส่วน RAM เพื่อให้ระบบไม่สามารถเข้าถึงทั้งหมดได้ ตามทฤษฎี OnePlus สามารถให้ RAM 16GB สำหรับการใช้งานทั่วไป แต่ RAM เพิ่มเติม 8GB นอกเหนือจากนั้น เท่านั้น ใช้สำหรับเอไอ ในกรณีนี้ ไม่ควรโฆษณาให้เป็นส่วนหนึ่งของจำนวน RAM ทั้งหมด เนื่องจากไม่สามารถเข้าถึงส่วนที่เหลือของระบบได้ นอกจากนี้ มีความเป็นไปได้มากที่จำนวน RAM นี้จะยังคงคงที่แม้จะอยู่ในการกำหนดค่า RAM ขนาด 8GB หรือ 12GB เนื่องจากความต้องการของ AI จะไม่เปลี่ยนแปลง

กล่าวอีกนัยหนึ่งก็ไม่ใช่คำถามที่ OnePlus 12 จะยังคงมี RAM ขนาด 24GB; เพียงแต่ว่า 8GB อาจไม่สามารถเข้าถึงได้ตามปกติ การรั่วไหลเช่นนี้ที่เกิดขึ้นตั้งแต่เนิ่นๆ มักจะเกิดจากผู้ที่อาจเกี่ยวข้องกับการผลิตอุปกรณ์จริง ดังนั้นอาจเป็นกรณีที่พวกเขาใช้งาน RAM ขนาด 24GB และไม่ทราบว่าสามารถจองขนาด 8GB เพื่อจุดประสงค์เฉพาะเจาะจงได้ นั่นเป็นการคาดเดาทั้งหมดในส่วนของฉัน และเป็นความพยายามในการทำความเข้าใจกับการรั่วไหลที่ทั้ง Digital Chat Station และ OnLeaks สามารถทำได้ ทั้งคู่ ถูกต้อง

อย่างไรก็ตาม RAM ขนาด 24GB นั้นถือว่าเยอะมากในสมาร์ทโฟน และเมื่อมีการเปิดตัวฟีเจอร์เช่นนี้ ไม่เคยชัดเจนไปกว่านี้อีกแล้วว่าสมาร์ทโฟนเป็นเพียงคอมพิวเตอร์ที่ทรงพลังอย่างยิ่งซึ่งสามารถเป็นได้มากกว่านั้น ทรงพลัง.