24 GB ოპერატიული მეხსიერება სმარტფონში? ეს არ არის ისეთი გიჟური, როგორც თქვენ ფიქრობთ.

ჭორები უკვე დიდი ხანია ტრიალებს, რომ მომავალ წელს გამოვა სმარტფონები, რომლებსაც ექნებათ უზარმაზარი 24 GB ოპერატიული მეხსიერება. ეს არის უზარმაზარი თანხა ნებისმიერი მეტრიკის მიხედვით, ყველაზე გავრცელებული ოპერატიული მეხსიერების კონფიგურაცია სათამაშო კომპიუტერებზე არის მოკრძალებული 16 GB. წერის დროს. 24 GB ოპერატიული მეხსიერება სასაცილოდ ჟღერს, მაგრამ, არა როცა საქმე AI-ს ეხება.

AI არის RAM-ის მშიერი

თუ გსურთ სმარტფონზე ხელოვნური ინტელექტის ნებისმიერი მოდელის გაშვებას, პირველი, რაც უნდა იცოდეთ არის ის, რომ ძირითადად ნებისმიერი მოდელის შესასრულებლად, გჭირდებათ ბევრი ოპერატიული მეხსიერების. სწორედ ამ ფილოსოფიას გჭირდება ბევრი VRAM აპლიკაციებთან მუშაობისას, როგორიცაა Stable Diffusion, და ეს ეხება ტექსტზე დაფუძნებულ მოდელებსაც. ძირითადად, ეს მოდელები, როგორც წესი, ჩაიტვირთება RAM-ზე სამუშაო დატვირთვის ხანგრძლივობის განმავლობაში, და ეს აბევრი უფრო სწრაფად, ვიდრე საცავიდან შესრულება.

ოპერატიული მეხსიერება რამდენიმე მიზეზის გამო უფრო სწრაფია, მაგრამ ორი ყველაზე მნიშვნელოვანი არის ის, რომ ის უფრო დაბალი შეყოვნებაა, რადგან ის უფრო ახლოს არის CPU-სთან და აქვს უფრო მაღალი გამტარობა. ამ თვისებების გამო საჭიროა დიდი ენობრივი მოდელების (LLM) ჩატვირთვა RAM-ზე, მაგრამ შემდეგი კითხვა, რომელიც ჩვეულებრივ მოყვება არის ზუსტად რამდენი RAM გამოიყენება ამ მოდელების მიერ.

თუ Vicuna-7B-ს Google ასისტენტი ხალხის მოწყობილობებზე ამუშავებდა ღრუბლოვანი სერვისების დახმარებით, თქვენ თეორიულად, აქვს მოწყობილობაზე გაშვებული LLM-ის ყველა უპირატესობა ღრუბელზე დაფუძნებული მონაცემების შეგროვების დამატებით სარგებელს.

ბევრი რამის შესწავლა ღირს, როდესაც საქმე ეხება ზოგიერთ LLM-ს, რომელიც ამჟამად განლაგებულია, და ერთ-ერთი, რომლითაც მე ახლახანს ვთამაშობდი, იყო Vicuna-7B. ეს არის LLM გაწვრთნილი 7 მილიარდი პარამეტრის მონაცემთა ბაზაზე, რომელიც შეიძლება განთავსდეს Android სმარტფონზე MLC LLM-ის საშუალებით, რომელიც არის უნივერსალური აპი, რომელიც ეხმარება LLM-ის დანერგვას. ანდროიდის სმარტფონზე მასთან ურთიერთობისთვის საჭიროა დაახლოებით 6 GB ოპერატიული მეხსიერება. ის აშკარად არ არის ისეთი მოწინავე, როგორც ახლა ბაზარზე არსებული ზოგიერთი სხვა LLM, მაგრამ ის ასევე მუშაობს მთლიანად ადგილობრივად ინტერნეტ კავშირის საჭიროების გარეშე. კონტექსტში, ამბობენ, რომ GPT-4 აქვს 1.76 ტრილიონი პარამეტრები და GPT-3 აქვს 175 მლრდ.

Qualcomm და მოწყობილობაზე AI

მიუხედავად იმისა, რომ უამრავი კომპანია იბრძვის საკუთარი დიდი ენობრივი მოდელების შესაქმნელად (და ინტერფეისები მათთან ურთიერთობისთვის), Qualcomm ყურადღებას ამახვილებს ერთ მთავარ სფეროზე: დანერგვაზე. ღრუბლოვანი სერვისები, რომლებსაც კომპანიები იყენებენ ღირებულებით მილიონებს ყველაზე მძლავრი ჩეთბოტების გასაშვებად და OpenAI-ის ChatGPT, როგორც ამბობენ, კომპანიას $700,000-მდე მართავს. დღეს. ნებისმიერ მოწყობილობაზე განლაგებას, რომელიც იყენებს მომხმარებლის რესურსებს, შეუძლია დაზოგოს ბევრი ფული, განსაკუთრებით თუ ის ფართოდ არის გავრცელებული.

Qualcomm მოიხსენიებს ამას, როგორც "ჰიბრიდულ AI-ს" და ის აერთიანებს ღრუბლისა და მოწყობილობის რესურსებს, რათა გაყოს გამოთვლა, სადაც ეს ყველაზე შესაფერისია. ის ყველაფერზე არ იმუშავებს, მაგრამ თუ Vicuna-7B-ს Google ასისტენტი ხალხის მოწყობილობებზე ამუშავებდა ღრუბლის დახმარებით. მომსახურებებს, თეორიულად, გექნებათ მოწყობილობაზე გაშვებული LLM-ის ყველა უპირატესობა და შეგროვების დამატებითი სარგებლით ღრუბელზე დაფუძნებული მონაცემები. ამგვარად, ის Google-ისთვის მუშაობს იმავე ფასად, როგორც ასისტენტი, მაგრამ დამატებითი ხარჯების გარეშე.

ეს არის მხოლოდ ერთი გზა მოწყობილობაზე AI გადაჭრის ხარჯების პრობლემას, რომელსაც კომპანიები ამჟამად აწყდებიან, მაგრამ აქ არის დამატებითი აპარატურა. სმარტფონების შემთხვევაში Qualcomm აჩვენა სტაბილური დიფუზია Android სმარტფონზე, რომელიც აღჭურვილია Snapdragon 8 Gen 2-ით, რაც არის ის, რასაც ბევრი ამჟამინდელი კომპიუტერი რეალურად ებრძვის. მას შემდეგ კომპანიამ აჩვენა ControlNet გაშვებული Android მოწყობილობაზეც. ის აშკარად ამზადებდა აპარატურას, რომელსაც შეუძლია ინტენსიური AI სამუშაო დატვირთვა, და MLC LLM არის გზა, რომლითაც შეგიძლიათ შეამოწმოთ ეს ახლავე.

ზემოთ მოყვანილი სკრინშოტიდან გაითვალისწინეთ, რომ ვარ თვითმფრინავის რეჟიმში, გამორთული Wi-Fi-ით და ის მაინც ძალიან კარგად მუშაობს. ის წარმოქმნის დაახლოებით ხუთ ჟეტონს წამში, სადაც ნიშანი არის დაახლოებით ნახევარი სიტყვა. ამიტომ, ის გამოიმუშავებს დაახლოებით 2.5 სიტყვას წამში, რაც საკმაოდ სწრაფია მსგავსი რამისთვის. ის არ ურთიერთობს ინტერნეტთან მის ამჟამინდელ მდგომარეობაში, მაგრამ იმის გათვალისწინებით, რომ ეს ყველაფერი ღია წყაროა, კომპანია შეუძლია მიიღოს MLC LLM-ის და გუნდის მიერ Vicuna-7B მოდელის შესრულებული სამუშაო და დანერგოს იგი სხვა სასარგებლო კონტექსტი.

მოწყობილობაზე გენერაციული AI-ის აპლიკაციები

მე ვესაუბრე კარლ უილტონს, Qualcomm-ის პროდუქტის მენეჯმენტის უფროს დირექტორს, რომელიც პასუხისმგებელია CPU-ზე, DSP-ზე, ბენჩმარკინგისა და AI აპარატურაზე. მან მითხრა ყველაფერი AI მოდელების სხვადასხვა აპლიკაციების შესახებ, რომლებიც მუშაობენ Snapdragon ჩიპსეტებზე და მომცა წარმოდგენა იმაზე, თუ რა შეიძლება იყოს შესაძლებელი დღეს Snapdragon ჩიპსეტებზე. ის მეუბნება, რომ Snapdragon 8 Gen 2-ის მიკრო ფილების დასკვნა წარმოუდგენლად კარგია ტრანსფორმატორებთან, სადაც ტრანსფორმატორი არის მოდელი, რომელსაც შეუძლია თვალყური ადევნოს ურთიერთობებს თანმიმდევრულ მონაცემებში (როგორც სიტყვები წინადადებაში), რომელსაც ასევე შეუძლია ისწავლოს კონტექსტი.

ამ მიზნით, მე ვკითხე მას RAM-ის მოთხოვნების შესახებ, რომლებიც ამჟამად ჭორებია და მან მითხრა, რომ ნებისმიერი სახის ან მასშტაბის ენის მოდელით, თქვენ ძირითადად საჭიროება RAM-ში ჩასატვირთად. მან განაგრძო თქვა, რომ მოელოდა, თუ OEM განახორციელებს მსგავს რამეს უფრო შეზღუდულ RAM გარემოში, უფრო სავარაუდოა, რომ ისინი გამოიყენებდნენ უფრო პატარა, შესაძლოა უფრო სპეციალიზებულ ენობრივ მოდელს RAM-ის უფრო მცირე სეგმენტში, ვიდრე უბრალოდ გამორთავდნენ მას მეხსიერებაში. მოწყობილობა. სხვაგვარად სასტიკად ნელი იქნებოდა და არ იქნებოდა კარგი მომხმარებლის გამოცდილება.

სპეციალიზებული გამოყენების მაგალითი არის ის, რომელზეც Qualcomm-მა ცოტა ხნის წინ ისაუბრა ყოველწლიურ კომპიუტერზე ხედვისა და შაბლონის ამოცნობის კონფერენცია - რომ გენერაციულ AI-ს შეუძლია ბოლომდე იმოქმედოს როგორც ფიტნეს მწვრთნელი მომხმარებლები. მაგალითად, ვიზუალურად დასაბუთებულ LLM-ს შეუძლია გააანალიზოს ვიდეო არხი, რომ ნახოს, რას აკეთებს მომხმარებელი, გააანალიზოს თუ არასწორად აკეთებს ამას, მიაწოდოს შედეგად მიიღება ენის მოდელი, რომელსაც შეუძლია სიტყვებით გადმოგცეთ ის, რასაც მომხმარებელი აკეთებს არასწორად და შემდეგ გამოიყენოს მეტყველების მოდელი ამ ინფორმაციის გადასაცემად მომხმარებელი.

თეორიულად, OnePlus-ს შეუძლია უზრუნველყოს 16 GB ოპერატიული მეხსიერება ზოგადი გამოყენებისთვის, მაგრამ დამატებით 8 GB ოპერატიული მეხსიერება. მხოლოდ გამოიყენება AI-სთვის.

რა თქმა უნდა, სხვა მნიშვნელოვანი ფაქტორი მოწყობილობაზე AI არის კონფიდენციალურობა. ამ მოდელებით, ძალიან სავარაუდოა, რომ თქვენ გაუზიარებთ მათ თქვენი პირადი ცხოვრების ნაწილებს კითხვების დასმისას, ან თუნდაც უბრალოდ ხელოვნური ინტელექტის წვდომის მინიჭებას თქვენს სმარტფონზე, შეიძლება შეაწუხოთ ხალხი. Whealton მეუბნება, რომ ყველაფერი, რაც შედის SoC-ში, უაღრესად უსაფრთხოა და რომ ეს არის „ერთ-ერთი მიზეზი“, რის გამოც იგი აკეთებს მოწყობილობას, Qualcomm-ისთვის ძალიან მნიშვნელოვანია.

ამ მიზნით, Qualcomm-მა ასევე გამოაცხადა, რომ მუშაობდა Meta-სთან კომპანიის ღია კოდის გასააქტიურებლად Llama 2 LLM იმუშავებს Qualcomm მოწყობილობებზე და ის ხელმისაწვდომი იქნება მოწყობილობებისთვის დაწყებული 2024.

როგორ შეიძლება სმარტფონში ჩართული იყოს 24 GB ოპერატიული მეხსიერება

ბოლოდროინდელი გაჟონვები მომავალზე მიუთითებს OnePlus 12-ის შეფუთვა 16 გბ-მდე ოპერატიული მეხსიერება, შეიძლება გაინტერესებთ, რა დაემართა იმ 24 GB ოპერატიული მეხსიერების ჭორებს. საქმე იმაშია, რომ ეს არ უშლის ხელს OnePlus-ს მოწყობილობაზე AI-ს ჩართვას და ამის მიზეზი არსებობს.

როგორც უილტონმა მითხრა, როცა DRAM-ს აკონტროლებ, არაფერი გიშლის ხელს RAM-ის სეგმენტირებაში ისე, რომ სისტემამ ვერ შეძლოს მასზე წვდომა. თეორიულად, OnePlus-ს შეუძლია უზრუნველყოს 16 GB ოპერატიული მეხსიერება ზოგადი გამოყენებისთვის, მაგრამ დამატებით 8 GB ოპერატიული მეხსიერება. მხოლოდ გამოიყენება AI-სთვის. ამ შემთხვევაში, აზრი არ აქვს მის რეკლამას, როგორც მთლიანი RAM ნომრის ნაწილად, რადგან ის მიუწვდომელია დანარჩენი სისტემისთვის. გარდა ამისა, ძალიან სავარაუდოა, რომ RAM-ის ეს რაოდენობა დარჩება სტატიკური 8 GB ან 12 GB ოპერატიული მეხსიერების კონფიგურაციებშიც კი, რადგან AI-ს საჭიროებები არ შეიცვლება.

სხვა სიტყვებით რომ ვთქვათ, არ არის გამორიცხული, რომ OnePlus 12-ს მაინც ჰქონდეს 24 GB ოპერატიული მეხსიერება; უბრალოდ, 8 GB შეიძლება არ იყოს ტრადიციულად ხელმისაწვდომი. მსგავსი გაჟონვები, რომლებიც ადრევე მოდის, ჩვეულებრივ ჩნდება იმ ადამიანებისგან, რომლებიც შესაძლოა ჩართულნი იყვნენ მოწყობილობის რეალურ წარმოებაში, ასე რომ, შესაძლოა, ისინი მუშაობდნენ 24 GB ოპერატიული მეხსიერებით და არ იცოდნენ, რომ 8 GB შეიძლება იყოს დაცული ძალიან კონკრეტული მიზნებისთვის. თუმცა, ეს მთლიანად ვარაუდია ჩემი მხრიდან, და ეს არის მცდელობა გაერკვია იმ გაჟონვის შესახებ, სადაც ციფრული ჩატის სადგურსაც და OnLeaks-საც შეუძლია. ორივე იყავი მართალი.

მიუხედავად ამისა, 24 GB ოპერატიული მეხსიერება არის გიჟური რაოდენობა სმარტფონში და, როგორც ეს არის დანერგილი, არასოდეს ყოფილა ასე ნათელი, რომ სმარტფონები უბრალოდ სუპერ მძლავრი კომპიუტერებია, რომლებიც მხოლოდ უფრო მეტს გახდებიან ძლიერი.