24 GB RAM σε smartphone; Δεν είναι τόσο τρελό όσο νομίζεις.

Οι φήμες κυκλοφόρησαν εδώ και λίγο καιρό ότι θα κυκλοφορήσουν smartphone τον επόμενο χρόνο που θα έχουν τεράστια 24 GB RAM. Αυτό είναι ένα τεράστιο ποσό από οποιαδήποτε μέτρηση, με την πιο κοινή διαμόρφωση RAM σε υπολογιστές παιχνιδιών να είναι τα ταπεινά 16 GB τη στιγμή της συγγραφής. Τα 24 GB μνήμης RAM ακούγονται σαν ένα γελοίο ποσό, αλλά, όχι όταν πρόκειται για τεχνητή νοημοσύνη.

Το AI είναι πεινασμένο για RAM

Αν θέλετε να εκτελέσετε οποιοδήποτε μοντέλο AI σε smartphone, το πρώτο πράγμα που πρέπει να γνωρίζετε είναι ότι για να εκτελέσετε βασικά οποιοδήποτε μοντέλο, χρειάζεστε παρτίδα της μνήμης RAM. Αυτή η φιλοσοφία είναι ο λόγος που χρειάζεστε πολλά VRAM όταν εργάζεστε με εφαρμογές όπως το Stable Diffusion, και ισχύει και για μοντέλα που βασίζονται σε κείμενο. Βασικά, αυτά τα μοντέλα συνήθως φορτώνονται στη μνήμη RAM για τη διάρκεια του φόρτου εργασίας και είναι έναπαρτίδα ταχύτερη από την εκτέλεση από την αποθήκευση.

Η RAM είναι ταχύτερη για μερικούς λόγους, αλλά οι δύο πιο σημαντικοί είναι ότι έχει χαμηλότερη καθυστέρηση, καθώς είναι πιο κοντά στην CPU και έχει υψηλότερο εύρος ζώνης. Είναι απαραίτητο να φορτωθούν μοντέλα μεγάλων γλωσσών (LLM) στη μνήμη RAM λόγω αυτών των ιδιοτήτων, αλλά η επόμενη ερώτηση που συνήθως ακολουθεί είναι ακριβώς πόσο Η μνήμη RAM χρησιμοποιείται από αυτά τα μοντέλα.

Εάν το Vicuna-7B τροφοδοτούσε τον Βοηθό Google στις συσκευές των ανθρώπων με κάποια βοήθεια από υπηρεσίες cloud, θα θεωρία, έχουν όλα τα πλεονεκτήματα ενός LLM που εκτελείται σε μια συσκευή με το πρόσθετο πλεονέκτημα της συλλογής δεδομένων που βασίζονται σε σύννεφο.

Αξίζει να εξετάσετε πολλά όταν πρόκειται για ορισμένα LLM που βρίσκονται επί του παρόντος σε ανάπτυξη, και ένα με το οποίο ασχολήθηκα πρόσφατα ήταν το Vicuna-7B. Είναι ένα LLM εκπαιδευμένο σε ένα σύνολο δεδομένων 7 δισεκατομμυρίων παραμέτρων που μπορούν να αναπτυχθούν σε ένα smartphone Android μέσω του MLC LLM, το οποίο είναι μια καθολική εφαρμογή που βοηθά στην ανάπτυξη του LLM. Χρειάζονται περίπου 6 GB μνήμης RAM για να αλληλεπιδράσετε μαζί του σε ένα smartphone Android. Προφανώς δεν είναι τόσο προηγμένο όσο κάποια άλλα LLM στην αγορά αυτή τη στιγμή, αλλά λειτουργεί επίσης εξ ολοκλήρου τοπικά χωρίς να χρειάζεται σύνδεση στο διαδίκτυο. Για το πλαίσιο, φημολογείται ότι το GPT-4 έχει 1,76 τρισεκατομμύριο παραμέτρους και το GPT-3 έχει 175 δισεκατομμύρια.

Qualcomm και AI στη συσκευή

Ενώ χιλιάδες εταιρείες αγωνίζονται να δημιουργήσουν τα δικά τους μεγάλα μοντέλα γλώσσας (και διεπαφές για να αλληλεπιδράσουν μαζί τους), η Qualcomm έχει επικεντρωθεί σε έναν βασικό τομέα: την ανάπτυξη. Υπηρεσίες cloud που χρησιμοποιούν οι εταιρείες με κόστος εκατομμύρια για να τρέξει τα πιο ισχυρά chatbots και το ChatGPT του OpenAI λέγεται ότι τρέχει την εταιρεία έως και 700.000 $ το ημέρα. Οποιαδήποτε ανάπτυξη στη συσκευή που αξιοποιεί τους πόρους του χρήστη μπορεί να εξοικονομήσει πολλά χρήματα, ειδικά αν είναι ευρέως διαδεδομένη.

Η Qualcomm αναφέρεται σε αυτό ως "υβριδική τεχνητή νοημοσύνη" και συνδυάζει τους πόρους του cloud και της συσκευής για να χωρίσει τον υπολογισμό όπου είναι πιο κατάλληλο. Δεν θα λειτουργήσει για τα πάντα, αλλά αν το Vicuna-7B τροφοδοτούσε τον Βοηθό Google στις συσκευές των ανθρώπων με κάποια βοήθεια από το cloud Υπηρεσίες, θεωρητικά θα είχατε όλα τα πλεονεκτήματα ενός LLM που εκτελείται σε μια συσκευή με το πρόσθετο πλεονέκτημα της συλλογής δεδομένα που βασίζονται σε σύννεφο. Με αυτόν τον τρόπο, λειτουργεί με το ίδιο κόστος για την Google με το Assistant, αλλά χωρίς κανένα από τα πρόσθετα γενικά έξοδα.

Αυτός είναι μόνο ένας τρόπος με τον οποίο η τεχνητή νοημοσύνη στη συσκευή ξεπερνά το πρόβλημα κόστους που αντιμετωπίζουν οι εταιρείες αυτήν τη στιγμή, αλλά εκεί έρχεται το πρόσθετο υλικό. Στην περίπτωση των smartphone, η Qualcomm επέδειξε το Stable Diffusion σε ένα smartphone Android που τροφοδοτείται από το Snapdragon 8 Gen 2, κάτι με το οποίο πολλοί σημερινοί υπολογιστές θα δυσκολευόντουσαν πραγματικά. Από τότε, η εταιρεία έδειξε το ControlNet να τρέχει και σε συσκευή Android. Είναι σαφές ότι προετοιμάζει υλικό ικανό για έντονο φόρτο εργασίας AI για λίγο και το MLC LLM είναι ένας τρόπος που μπορείτε να το δοκιμάσετε αυτήν τη στιγμή.

Από το παραπάνω στιγμιότυπο οθόνης, σημειώστε ότι είμαι σε λειτουργία πτήσης με απενεργοποιημένο το Wi-Fi και εξακολουθεί να λειτουργεί πολύ καλά. παράγει περίπου πέντε μάρκες ανά δευτερόλεπτο, όπου ένα διακριτικό είναι περίπου μισή λέξη. Επομένως, παράγει περίπου 2,5 λέξεις ανά δευτερόλεπτο, κάτι που είναι αρκετά γρήγορο για κάτι τέτοιο. Δεν αλληλεπιδρά με το διαδίκτυο στην τρέχουσα κατάστασή του, αλλά δεδομένου ότι όλα αυτά είναι ανοιχτού κώδικα, μια εταιρεία θα μπορούσε να πάρει τη δουλειά που έγινε από την MLC LLM και την ομάδα πίσω από το μοντέλο Vicuna-7B και να την εφαρμόσει σε άλλο χρήσιμο συμφραζόμενα.

Εφαρμογές τεχνητής νοημοσύνης που δημιουργείται στη συσκευή

Μίλησα με τον Karl Whealton, ανώτερο διευθυντή διαχείρισης προϊόντων στην Qualcomm, ο οποίος είναι υπεύθυνος για την CPU, το DSP, τη συγκριτική αξιολόγηση και το υλικό AI. Μου είπε τα πάντα για τις διάφορες εφαρμογές μοντέλων τεχνητής νοημοσύνης που τρέχουν σε chipset Snapdragon και μου έδωσε μια ιδέα για το τι μπορεί να είναι δυνατό στα chipset Snapdragon σήμερα. Μου λέει ότι η εξαγωγή συμπερασμάτων μικροπλακιδίων του Snapdragon 8 Gen 2 είναι απίστευτα καλή με μετασχηματιστές, όπου ένα Ο μετασχηματιστής είναι ένα μοντέλο που μπορεί να παρακολουθεί σχέσεις σε διαδοχικά δεδομένα (όπως λέξεις σε μια πρόταση) που μπορούν επίσης να μάθουν το περιεχόμενο.

Για αυτόν τον σκοπό, τον ρώτησα για εκείνες τις απαιτήσεις RAM που φημολογείται αυτή τη στιγμή, και μου είπε ότι με ένα μοντέλο γλώσσας οποιουδήποτε είδους ή κλίμακας, βασικά χρειάζομαι για να το φορτώσετε στη μνήμη RAM. Συνέχισε λέγοντας ότι θα περίμενε εάν ένας OEM εφαρμόσει κάτι τέτοιο σε ένα πιο περιορισμένο περιβάλλον RAM, είναι πιο πιθανό ότι θα χρησιμοποιούσαν ένα μικρότερο, ίσως πιο εξειδικευμένο μοντέλο γλώσσας σε ένα μικρότερο τμήμα της μνήμης RAM από το να το εκκενώσουν απλώς από την αποθήκευση του συσκευή. Διαφορετικά θα ήταν βάναυσα αργή και δεν θα ήταν καλή εμπειρία χρήστη.

Ένα παράδειγμα εξειδικευμένης χρήσης είναι αυτή για την οποία μίλησε πρόσφατα η Qualcomm στην ετήσια έκθεση Computer Συνέδριο Vision and Pattern Recognition — ότι η γενετική τεχνητή νοημοσύνη μπορεί να λειτουργήσει ως προπονητής φυσικής κατάστασης χρήστες. Για παράδειγμα, ένα οπτικά γειωμένο LLM μπορεί να αναλύσει μια ροή βίντεο για να δει τι κάνει ένας χρήστης, να αναλύσει εάν το κάνει λάθος, να τροφοδοτήσει το καταλήγει σε ένα μοντέλο γλώσσας που μπορεί να εκφράσει με λέξεις τι κάνει λάθος ο χρήστης και στη συνέχεια να χρησιμοποιήσει ένα μοντέλο ομιλίας για να μεταδώσει αυτές τις πληροφορίες στο χρήστης.

Θεωρητικά, το OnePlus θα μπορούσε να παρέχει 16 GB μνήμης RAM για γενική χρήση, αλλά επιπλέον 8 GB μνήμης RAM πέρα ​​από αυτό μόνο χρησιμοποιείται για AI.

Φυσικά, ο άλλος σημαντικός παράγοντας στο AI στη συσκευή είναι το απόρρητο. Με αυτά τα μοντέλα, είναι πολύ πιθανό να μοιράζεστε μέρη της προσωπικής σας ζωής μαζί τους όταν κάνετε ερωτήσεις ή ακόμα και να δίνετε πρόσβαση σε τεχνητή νοημοσύνη στο smartphone σας μπορεί να ανησυχήσει τους ανθρώπους. Ο Whealton μου λέει ότι οτιδήποτε μπαίνει στο SoC είναι εξαιρετικά ασφαλές και ότι αυτός είναι "ένας από τους λόγους" που το κάνει στη συσκευή είναι τόσο σημαντικό για την Qualcomm.

Για το σκοπό αυτό, η Qualcomm ανακοίνωσε επίσης ότι συνεργάζεται με τη Meta για να ενεργοποιήσει τον ανοιχτό κώδικα της εταιρείας Το Llama 2 LLM θα τρέχει σε συσκευές Qualcomm, με προγραμματισμένο να διατεθεί σε συσκευές που ξεκινούν από 2024.

Πώς μπορούν να ενσωματωθούν 24 GB μνήμης RAM σε ένα smartphone

Με πρόσφατες διαρροές να δείχνουν το προσεχές OnePlus 12 με μνήμη RAM έως 16 GB, ίσως αναρωτιέστε τι απέγιναν αυτές οι φήμες για τα 24 GB RAM. Το θέμα είναι ότι δεν αποκλείει την OnePlus από το να συμπεριλάβει AI στη συσκευή και υπάρχει λόγος για αυτό.

Όπως μου σημείωσε ο Whealton, όταν ελέγχετε τη μνήμη DRAM, τίποτα δεν σας εμποδίζει να τμηματοποιήσετε τη μνήμη RAM έτσι ώστε το σύστημα να μην μπορεί να έχει πρόσβαση σε ολόκληρη. Θεωρητικά, το OnePlus θα μπορούσε να παρέχει 16 GB μνήμης RAM για γενική χρήση, αλλά επιπλέον 8 GB μνήμης RAM πέρα ​​από αυτό μόνο χρησιμοποιείται για AI. Σε αυτήν την περίπτωση, δεν θα είχε νόημα να το διαφημίσετε ως μέρος του συνολικού αριθμού RAM, καθώς δεν είναι προσβάσιμο στο υπόλοιπο σύστημα. Επιπλέον, είναι πολύ πιθανό αυτή η ποσότητα RAM να παραμείνει στατική ακόμη και σε διαμορφώσεις RAM 8 GB ή 12 GB, καθώς οι ανάγκες της τεχνητής νοημοσύνης δεν θα αλλάξουν.

Με άλλα λόγια, δεν αποκλείεται το OnePlus 12 να έχει ακόμα 24 GB RAM. απλά τα 8 GB μπορεί να μην είναι παραδοσιακά προσβάσιμα. Διαρροές όπως αυτές που εμφανίζονται μόλις προέρχονται συνήθως εμφανίζονται από άτομα που μπορεί να συμμετέχουν στην πραγματική παραγωγή της συσκευής, Επομένως, μπορεί να εργάζονταν με 24 GB μνήμης RAM και δεν γνώριζαν ότι τα 8 GB θα μπορούσαν να δεσμευτούν για πολύ συγκεκριμένους σκοπούς. Αυτό είναι εντελώς εικασία από την πλευρά μου, ωστόσο, και είναι μια προσπάθεια να κατανοήσουμε τις διαρροές όπου τόσο το Digital Chat Station όσο και το OnLeaks μπορούν και τα δυο να εισαι ΣΩΣΤΟΣ.

Ωστόσο, τα 24 GB μνήμης RAM είναι ένα τρελό ποσό σε ένα smartphone και καθώς παρουσιάζονται χαρακτηριστικά όπως αυτά, Δεν ήταν ποτέ πιο ξεκάθαρο ότι τα smartphone είναι απλώς εξαιρετικά ισχυροί υπολογιστές που μπορούν να γίνουν περισσότεροι ισχυρός.