Πώς η Qualcomm έκανε τεράστιες βελτιώσεις στην τεχνητή νοημοσύνη στον Snapdragon 865

Φαίνεται ότι δεν μπορούμε να πάμε μια μέρα χωρίς να δούμε την «τεχνητή νοημοσύνη» στις ειδήσεις και αυτή η εβδομάδα που πέρασε δεν αποτέλεσε εξαίρεση σε μεγάλο βαθμό χάρη στο Snapdragon Tech Summit. Κάθε χρόνο, η Qualcomm αποκαλύπτει την πληθώρα των βελτιώσεων που φέρνει στο Hexagon DSP και στο Qualcomm AI Engine, έναν όρο που χρησιμοποιούν για ολόκληρη την ετερογενή υπολογιστική τους πλατφόρμα - CPU, GPU και DSP - όταν μιλούν για AI φόρτους εργασίας. Πριν από μερικά χρόνια, η επιμονή της Qualcomm να απομακρύνει τη συνομιλία από τα παραδοσιακά σημεία ομιλίας, όπως οι βελτιώσεις απόδοσης της CPU από έτος σε έτος, φαινόταν κάπως περίεργη. Ωστόσο, το 2019 και με τον Snapdragon 865, βλέπουμε ότι ο ετερογενής υπολογισμός βρίσκεται πράγματι στο τιμόνι της κινητής τους ώθησης υπολογιστών, καθώς το AI και οι φόρτοι εργασίας με επιτάχυνση υλικού φαίνεται να εισχωρούν κρυφά σε ένα εύρος περιπτώσεων χρήσης και εφαρμογών, από τα μέσα κοινωνικής δικτύωσης έως τις καθημερινές Υπηρεσίες.

Ο Snapdragon 865 φέρνει τον κινητήρα τεχνητής νοημοσύνης 5ης γενιάς της Qualcomm και μαζί του έρχονται ζουμερές βελτιώσεις στην απόδοση και την απόδοση ισχύος -- αλλά αυτό είναι αναμενόμενο. Σε μια θάλασσα προδιαγραφών, αριθμών απόδοσης, φανταχτερών όρων μηχανικής και κουραστικών τσιτάτων μάρκετινγκ, είναι εύκολο να παραβλέψουμε τι σημαίνουν στην πραγματικότητα αυτές οι βελτιώσεις. Τι περιγράφουν; Γιατί αυτές οι αναβαθμίσεις είναι τόσο σημαντικές για όσους εφαρμόζουν την τεχνητή νοημοσύνη στις εφαρμογές τους σήμερα, και ίσως το πιο σημαντικό, για όσους θέλουν να το κάνουν στο μέλλον;

Σε αυτό το άρθρο, θα κάνουμε μια προσιτή αλλά ενδελεχή περιήγηση στο Qualcomm AI Engine αναλύοντας την ιστορία του, τα εξαρτήματά του και τις αναβαθμίσεις του Snapdragon 865, και το πιο σημαντικό, Γιατί ή πως καθένα από αυτά συνέβαλε στη σημερινή εμπειρία smartphone, από αστεία φίλτρα μέχρι ψηφιακούς βοηθούς.

Το Hexagon DSP και η Qualcomm AI Engine: Όταν η επωνυμία κάνει τη διαφορά

Αν και δεν μπόρεσα να παρευρεθώ στο Snapdragon Tech Summit αυτής της εβδομάδας, παρόλα αυτά έχω παρακολουθήσει κάθε άλλο από το 2015. Αν θυμάστε, ότι ήταν η χρονιά του καυτού χάους που ήταν ο Snapdragon 810, και έτσι οι δημοσιογράφοι σε εκείνο το πατάρι της Chelsea στη Νέα Υόρκη ήταν πρόθυμοι να μάθουν πώς το Snapdragon 820 θα εξαργύρωνε την εταιρεία. Και ήταν ένα υπέροχο chipset, εντάξει: Υποσχέθηκε υγιείς βελτιώσεις απόδοσης (χωρίς κανένα περιορισμό) επιστρέφοντας στους τότε δοκιμασμένους και αληθινούς προσαρμοσμένους πυρήνες για τους οποίους ήταν γνωστή η Qualcomm. Ωστόσο, θυμάμαι επίσης μια πολύ λεπτή ανακοίνωση που, εκ των υστέρων, θα έπρεπε να είχε λάβει περισσότερη προσοχή: δεύτερης γενιάς Hexagon 680 DSP και η μοναδική του εντολή, πολλαπλά δεδομένα (SIMD) Hexagon Vector επεκτάσεις ή HVX. Ίσως αν οι μηχανικοί δεν είχαν ονομάσει το χαρακτηριστικό, θα είχε λάβει την προσοχή που άξιζε.

Αυτός ο συνεπεξεργαστής επιτρέπει στα νήματα υλικού της μονάδας DSP να έχουν πρόσβαση σε «πλαίσια» HVX (αρχεία εγγραφής) για ευρείες διανυσματικές δυνατότητες επεξεργασίας. Ενίσχυσε τη μεταφόρτωση σημαντικών υπολογιστικών φόρτων εργασίας από την απαιτητική CPU ή GPU στο ενεργειακά αποδοτικό DSP, έτσι ώστε οι εργασίες απεικόνισης και όρασης υπολογιστή να εκτελούνται με σημαντικά βελτιωμένη απόδοση ανά milliwatt. Είναι ιδανικά για την εφαρμογή πανομοιότυπων πράξεων σε συνεχόμενα διανυσματικά στοιχεία (αρχικά απλώς ακέραιοι), καθιστώντας τα κατάλληλα για φόρτους εργασίας όρασης υπολογιστή. Έχουμε γράψει ένα σε βάθος άρθρο για το DSP και το HVX στο παρελθόν, σημειώνοντας ότι η αρχιτεκτονική HVX προσφέρεται για παραλληλοποίηση και, προφανώς, επεξεργασία μεγάλων διανυσμάτων εισόδου. Εκείνη την εποχή, η Qualcomm προώθησε τόσο το DSP όσο και το HVX σχεδόν αποκλειστικά περιγράφοντας τις βελτιώσεις που θα έφερνε στον υπολογιστή όραση φόρτους εργασίας όπως ο ανιχνευτής γωνίας Harris και άλλα συρόμενα παράθυρο μεθόδους.

Μόλις εμφανίστηκε η βαθιά μάθηση στις εφαρμογές για κινητές συσκευές για καταναλωτές, το DSP, ο φορέας του οι μονάδες επεξεργασίας (και τώρα, ένας επιταχυντής τανυστών) θα παντρεύονταν με την τεχνητή νοημοσύνη και τα νευρωνικά δίκτυα, ιδιαιτερος. Αλλά κοιτάζοντας πίσω, είναι απολύτως λογικό: Η αρχιτεκτονική του ψηφιακού επεξεργαστή σήματος (DSP), που αρχικά σχεδιάστηκε για το χειρισμό ψηφιοποιημένων πραγματικές ή αναλογικές εισόδους σήματος, προσφέρεται για πολλούς από τους ίδιους φόρτους εργασίας με πολλούς αλγόριθμους μηχανικής μάθησης και νευρωνικά δίκτυα. Για παράδειγμα, τα DSP είναι προσαρμοσμένα για πυρήνες φίλτρων, λειτουργίες συνέλιξης και συσχέτισης, υπολογισμούς 8 bit, έναν τόνο γραμμική άλγεβρα (διάνυσμα και γινόμενα μήτρας) και λειτουργίες πολλαπλασιασμού-συσσώρευσης (MAC), όλες πιο αποτελεσματικές όταν παραλληλίζονται. Ο χρόνος εκτέλεσης ενός νευρωνικού δικτύου εξαρτάται επίσης σε μεγάλο βαθμό από τον πολλαπλασιασμό μεγάλων διανυσμάτων, πινάκων και/ή τανυστών. είναι φυσικό τα πλεονεκτήματα απόδοσης του DSP να μεταφράζονται σε αρχιτεκτονικές νευρωνικών δικτύων ως Καλά. Θα ξαναδούμε αυτό το θέμα εν συντομία!

Τα επόμενα χρόνια, η Qualcomm συνέχισε να τονίζει ότι δεν προσφέρουν μόλις chipsets, αλλά κινητές πλατφόρμες, και ότι δεν εστιάζουν μόλις για τη βελτίωση συγκεκριμένων στοιχείων, αλλά την παροχή «ετερογενούς» υπολογισμού. Το 2017, κυκλοφόρησαν το Snapdragon Neural Processing Engine SDK (για επιτάχυνση χρόνου εκτέλεσης) στο Qualcomm Developer Network και στις αρχές του 2018 ανακοίνωσε την Qualcomm Artificial Intelligence Engine για να ενοποιήσει τα διάφορα στοιχεία υλικού με δυνατότητα AI (CPU, GPU, DSP) και λογισμικού σε ένα ενιαίο όνομα. Με αυτή τη χρήσιμη ονοματολογία, μπόρεσαν να διαφημίσουν τις βελτιώσεις της απόδοσης AI τόσο στον Snapdragon 855 όσο και στον Snapdragon 865, που μπορεί να προσδιορίσει άνετα τον αριθμό των τρισεκατομμυρίων λειτουργιών ανά δευτερόλεπτο (TOPS) και το ποσοστό από έτος σε έτος βελτιώσεις. Αξιοποιώντας τις βελτιώσεις των γενεών σε CPU, GPU και DSP - όλα αυτά βλέπουν τη δική τους τεχνητή νοημοσύνη αναβαθμίσεις - η εταιρεία είναι σε θέση να δημοσιεύει εντυπωσιακά σημεία αναφοράς έναντι των ανταγωνιστών, τα οποία θα εξετάσουμε σε σύντομο χρονικό διάστημα. Με τις πρόσφατες προσπάθειες μάρκετινγκ της εταιρείας και την ενοποιημένη, συνεπή ανταλλαγή μηνυμάτων σχετικά με την ετερογενή πληροφορική, η επωνυμία της με τεχνητή νοημοσύνη κερδίζει επιτέλους έλξη μεταξύ των δημοσιογράφων και των λάτρεις της τεχνολογίας.

Απομυθοποιώντας νευρωνικά δίκτυα: Ένας κοσμικός σωρός γραμμικής άλγεβρας

Για να ξεμπερδέψουμε πολλή ορολογία που θα συναντήσουμε αργότερα στο άρθρο, χρειαζόμαστε ένα σύντομο αστάρι για τι είναι ένα νευρωνικό δίκτυο και τι χρειάζεστε για να το κάνετε πιο γρήγορα. Θέλω να αναφερθώ πολύ σύντομα σε ορισμένες από τις μαθηματικές βάσεις των νευρωνικών δικτύων, αποφεύγοντας όσο το δυνατόν περισσότερη ορολογία και σημειογραφία. Ο σκοπός αυτής της ενότητας είναι απλώς να προσδιορίσει τι κάνει ένα νευρωνικό δίκτυο, βασικά: τις αριθμητικές πράξεις εκτελεί, παρά η θεωρητική βάση που δικαιολογεί τις εν λόγω πράξεις (αυτό είναι πολύ πιο περίπλοκο!). Μη διστάσετε να προχωρήσετε στην επόμενη ενότητα εάν θέλετε να μεταβείτε κατευθείαν στις αναβαθμίσεις του Qualcomm AI Engine.

«Τα διανυσματικά μαθηματικά είναι το θεμέλιο της βαθιάς μάθησης». – Travis Lanier, Ανώτερος Διευθυντής Διαχείρισης Προϊόντων στην Qualcomm στο 2017 Snapdragon Tech Summit

Παρακάτω θα βρείτε ένα πολύ τυπικό διάγραμμα τροφοδοσίας πλήρως συνδεδεμένου νευρωνικού δικτύου. Στην πραγματικότητα, το διάγραμμα κάνει την όλη διαδικασία να φαίνεται λίγο πιο περίπλοκη από ό, τι είναι (τουλάχιστον, μέχρι να το συνηθίσεις). Θα υπολογίσουμε ένα μπροστινό πέρασμα, το οποίο είναι τελικά αυτό που κάνει ένα δίκτυο κάθε φορά που παράγει ένα συμπέρασμα, έναν όρο που θα συναντήσουμε αργότερα στο άρθρο επίσης. Προς το παρόν, θα ασχοληθούμε μόνο με το μηχάνημα και τα μέρη του, με σύντομες επεξηγήσεις για κάθε εξάρτημα.

Ένα νευρωνικό δίκτυο αποτελείται από διαδοχικά στρώματα, ο καθένας αποτελείται από πολλούς «νευρώνες» (που απεικονίζονται ως κύκλοι στο διάγραμμα) που συνδέονται με βάρη (απεικονίζεται ως γραμμές στο διάγραμμα). Σε γενικές γραμμές, υπάρχουν τρία είδη στρωμάτων: το στρώμα εισόδου, που παίρνει την ακατέργαστη είσοδο. κρυφά στρώματα, που υπολογίζουν μαθηματικές πράξεις από το προηγούμενο επίπεδο, και το στρώμα εξόδου, το οποίο παρέχει τις τελικές προβλέψεις. Σε αυτή την περίπτωση, έχουμε μόνο ένα κρυφό στρώμα, με τρία κρυφές μονάδες. ο εισαγωγή αποτελείται από ένα διάνυσμα, έναν πίνακα ή μια λίστα αριθμών συγκεκριμένης διάστασης ή μήκους. Στο παράδειγμα, θα έχουμε μια δισδιάστατη είσοδο, ας πούμε [1.0, -1.0]. Εδώ, το παραγωγή του δικτύου αποτελείται από έναν βαθμωτό ή μεμονωμένο αριθμό (όχι μια λίστα). Κάθε κρυφή μονάδα σχετίζεται με ένα σύνολο βάρη και ένα όρος μεροληψίας, που εμφανίζεται δίπλα και κάτω από κάθε κόμβο. Για να υπολογίσετε το σταθμισμένο άθροισμα εξόδου μιας μονάδας, κάθε βάρος πολλαπλασιάζεται με κάθε αντίστοιχη είσοδο και στη συνέχεια τα γινόμενα προστίθενται. Στη συνέχεια, θα προσθέσουμε απλώς τον όρο μεροληψίας σε αυτό το άθροισμα των προϊόντων, με αποτέλεσμα την έξοδο του νευρώνα. Για παράδειγμα, με τη συμβολή μας [1.0,-1.0], η πρώτη κρυφή μονάδα θα έχει έξοδο από 1.0*0.3 + (-1.0) * 0.2 + 1.0 = 1.1. Απλό, σωστά;

Το επόμενο βήμα στο διάγραμμα αντιπροσωπεύει ένα λειτουργία ενεργοποίησης, και είναι αυτό που θα μας επιτρέψει να παράγουμε το διάνυσμα εξόδου κάθε κρυφού στρώματος. Στην περίπτωσή μας, θα χρησιμοποιήσουμε το πολύ δημοφιλές και εξαιρετικά απλό διορθωμένη γραμμική μονάδα ή ReLU, το οποίο θα λάβει έναν αριθμό εισόδου και θα εξάγει είτε (i) μηδέν, εάν αυτός ο αριθμός είναι αρνητικός ή μηδέν (ii) τον ίδιο τον αριθμό εισόδου, εάν ο αριθμός είναι θετικός. Για παράδειγμα, ReLU(-0,1) = 0, αλλά ReLU(0,1) = 0,1. Ακολουθώντας το παράδειγμα της εισαγωγής μας ως έχει διαδίδεται μέσω αυτής της πρώτης κρυφής μονάδας, η έξοδος του 1.1 που υπολογίσαμε θα περνούσε στη συνάρτηση ενεργοποίησης, αποδίδοντας ReLU(1.1)=1.1. Το επίπεδο εξόδου, σε αυτό το παράδειγμα, θα λειτουργεί ακριβώς όπως μια κρυφή μονάδα: θα πολλαπλασιάσει τις εξόδους των κρυφών μονάδων σε σχέση με τα βάρη του και στη συνέχεια θα προσθέσει τον όρο μεροληψίας του 0.2. Η τελευταία λειτουργία ενεργοποίησης, η λειτουργία βήματος, θα μετατρέψει τις θετικές εισόδους σε 1 και τις αρνητικές τιμές σε 0. Γνωρίζοντας πώς λειτουργεί κάθε μία από τις λειτουργίες του δικτύου, μπορούμε να καταγράψουμε τον πλήρη υπολογισμό του συμπεράσματός μας ως εξής:

Αυτό είναι το μόνο που υπάρχει στον υπολογισμό του νευρωνικού μας δικτύου ανατροφοδότησης. Όπως μπορείτε να δείτε, το οι πράξεις αποτελούνται σχεδόν εξ ολοκλήρου από γινόμενα και αθροίσματα αριθμών. Η λειτουργία ενεργοποίησής μας ReLU(x) μπορεί επίσης να υλοποιηθεί πολύ εύκολα, για παράδειγμα με απλή κλήση μέγιστο (x, 0), έτσι ώστε να επιστρέφει x όποτε η είσοδος είναι μεγαλύτερη από 0, αλλά διαφορετικά επιστρέφει 0. Σημειώστε ότι βήμα (x) μπορεί να υπολογιστεί παρόμοια. Υπάρχουν πολλές πιο περίπλοκες λειτουργίες ενεργοποίησης, όπως το σιγμοειδής λειτουργία ή το υπερβολική εφαπτομένη, που περιλαμβάνουν διαφορετικούς εσωτερικούς υπολογισμούς και είναι πιο κατάλληλοι για διαφορετικούς σκοπούς. Ένα άλλο πράγμα που μπορείτε ήδη να αρχίσετε να παρατηρείτε είναι ότι και εμείς μπορεί να εκτελέσει τους υπολογισμούς των τριών κρυφών μονάδων και τις εφαρμογές τους ReLU παράλληλα, καθώς οι τιμές τους δεν χρειάζονται ταυτόχρονα μέχρι να υπολογίσουμε το σταθμισμένο άθροισμά τους στον κόμβο εξόδου.

Αλλά δεν χρειάζεται να σταματήσουμε εκεί. Παραπάνω, μπορείτε να δείτε τον ίδιο υπολογισμό, αλλά αυτή τη φορά αντιπροσωπεύεται με πράξεις πολλαπλασιασμού μήτρας και διανυσμάτων. Για να φτάσουμε σε αυτήν την αναπαράσταση, «αυξάνουμε» το διάνυσμα εισόδου προσθέτοντας ένα 1,0 σε αυτό (ελαφρύτερη απόχρωση), έτσι ώστε όταν βάζουμε βάρη και η μεροληψία μας (ελαφρύτερη απόχρωση) στη μήτρα όπως φαίνεται παραπάνω, ο πολλαπλασιασμός που προκύπτει αποδίδει την ίδια κρυφή μονάδα εξόδους. Στη συνέχεια, μπορούμε να εφαρμόσουμε το ReLU στο διάνυσμα εξόδου, ως προς τα στοιχεία, και στη συνέχεια να «αυξήσουμε» την έξοδο ReLU για να το πολλαπλασιάσουμε με τα βάρη και την προκατάληψη του στρώματος εξόδου μας. Αυτή η αναπαράσταση απλοποιεί σημαντικά τη σημείωση, καθώς οι παράμετροι (βαρίδια και προκαταλήψεις) ενός ολόκληρου κρυφού στρώματος μπορούν να τοποθετηθούν κάτω από μια μεμονωμένη μεταβλητή. Αλλά το πιο σημαντικό για εμάς, το καθιστά σαφές αυτό οι εσωτερικοί υπολογισμοί του δικτύου είναι ουσιαστικά πολλαπλασιασμός μήτρας και διανυσμάτων ή γινόμενα κουκκίδων. Δεδομένου του τρόπου με τον οποίο το μέγεθος αυτών των διανυσμάτων και των πινάκων κλιμακώνεται με τη διάσταση των εισόδων μας και τον αριθμό των παραμέτρων στο δίκτυό μας, ο περισσότερος χρόνος εκτέλεσης θα δαπανηθεί κάνοντας αυτού του είδους τους υπολογισμούς. Ένα μάτσο γραμμική άλγεβρα!

Το παράδειγμα του παιχνιδιού μας είναι, φυσικά, πολύ περιορισμένης έκτασης. Στην πράξη, τα σύγχρονα μοντέλα βαθιάς μάθησης μπορούν να έχουν δεκάδες, αν όχι εκατοντάδες κρυφά επίπεδα, και εκατομμύρια σχετικές παραμέτρους. Αντί για το δισδιάστατο παράδειγμα εισόδου διανυσμάτων, μπορούν να λάβουν διανύσματα με χιλιάδες καταχωρήσεις, σε διάφορα σχήματα, όπως πίνακες (όπως εικόνες μονού καναλιού) ή τανυστές (RGB τριών καναλιών εικόνες). Επίσης, τίποτα δεν εμποδίζει την αναπαράσταση του πίνακα μας να λαμβάνει πολλαπλά διανύσματα εισόδων ταυτόχρονα, προσθέτοντας σειρές στην αρχική μας είσοδο. Τα νευρωνικά δίκτυα μπορούν επίσης να «καλωδιωθούν» διαφορετικά από το νευρωνικό μας δίκτυο με τροφοδοσία ή να εκτελούν διαφορετικές λειτουργίες ενεργοποίησης. Υπάρχει ένας τεράστιος ζωολογικός κήπος αρχιτεκτονικών και τεχνικών δικτύων, αλλά τελικά, αυτές ως επί το πλείστον αναλύουμε στις ίδιες παράλληλες αριθμητικές πράξεις που βρίσκουμε στο παράδειγμα του παιχνιδιού μας, ακριβώς σε πολύ μεγαλύτερη κλίμακα.

Οπτικό παράδειγμα στρωμάτων συνέλιξης που λειτουργούν σε τανυστήρα. (Πίστωση εικόνας: Προς Επιστήμη Δεδομένων)

Για παράδειγμα, το λαϊκό συνελικτικά νευρωνικά δίκτυα (CNN) για τα οποία πιθανότατα έχετε διαβάσει δεν είναι "πλήρης σύνδεση" όπως το ψεύτικο δίκτυό μας. Τα «βάρη» ή οι παράμετροι του κρυφού συνελικτικά στρώματα μπορεί να θεωρηθεί ως ένα είδος φίλτρου, ένα συρόμενο παράθυρο που εφαρμόζεται διαδοχικά σε μικρά μπαλώματα μιας εισόδου όπως φαίνεται παραπάνω -- αυτή η "συνέλιξη" είναι στην πραγματικότητα απλώς ένα προϊόν συρόμενης κουκκίδας! Αυτή η διαδικασία έχει ως αποτέλεσμα αυτό που συχνά ονομάζεται α χάρτης χαρακτηριστικών. Τα επίπεδα συγκέντρωσης μειώνουν το μέγεθος της εξόδου μιας εισόδου ή ενός συνελικτικού επιπέδου, υπολογίζοντας τη μέγιστη ή τη μέση τιμή μικρών μπαλωμάτων της εικόνας. Το υπόλοιπο δίκτυο συνήθως αποτελείται από πλήρως συνδεδεμένα επίπεδα, όπως αυτά στο παράδειγμά μας, και λειτουργίες ενεργοποίησης όπως το ReLU. Αυτό χρησιμοποιείται συχνά για εξαγωγή χαρακτηριστικών σε εικόνες όπου οι χάρτες χαρακτηριστικών των πρώιμων συνελικτικών επιπέδων μπορούν να "ανιχνεύσουν" μοτίβα όπως γραμμές ή άκρες και μεταγενέστερα στρώματα μπορούν να ανιχνεύσουν πιο περίπλοκα χαρακτηριστικά όπως πρόσωπα ή σύνθετα σχήματα.

Όλα αυτά που ειπώθηκαν είναι περιορίζεται αυστηρά στο συμπέρασμα, ή την αξιολόγηση ενός νευρωνικού δικτύου μετά την εύρεση των παραμέτρων του εκπαίδευση που είναι μια πολύ πιο περίπλοκη διαδικασία. Και πάλι, έχουμε αποκλείσει πολλές εξηγήσεις. Στην πραγματικότητα, κάθε ένα από τα στοιχεία του δικτύου περιλαμβάνεται για έναν σκοπό. Για παράδειγμα, όσοι από εσάς έχετε μελετήσει τη γραμμική άλγεβρα μπορείτε εύκολα να το παρατηρήσετε χωρίς το μη γραμμικές λειτουργίες ενεργοποίησης, το δίκτυό μας απλοποιείται σε ένα γραμμικό μοντέλο με πολύ περιορισμένη πρόβλεψη χωρητικότητα.

Ένας αναβαθμισμένος κινητήρας AI στον Snapdragon 865 - Σύνοψη βελτιώσεων

Με αυτή την εύχρηστη κατανόηση των στοιχείων ενός νευρωνικού δικτύου και των μαθηματικών λειτουργιών τους, μπορούμε να αρχίσουμε να κατανοούμε ακριβώς γιατί η επιτάχυνση υλικού είναι τόσο σημαντική. Στην τελευταία ενότητα, μπορούμε να παρατηρήσουμε ότι η παραλληλοποίηση είναι ζωτικής σημασίας για την επιτάχυνση του δικτύου μας επιτρέπει, για παράδειγμα, να υπολογίσουμε πολλά παράλληλα κουκκίδες που αντιστοιχούν σε κάθε νευρώνα δραστηριοποίηση. Κάθε ένα από αυτά τα προϊόντα κουκκίδων αποτελείται από μόνο του από λειτουργίες πολλαπλασιασμού-προσθήκης σε αριθμούς, συνήθως με ακρίβεια 8 bit στην περίπτωση εφαρμογών για κινητές συσκευές, που πρέπει να πραγματοποιούνται όσο το δυνατόν γρηγορότερα. Το AI Engine προσφέρει διάφορα εξαρτήματα για την εκφόρτωση αυτών των εργασιών ανάλογα με τις επιδόσεις και τις εκτιμήσεις σχετικά με την απόδοση ισχύος του προγραμματιστή.

Ένα διάγραμμα ενός CNN για το δημοφιλές σύνολο δεδομένων MNIST, που παρουσιάστηκε στη σκηνή στο φετινό Snapdragon Summit. Η μονάδα επεξεργασίας διανυσμάτων είναι κατάλληλη για τα πλήρως συνδεδεμένα στρώματα, όπως στο εικονικό μας παράδειγμα. Εν τω μεταξύ, ο τανυστής επεξεργαστής χειρίζεται τα συνελικτικά και ομαδικά στρώματα που επεξεργάζονται πολλαπλές ολισθήσεις πυρήνες παράλληλα, όπως στο παραπάνω διάγραμμα, και κάθε συνελικτικό επίπεδο μπορεί να παράγει πολλά ξεχωριστά χαρακτηριστικά χάρτες.

Αρχικά, ας δούμε τη GPU, για την οποία συνήθως μιλάμε στο πλαίσιο των 3D παιχνιδιών. Η καταναλωτική αγορά για βιντεοπαιχνίδια έχει τονώσει την ανάπτυξη του υλικού επεξεργασίας γραφικών εδώ και δεκαετίες, αλλά γιατί οι GPU είναι τόσο σημαντικές για τα νευρωνικά δίκτυα; Για αρχή, μασούν τεράστιες λίστες τρισδιάστατων συντεταγμένων κορυφών πολυγώνων ταυτόχρονα για να παρακολουθούν μια παγκόσμια κατάσταση εντός του παιχνιδιού. Η GPU πρέπει επίσης να εκτελεί γιγάντιες λειτουργίες πολλαπλασιασμού μήτρας για να μετατρέψει (ή να χαρτογραφήσει) αυτά τα 3D συντεταγμένες σε δισδιάστατες επίπεδες, συντεταγμένες στην οθόνη και επίσης χειρίζεται τις πληροφορίες χρώματος των pixel σε παράλληλο. Επιπροσθέτως, προσφέρουν υψηλό εύρος ζώνης μνήμης για τη διαχείριση των τεράστιων buffer μνήμης για τα bitmaps υφής που επικαλύπτονται στη γεωμετρία του παιχνιδιού. Τα πλεονεκτήματά του στην παραλληλοποίηση, το εύρος ζώνης μνήμης και τις προκύπτουσες δυνατότητες γραμμικής άλγεβρας ταιριάζουν με τις απαιτήσεις απόδοσης των νευρωνικών δικτύων.

Η σειρά Adreno GPU έχει επομένως μεγάλο ρόλο να παίξει στο Qualcomm AI Engine και στη σκηνή, η Qualcomm δήλωσε ότι αυτό το ενημερωμένο στοιχείο στο Snapdragon 865 επιτρέπει διπλάσιες δυνατότητες κινητής υποδιαστολής και διπλάσιο από τον αριθμό των TOPS σε σύγκριση με την προηγούμενη γενιά, κάτι που προκαλεί έκπληξη δεδομένου ότι ανέβασαν μόνο 25% την απόδοση για την απόδοση γραφικών. Ωστόσο, για αυτήν την έκδοση, η εταιρεία υπερηφανεύεται για ένα Αύξηση 50% στον αριθμό των αριθμητικών λογικών μονάδων (ALUs), αν και ως συνήθως, δεν έχουν αποκαλύψει τις συχνότητες GPU τους. Η Qualcomm παρουσίασε επίσης τη μικτή ακρίβεια οδηγίες, που είναι ακριβώς αυτό που ακούγεται: διαφορετική αριθμητική ακρίβεια σε όλες τις λειτουργίες σε μια ενιαία υπολογιστική μέθοδο.

Το Hexagon 698 DSP είναι όπου βλέπουμε ένα τεράστιο κομμάτι των κερδών απόδοσης που προσφέρει ο Snapdragon 865. Φέτος, η εταιρεία δεν έχει κοινοποιήσει βελτιώσεις στις διανυσματικές επεκτάσεις του DSP (των οποίων η απόδοση τετραπλασιάστηκε σε 855 του περασμένου έτους), ούτε τις βαθμωτές μονάδες τους. Ωστόσο, σημειώνουν ότι για τον επιταχυντή τανυστή αυτού του μπλοκ, έχουν επιτύχει τέσσερις φορές τα TOP σε σύγκριση με την έκδοση που παρουσιάστηκε πέρυσι στο Hexagon 695 DSP, ενώ παράλληλα μπορεί να προσφέρει 35% καλύτερη απόδοση ισχύος. Αυτό είναι πολύ μεγάλο λαμβάνοντας υπόψη την επικράτηση των αρχιτεκτονικών συνελικτικών νευρωνικών δικτύων στις σύγχρονες περιπτώσεις χρήσης τεχνητής νοημοσύνης που κυμαίνονται από τον εντοπισμό αντικειμένων εικόνας έως την αυτόματη αναγνώριση ομιλίας. Όπως εξηγήθηκε παραπάνω, η λειτουργία συνέλιξης σε αυτά τα δίκτυα παράγει έναν δισδιάστατο πίνακα εξόδων μήτρας για κάθε φίλτρο, που σημαίνει ότι όταν στοιβάζονται μαζί, η έξοδος ενός επιπέδου συνέλιξης είναι ένας πίνακας 3D ή τανύων μύς.

Η Qualcomm προώθησε επίσης το "νέο και μοναδικό" της συμπίεση εύρους ζώνης βαθιάς μάθησης τεχνική, η οποία μπορεί προφανώς συμπίεση δεδομένων χωρίς απώλειες κατά περίπου 50%, με τη σειρά του μετακινώντας τα μισά δεδομένα και ελευθερώνοντας εύρος ζώνης για άλλα μέρη του chipset. Θα πρέπει επίσης να εξοικονομήσει ενέργεια μειώνοντας αυτή τη ροή δεδομένων, αν και δεν μας δόθηκαν αριθμοί και θα έπρεπε επίσης να υπάρχει μικρό κόστος ενέργειας για τη συμπίεση των δεδομένων.

Όσον αφορά το εύρος ζώνης, ο Snapdragon 865 υποστηρίζει Μνήμη LPDDR5, το οποίο θα ωφελήσει επίσης την απόδοση της τεχνητής νοημοσύνης καθώς θα αυξήσει την ταχύτητα με την οποία μεταφέρονται οι πόροι και τα δεδομένα εισόδου. Πέρα από το υλικό, το νέο της Qualcomm Κιτ εργαλείων απόδοσης μοντέλου AI καθιστά εύκολη τη συμπίεση του μοντέλου και τη συνακόλουθη εξοικονόμηση ενέργειας διαθέσιμη στους προγραμματιστές. Τα νευρωνικά δίκτυα έχουν συχνά μεγάλο αριθμό «περιττών» παραμέτρων. για παράδειγμα, μπορεί να κάνουν τα κρυφά επίπεδα ευρύτερα από ό, τι χρειάζεται. Ένα από τα χαρακτηριστικά του AI Toolkit που συζητήθηκαν στη σκηνή είναι έτσι συμπίεση μοντέλου, με δύο από τις αναφερόμενες μεθόδους να είναι η χωρική αποσύνθεση μοναδικής τιμής (SVD) και η συμπίεση bayesian, και οι δύο τα οποία κλαδεύουν αποτελεσματικά το νευρωνικό δίκτυο απαλλάσσοντας τους περιττούς κόμβους και προσαρμόζοντας τη δομή του μοντέλου ως απαιτείται. Η άλλη τεχνική συμπίεσης μοντέλου που παρουσιάζεται στη σκηνή σχετίζεται με την κβαντοποίηση, και αυτή περιλαμβάνει την αλλαγή της αριθμητικής ακρίβειας των παραμέτρων βάρους και τους υπολογισμούς του κόμβου ενεργοποίησης.

Η αριθμητική ακρίβεια των βαρών νευρωνικών δικτύων αναφέρεται στο εάν οι αριθμητικές τιμές που χρησιμοποιούνται για τον υπολογισμό αποθηκεύονται, μεταφέρονται και υποβάλλονται σε επεξεργασία ως τιμές 64, 32, 16 (μισής ακρίβειας) ή 8-bit. Η χρήση χαμηλότερης αριθμητικής ακρίβειας (για παράδειγμα, INT8 έναντι FP32) μειώνει τη συνολική χρήση της μνήμης και τις ταχύτητες μεταφοράς δεδομένων, επιτρέποντας υψηλότερο εύρος ζώνης και ταχύτερα συμπεράσματα. Πολλές από τις σημερινές εφαρμογές βαθιάς εκμάθησης έχουν αλλάξει σε μοντέλα ακριβείας 8-bit για συμπεράσματα, κάτι που μπορεί να ακούγεται εκπληκτικό: η υψηλότερη αριθμητική ακρίβεια δεν θα επέτρεπε πιο «ακριβείς» προβλέψεις στην ταξινόμηση ή την παλινδρόμηση καθήκοντα? Οχι απαραίτητα; υψηλότερη αριθμητική ακρίβεια, ιδιαίτερα κατά την εξαγωγή συμπερασμάτων, μπορεί να χαθεί καθώς τα νευρωνικά δίκτυα εκπαιδεύονται να αντιμετωπίζουν θορυβώδεις εισόδους ή ούτως ή άλλως μικρές διαταραχές κατά τη διάρκεια της προπόνησης και το σφάλμα στην αναπαράσταση χαμηλότερου bit μιας δεδομένης τιμής (FP) είναι ομοιόμορφα «τυχαίο» αρκετά. Κατά μία έννοια, η χαμηλή ακρίβεια των υπολογισμών αντιμετωπίζεται από το δίκτυο ως άλλη πηγή θορύβου και οι προβλέψεις παραμένουν χρησιμοποιήσιμες. Εκτός από τις ευρετικές επεξηγήσεις, είναι πιθανό να επιβαρυνθείτε με ποινή ακρίβειας όταν ποσοτικοποιείτε άσχημα ένα μοντέλο χωρίς να ληφθούν υπόψη ορισμένες σημαντικές εκτιμήσεις, γι' αυτό και γίνεται πολλή έρευνα στο θέμα

Επιστροφή στο Qualcomm AI Toolkit: Μέσω αυτού προσφέρουν κβαντοποίηση χωρίς δεδομένα, επιτρέποντας την κβαντοποίηση μοντέλων χωρίς μικρορύθμιση δεδομένων ή παραμέτρων, ενώ παράλληλα επιτυγχάνεται σχεδόν η αρχική απόδοση του μοντέλου σε διάφορες εργασίες. Ουσιαστικά, προσαρμόζει τις παραμέτρους βάρους για κβαντοποίηση και διορθώνει το σφάλμα μεροληψίας που εισάγεται κατά τη μετάβαση σε βάρη χαμηλότερης ακρίβειας. Δεδομένων των πλεονεκτημάτων που προκύπτουν από την κβαντοποίηση, η αυτοματοποίηση της διαδικασίας στο πλαίσιο μιας κλήσης API θα απλοποιούσε την παραγωγή και την ανάπτυξη μοντέλων και ισχυρίζεται η Qualcomm περισσότερο από τέσσερις φορές την απόδοση ανά watt κατά την εκτέλεση του κβαντισμένου μοντέλου.

Αλλά και πάλι, αυτό δεν είναι σοκαριστικό: τα κβαντιστικά μοντέλα μπορούν να προσφέρουν τεράστια οφέλη εύρους ζώνης και αποθήκευσης. Η μετατροπή ενός μοντέλου σε INT8 όχι μόνο σας εξασφαλίζει 4 φορές μείωση του εύρους ζώνης, αλλά και το όφελος από ταχύτερους υπολογισμούς ακεραίων (ανάλογα με το υλικό). Δεν είναι καθόλου έξυπνο, λοιπόν, ότι οι επιταχυνόμενες από το υλικό προσεγγίσεις τόσο στον κβαντισμό όσο και στον αριθμητικό υπολογισμό θα απέδιδαν τεράστια κέρδη απόδοσης. Στο blog του, για παράδειγμα, ο Pete Warden της Google έγραψε ότι μια συνεργασία μεταξύ των ομάδων Qualcomm και Tensorflow επιτρέπει σε μοντέλα 8-bit να λειτουργούν μέχρι επτά φορές πιο γρήγοραστο HVX DSP παρά στην CPU. Είναι δύσκολο να υπερεκτιμήσουμε τις δυνατότητες της εύχρηστης κβαντοποίησης, ιδιαίτερα δεδομένου του τρόπου με τον οποίο η Qualcomm έχει επικεντρωθεί στην απόδοση INT8.

Η βασισμένη σε ARM CPU Kryo του Snapdragon 865 εξακολουθεί να είναι ένα σημαντικό στοιχείο του κινητήρα AI. Παρόλο που η επιτάχυνση υλικού που συζητήθηκε στις παραπάνω παραγράφους είναι προτιμότερη, μερικές φορές εμείς δεν μπορεί να αποφύγει εφαρμογές που δεν εκμεταλλεύονται σωστά αυτά τα μπλοκ, με αποτέλεσμα την CPU εναλλακτική. Στο παρελθόν, η ARM είχε εισαγάγει συγκεκριμένα σύνολα εντολών με στόχο την επιτάχυνση των υπολογισμών που βασίζονται σε μήτρες και διανύσματα. Στους επεξεργαστές ARMv7, είδαμε την εισαγωγή του ARM NEON, μιας επέκτασης αρχιτεκτονικής SIMD που επιτρέπει οδηγίες τύπου DSP. Και με τη μικροαρχιτεκτονική ARMv8.4-A, είδαμε την εισαγωγή μιας εντολής ειδικά για dot-products.

Όλα αυτά τα δημοσιευμένα κέρδη απόδοσης σχετίζονται με πολλούς από τους φόρτους εργασίας που περιγράψαμε στην προηγούμενη ενότητα, αλλά αξίζει επίσης να έχετε κατά νου ότι αυτές οι αναβαθμίσεις του Snapdragon 865 είναι μόνο το πιο πρόσφατο βελτιώσεις στις δυνατότητες AI της Qualcomm. Το 2017, τεκμηριώσαμε τον τριπλασιασμό των δυνατοτήτων AI με το Hexagon 685 DSP και άλλες ενημερώσεις chipset. Πέρυσι, εισήγαγαν τον επιταχυντή τανυστή τους και ενσωματώνουν υποστήριξη για λειτουργίες μη γραμμικότητας (όπως το προαναφερθέν ReLU!) σε επίπεδο υλικού. Διπλασίασαν επίσης τον αριθμό των διανυσματικών επιταχυντών και βελτίωσαν την απόδοση της μονάδας βαθμωτής επεξεργασίας κατά 20%. Συνδυάζοντας όλα αυτά με βελτιώσεις στην πλευρά της CPU, όπως αυτές οι πιο γρήγορες λειτουργίες με κουκκίδες χάρη στην ARM και τις πρόσθετες μονάδες ALU στη GPU, η Qualcomm τελικά τριπλασιάστηκε ακατέργαστες δυνατότητες AI επίσης.

Πρακτικά κέρδη και διευρυμένες περιπτώσεις χρήσης

Όλες αυτές οι αναβαθμίσεις έχουν οδηγήσει σε πενταπλάσιες δυνατότητες AI στον Snapdragon 865 σε σύγκριση με μόλις πριν από δύο χρόνια, αλλά Ίσως το πιο σημαντικό, οι βελτιώσεις ήρθαν επίσης με καλύτερη απόδοση ανά milliwatt, μια κρίσιμη μέτρηση για κινητά συσκευές. Στο Snapdragon Summit 2019, η Qualcomm μας έδωσε μερικά σημεία αναφοράς συγκρίνοντας το AI Engine της με δύο ανταγωνιστές σε διάφορα δίκτυα ταξινόμησης. Αυτά τα στοιχεία φαίνεται να συλλέγονται χρησιμοποιώντας το AIMark, μια εφαρμογή συγκριτικής αξιολόγησης πολλαπλών πλατφορμών, η οποία επιτρέπει συγκρίσεις με τους επεξεργαστές της σειράς A της Apple και τους επεξεργαστές HiSilicon της Huawei. Η Qualcomm ισχυρίζεται ότι αυτά τα αποτελέσματα κάνουν χρήση ολόκληρου του AI Engine και θα πρέπει να περιμένουμε περισσότερα ενδελεχής συγκριτική αξιολόγηση για να διαχωριστεί σωστά η επίδραση κάθε στοιχείου και να καθοριστεί πώς ήταν αυτές οι δοκιμές διεξαχθεί. Για παράδειγμα, τα αποτελέσματα από την εταιρεία Β υποδεικνύουν εναλλακτική λύση CPU; Από όσο γνωρίζω, το AIMark επί του παρόντος δεν επωφελείται από το NPU του Kirin 990 στις μονάδες μας Mate 30 Pro, για παράδειγμα. Ωστόσο, υποστηρίζει τη μηχανή επεξεργασίας νευρώνων Snapdragon, επομένως σίγουρα θα εκμεταλλευτεί το Qualcomm AI Engine. Δεδομένου ότι πρόκειται για εσωτερική δοκιμή, δεν είναι ρητά σαφές εάν το σημείο αναφοράς χρησιμοποιεί σωστά τις κατάλληλες βιβλιοθήκες ή το SDK για τους ανταγωνιστές του.

Πρέπει επίσης να ειπωθεί ότι η Qualcomm συγκρίνει αποτελεσματικά τις δυνατότητες επεξεργασίας AI του Snapdragon 865 με chipset που είχαν ανακοινωθεί ή κυκλοφορήσει στο παρελθόν. Είναι πολύ πιθανό οι ανταγωνιστές του να φέρουν παρόμοιες βελτιώσεις απόδοσης στον επόμενο κύκλο, και αν αυτό είναι Στην περίπτωση αυτή, τότε η Qualcomm θα κρατούσε το στέμμα μόνο για περίπου μισό χρόνο από τη στιγμή που οι συσκευές Snapdragon 865 βγήκαν στα ράφια. Τούτου λεχθέντος, αυτά εξακολουθούν να είναι ενδεικτικά του είδους των προσκρούσεων που μπορούμε να περιμένουμε από τον Snapdragon 865. Η Qualcomm ήταν γενικά πολύ ακριβής κατά την επικοινωνία των βελτιώσεων απόδοσης και των αποτελεσμάτων συγκριτικής αξιολόγησης των επερχόμενων εκδόσεων.

Όλα τα δίκτυα που παρουσιάζονται σε αυτά τα σημεία αναφοράς ταξινομούν εικόνες από βάσεις δεδομένων όπως το ImageNet, τις λαμβάνουν ως είσοδο και εξάγουν μία από τις εκατοντάδες κατηγορίες. Και πάλι, βασίζονται στα ίδια είδη λειτουργιών που περιγράψαμε στη δεύτερη ενότητα, αν και οι αρχιτεκτονικές τους είναι πολλές πιο περίπλοκα από αυτά τα παραδείγματα και έχουν θεωρηθεί ως λύσεις τελευταίας τεχνολογίας τη στιγμή της δημοσίευσής τους. Στην καλύτερη των περιπτώσεων, ο πλησιέστερος ανταγωνιστής τους παρέχει λιγότερο από τον μισό αριθμό συμπερασμάτων ανά δευτερόλεπτο.

Όσον αφορά την κατανάλωση ενέργειας, η Qualcomm προσέφερε συμπεράσματα ανά watt για να δείξει την ποσότητα της δυνατής επεξεργασίας AI σε μια δεδομένη ποσότητα ισχύος. Στην καλύτερη των περιπτώσεων (MobileNet SSD), το Snapdragon AI Engine μπορεί να προσφέρει διπλάσιο αριθμό συμπερασμάτων με τον ίδιο προϋπολογισμό ισχύος.

Η ισχύς είναι ιδιαίτερα σημαντική για φορητές συσκευές. Σκεφτείτε, για παράδειγμα, ένα φίλτρο Snapchat που βασίζεται σε νευρωνικό δίκτυο. Ρεαλιστικά, ο αγωγός όρασης υπολογιστή εξάγει πληροφορίες προσώπου και εφαρμόζει μάσκα ή εισαγωγή Ο μετασχηματισμός χρειάζεται μόνο να εκτελείται με ρυθμό 30 ή 60 ολοκληρώσεις ανά δευτερόλεπτο για να επιτευχθεί ένα ρευστό εμπειρία. Η αύξηση της απόδοσης της ακατέργαστης τεχνητής νοημοσύνης θα σας επέτρεπε να λαμβάνετε εισόδους υψηλότερης ανάλυσης και να βγάζετε φίλτρα καλύτερης εμφάνισης, αλλά μπορεί Επίσης απλά προτιμήστε να αρκεστείτε στην ανάλυση HD για ταχύτερες μεταφορτώσεις και μείωση της κατανάλωσης ενέργειας και του θερμικού στραγγαλισμού. Σε πολλές εφαρμογές, το "γρηγορότερο" δεν είναι απαραίτητα "καλύτερο" και τότε μπορεί κανείς να αποκομίσει τα οφέλη της βελτιωμένης απόδοσης ισχύος.

Κατά τη διάρκεια της Ημέρας 2 του Snapdragon Summit, ο Sr. Director of Engineering στο Snapchat Yurii Monastyrshyn ανέβηκε στη σκηνή για να δείξει πώς Τα τελευταία τους φίλτρα που βασίζονται σε βαθιά μάθηση επιταχύνονται σημαντικά από το Hexagon Direct NN χρησιμοποιώντας το Hexagon 695 DSP στο Snapdragon 865.

Συν τοις άλλοις, καθώς οι προγραμματιστές αποκτούν πρόσβαση σε ευκολότερες υλοποιήσεις νευρωνικών δικτύων και περισσότερες εφαρμογές αρχίζουν να χρησιμοποιούν τεχνικές τεχνητής νοημοσύνης, οι περιπτώσεις χρήσης ταυτόχρονης χρήσης θα τραβήξουν περισσότερο τα φώτα της δημοσιότητας καθώς το smartphone θα πρέπει να χειριστεί πολλά παράλληλοι αγωγοί τεχνητής νοημοσύνης ταυτόχρονα (είτε για μία μόνο εφαρμογή που επεξεργάζεται σήματα εισόδου από διάφορες πηγές είτε για τόσες εφαρμογές που εκτελούνται ξεχωριστά στη συσκευή). Ενώ βλέπουμε αξιοσημείωτα κέρδη απόδοσης ισχύος σε υπολογιστές DSP, GPU και CPU, το Qualcomm Sensing Hub χειρίζεται περιπτώσεις χρήσης πάντα σε λειτουργία για να ακούει λέξεις ενεργοποίησης σε πολύ χαμηλή κατανάλωση ενέργειας. Επιτρέπει την παρακολούθηση τροφοδοτήσεων ήχου, βίντεο και αισθητήρων με ρεύμα κάτω από 1 mA, επιτρέποντας στη συσκευή να εντοπίζει συγκεκριμένα ηχητικά σημάδια (όπως ένα μωρό που κλαίει), πάνω από τις γνωστές λέξεις-κλειδιά ψηφιακού βοηθού. Σε αυτή τη σημείωση, ο Snapdragon 865 επιτρέπει τον εντοπισμό όχι μόνο της λέξης-κλειδιού αλλά και του ποιος την εκφωνεί, τον εντοπισμό ενός εξουσιοδοτημένου χρήστη και την ανάλογη ενέργεια.

Περισσότερα AI σε συσκευές Edge

Αυτές οι βελτιώσεις μπορούν τελικά να μεταφραστούν σε απτά οφέλη για την εμπειρία χρήστη σας. Υπηρεσίες που περιλαμβάνουν μετάφραση, αναγνώριση αντικειμένων και επισήμανση, προβλέψεις χρήσης ή προτάσεις αντικειμένων, Η κατανόηση φυσικής γλώσσας, η ανάλυση ομιλίας και ούτω καθεξής θα κερδίσουν το πλεονέκτημα της ταχύτερης λειτουργίας και της λιγότερης κατανάλωσης εξουσία. Η ύπαρξη υψηλότερου υπολογιστικού προϋπολογισμού επιτρέπει επίσης τη δημιουργία νέων περιπτώσεων χρήσης και εμπειριών και τη μετακίνηση διαδικασιών που λάμβαναν χώρα στο cloud στη συσκευή σας. Ενώ η τεχνητή νοημοσύνη ως όρος έχει χρησιμοποιηθεί με αμφίβολους, εξαπατητικούς και ακόμη και λανθασμένους τρόπους στο παρελθόν (ακόμη και από ΚΑΕ), Πολλές από τις υπηρεσίες σας που απολαμβάνετε σήμερα βασίζονται τελικά σε αλγόριθμους μηχανικής εκμάθησης με κάποια μορφή ή αλλο.

Αλλά πέρα ​​από την Qualcomm, άλλοι κατασκευαστές chipset επαναλαμβάνονται γρήγορα και βελτιώνονται και σε αυτό το μέτωπο. Για παράδειγμα, το 990 5G έφερε σχεδιασμό πυρήνα 2+1 NPU με αποτέλεσμα έως και 2,5 φορές την απόδοση του Kirin 980 και διπλάσια από εκείνη του Apple A12. Όταν ανακοινώθηκε ο επεξεργαστής, φάνηκε ότι προσφέρει έως και διπλάσια καρέ (συμπεράσματα) ανά δευτερόλεπτο του Snapdragon 855 στο INT8 MobileNet, το οποίο είναι δύσκολο να ισοφαριστεί με τα αποτελέσματα που παρέχει η Qualcomm. Το Apple A13 Bionic, από την άλλη πλευρά, φέρεται να προσέφερε έξι φορές ταχύτερο πολλαπλασιασμό matrix σε σχέση με τον προκάτοχό του και βελτίωσε τον οκταπύρηνο σχεδιασμό του νευρωνικού κινητήρα. Θα πρέπει να περιμένουμε μέχρι να μπορέσουμε να δοκιμάσουμε σωστά το Snapdragon 865 σε εμπορικές συσκευές έναντι των σημερινών και μελλοντικών ανταγωνιστών του, αλλά είναι σαφές ότι ο ανταγωνισμός σε αυτόν τον χώρο δεν μένει ποτέ στάσιμος καθώς οι τρεις εταιρείες έχουν διαθέσει έναν τόνο πόρων για τη βελτίωση της τεχνητής νοημοσύνης τους εκτέλεση.