Συνέντευξη: Qualcomm για την τεχνητή νοημοσύνη και το Hexagon 690 DSP του Snapdragon 855

Όταν η Qualcomm παρουσίασε το νέο της Πλατφόρμα για φορητές συσκευές Snapdragon 855, ανέφεραν ουσιαστικές βελτιώσεις σε όλες τις πτυχές των φορητών υπολογιστών. Για τον μέσο χρήστη, είναι εύκολο να το καταλάβει οφέλη του τελικού χρήστη πίσω από τις βελτιώσεις της CPU και της GPU που κατασκεύασε η Qualcomm στον Snapdragon 855. Η καλύτερη απόδοση της CPU μεταφράζεται σε ταχύτερη φόρτωση εφαρμογών και η καλύτερη απόδοση της GPU μεταφράζεται σε καλύτερους ρυθμούς καρέ κατά το gaming. Αυτό που είναι λιγότερο διαισθητικό για τους χρήστες να κατανοήσουν είναι η τεχνητή νοημοσύνη, και συγκεκριμένα, τεχνικές μηχανικής εκμάθησης που υιοθετούν όλο και περισσότερο οι εφαρμογές και οι υπηρεσίες, όπως το τεχνητό νευρικό δίκτυα. Η Qualcomm σημείωσε τεράστια κέρδη στην απόδοση φόρτου εργασίας AI με τον Snapdragon 855 χάρη στις βελτιώσεις στον υπολογισμό σε όλους τους τομείς, και ειδικά λόγω του ανανεωμένου Hexagon 690 DSP. Καθίσαμε με τον Gary Brotman, Επικεφαλή Στρατηγικής AI και Μηχανικής Μάθησης και Σχεδιασμού Προϊόντων στην Qualcomm, και τον Ziad Asghar, Αντιπρόεδρο του Snapdragon Roadmap Planning και AI, XR, Competitive Strategy στην Qualcomm, για να μάθετε περισσότερα σχετικά με τις βελτιώσεις που έκανε η Qualcomm σε φόρτους εργασίας AI.

---

Μάριο Σεραφέρο: "Έτσι, το νέο DSP. Πέρυσι, σας ρώτησα σχετικά με τη στρατηγική επίθεσης σε σχέση με τον τρόπο με τον οποίο η Qualcomm ώθησε, προώθησε, διέθεσε και κοινοποίησε το DSP και το HVX, ειδικότερα. Εκείνη την εποχή, ως μπλοκ τεχνητής νοημοσύνης, ήταν ακόμα σχετικά νέο για τους περισσότερους αναγνώστες και καταναλωτές. Οπότε αναρωτιόμαστε πώς είδατε να εξελίσσεται από τότε με την περαιτέρω προώθηση του 845."

Γκάρι Μπρότμαν: "Πρώτα και κύρια, όταν ξεκινήσαμε να το κάνουμε αυτό πίσω με το 820, ήταν ακόμα πολύ κεντρικός στη CPU και τη GPU, και αξιοποιούσε το DSP και οι διανυσματικές δυνατότητες επεξεργασίας για αυτό προέκυψαν πραγματικά ως αποτέλεσμα του πού προσπαθεί να κατευθυνθεί η Google με το TensorFlow και τα 8-bit μαθηματικά. Εκεί λοιπόν τεντώσαμε πραγματικά τα πόδια μας στο DSP, ή ας πούμε τους διανυσματικούς επεξεργαστές. Δεδομένης της ωριμότητας του διανυσματικού επεξεργαστή που έχουμε στο Hexagon και του τρόπου με τον οποίο μπορέσαμε να προωθήσουμε αυτόν τον οδικό χάρτη τόσο γρήγορα στα επόμενα δύο γενιές και τις περιπτώσεις χρήσης που είδαμε, οι οποίες εκείνη την εποχή, τα βασικά δίκτυα ταξινόμησης ήταν αρκετά απλά με όχι πολλά σηκώνω. Μπορούν να λειτουργήσουν καλά με μαθηματικά 8-bit. Ένας αποκλειστικός επιταχυντής, ακόμη και πέρυσι, ήταν ένας κίνδυνος για την ουσιαστική κατανομή της περιοχής σε κάτι που μπορεί να μην συνηθίσει. Η συρροή για περιπτώσεις χρήσης, και είναι οτιδήποτε από την τυπική μεμονωμένη φωτογραφική μηχανή, σούπερ ανάλυση ή τμηματοποίηση σε πραγματικό χρόνο. Αυτά συμβαίνουν σε ορισμένες περιπτώσεις, ταυτόχρονα, με την απαίτηση να έχετε τουλάχιστον κάποιο επίπεδο ειδικής επιτάχυνσης, μπορείτε να αποκλείσετε και να συνεχίσετε να διαβάζετε κύκλους στον διανυσματικό επεξεργαστή ή ακόμα και στη GPU. Ήταν η κατάλληλη στιγμή.

Είναι σίγουρα κάτι για το οποίο έπρεπε να σχεδιάσουμε πολύ νωρίτερα από ό, τι όταν μιλήσαμε την προηγούμενη φορά, αλλά νομίζω ότι όλοι μέσα Αυτή η επιχείρηση βάζει ένα στοίχημα ότι γνωρίζει ακριβώς, ή σχεδόν ακριβώς, ποιος θα είναι αυτός ο φόρτος εργασίας. Ποιος τύπος ακρίβειας θα πρέπει να είναι απαραίτητος και εάν κάνατε ή δεν είχατε επαρκή προϋπολογισμό, υπολογίστε για να ικανοποιήσετε αυτήν τη συρροή περιπτώσεων χρήσης που έρχονται. Είμαστε αρκετά συνειδητοποιημένοι σε αυτό—η Qualcomm ήταν πάντα επικεντρωμένη στις περιπτώσεις χρήσης—και δεν θέλαμε να εκτελέσουμε το υπάρχει κίνδυνος να υπάρχει ειδική επιτάχυνση που δεν θα χρησιμοποιηθεί επειδή θα μπορούσε να είναι ξεπερασμένη στο τελευταίο κύκλος. Βλέπουμε αρκετά από την άποψη της γενικής περιέλιξης και μόνο ότι ένας ειδικός επιταχυντής μπορεί να κάνει φανταστική δουλειά. Και πάλι, ελευθερώνοντας τους κύκλους αλλού. Όσον αφορά τη στρατηγική που έχουμε με αυτόν τον νέο επιταχυντή: Είναι αφιερωμένος, είναι μια νέα αρχιτεκτονική. Δεν είναι εξάγωνο παράγωγο. Αλλά αν σκεφτείτε ένα δίχτυ σήμερα, υπάρχουν ορισμένες συναρτήσεις μη γραμμικότητας που δεν λειτουργούν καλά σε ορισμένες από τις αποκλειστικές επιταχύνσεις -"

Μάριο Σεραφέρο: "Ναι, σιγμοειδές, ReLU -"

Γκάρι Μπρότμαν: «Ακριβώς, Softmax. Και πρέπει να τα βάλετε αλλού ή στην CPU. Αλλά στην περίπτωσή μας, με τον τρόπο που το κατασκευάσαμε κάτω από την κουκούλα, το DSP είναι στην πραγματικότητα ο έλεγχος. Καθορίζει πού εκτελείται το δίκτυο και πού εκτελούνται τα επίπεδα και μπορεί να αποφασίσει εάν υπάρχουν ορισμένα πράγματα που θα πρέπει να εκτελούνται στο DSP ως εναλλακτική λύση έναντι του επεξεργαστή τανυστή. Οπότε αυτό το ζευγάρωμα μας είχε πολύ νόημα. Αλλά αυτό δεν μειώνει τις πεποιθήσεις μας και τη στρατηγική μας ότι κάθε κύριος πυρήνας στο SoC μας έχει ένα ρόλο, επομένως βελτιστοποιούμε γενικά, αλλά υπάρχει ακόμα μεγάλη μεταβλητότητα και αυτό θα γίνει να συνεχίσει."

Μάριο Σεραφέρο: «Ένα άλλο θέμα για το οποίο θέλουμε να μιλήσουμε είναι οι περιπτώσεις χρήσης. Όπως είπατε, η Qualcomm είναι πολύ επικεντρωμένη στις περιπτώσεις χρήσης, έχουμε δει την τεχνητή νοημοσύνη να έρχεται σε κινητά σε τρεις βασικούς τομείς: αναγνώριση ομιλίας, πρόβλεψη ακολουθίας όπως με συμβολοσειρές και πληκτρολόγηση, και προφανώς όραση υπολογιστή όπως φίλτρα AI, [και αντικείμενο αναγνώριση]. Η όραση του υπολογιστή εξερράγη, τώρα το βλέπετε παντού. Έχω δει με την αναγνώριση ομιλίας, ο καθένας έχει τον δικό του βοηθό AI, ο καθένας έχει τον δικό του βοηθό. Τώρα, όλα αυτά μπορούν να γίνουν στην άκρη με μικρό λανθάνοντα χρόνο και τέλεια ασφάλεια. Αλλά τι ακολουθεί για τις περιπτώσεις χρήσης μηχανικής μάθησης και θα αναπτυχθούν όλες αυτές οι περιπτώσεις χρήσης από τις μεγάλες εταιρείες στον κόσμο - όλα τα Snapchat στον κόσμο, τα Facebook εκεί έξω; Πώς το βλέπεις αυτό να κυλά;».

Γκάρι Μπρότμαν: «Δεν νομίζω ότι μπορώ να επισημάνω μια περίπτωση δολοφονικής χρήσης. Αλλά οι δυνατότητες επιτρέπουν μεγαλύτερη υπολογιστική πολυπλοκότητα και στην περίπτωση της όρασης, η ανάλυση εισόδου μπορεί να είναι υψηλότερη. Δεν εργάζεστε σε εικόνες χαμηλής ανάλυσης για να κάνετε bokeh. Υπήρχε μια συζήτηση νωρίτερα στην άλλη συνέντευξη που είχαμε γύρω από τη ροή 4K ως παράδειγμα. Δεν πρόκειται να προβλέψω ότι αυτό είναι δυνατό, αλλά οι προγραμματιστές με τους οποίους συνεργαζόμαστε, είτε πρόκειται για μεγάλες εταιρείες όπως η Google ή συνεργάτες ανάπτυξης λογισμικού που στην πραγματικότητα δημιουργούν τους αλγόριθμους που οδηγούν πολλές από αυτές τις δυνατότητες για κινητά, θέλουν απλώς να πιέστε περισσότερο. Θέλουν να πάνε πιο μακριά. Αν υπάρχει κάτι που θα έβλεπα από την άποψη των επόμενων βημάτων, πιθανότατα θα αφορούσε λιγότερο το τι συμβαίνει πάνω από τη γραμμή ή σε επίπεδο εφαρμογής, και περισσότερα για το τι συμβαίνει στο σύστημα, όπως η βελτίωση του τρόπου λειτουργίας του προϊόντος, η διαχείριση ενέργειας, ακόμη και στη γραμμή της κάμερας, όχι μόνο πάνω από το. Αναφέρατε τον ήχο και πόσες λέξεις-κλειδιά πρόκειται να υποστηρίξετε ή εάν θα μπορούσατε να κάνετε ακύρωση θορύβου στη συσκευή. Η λέξη-κλειδί είναι ενδιαφέρουσα γιατί δεν είναι εύκολο να δημιουργήσεις τη βιβλιοθήκη — έχεις περιορισμένη μνήμη. Επομένως, θα εξακολουθεί να υπάρχει μια ισορροπία μεταξύ αυτού που είναι τοπικό και αυτού που πρόκειται να συμβεί στο cloud."

Ζιάντ Ασγκάρ: «Μπορώ να προσθέσω λίγο. Έτσι, τουλάχιστον οι δύο τομείς όπου αναπτύσσεται πολύ είναι ο ήχος και η εικόνα, σήμερα. Μπορούμε να το δούμε να έχει πολλές περιπτώσεις χρήσης. Ο Jack το μίλησε από την οπτική γωνία της κάμερας, είχαμε τη μηχανή AI όπου μπορείτε να αξιοποιήσετε πολλά από αυτά για περιπτώσεις χρήσης απεικόνισης. Μερικά από αυτά που προβλήθηκαν σήμερα. Και στη συνέχεια, αν κοιτάξετε τον ήχο, δεν μιλήσαμε τόσο πολύ γι 'αυτό, αλλά στην πραγματικότητα προσθέσαμε ορισμένες δυνατότητες ήχου και στο μπλοκ ήχου. Μπορούμε να κάνουμε καλύτερη φωνητική ενεργοποίηση σε πιο θορυβώδη περιβάλλοντα. Μπορούμε να κάνουμε καλύτερη ακύρωση θορύβου [στην απεικόνιση]. Όλες αυτές οι ικανότητες βασικά ήδη συμβαίνουν. Υπάρχουν οι συνεργάτες που έδειξε ο Gary σήμερα για τον ISP, υπάρχουν πολύ περισσότεροι από αυτούς που έρχονται. Οπότε νομίζω ότι αυτές είναι οι δύο διαστάσεις στις οποίες εστιάζουμε περισσότερο σήμερα».

Γκάρι Μπρότμαν: "Και τότε το επόμενο βήμα - δεν πρόκειται να προβλέψω πότε θα συμβεί αυτό - είναι ότι υπάρχει αρκετός υπολογισμός τώρα όπου Η εκμάθηση στη συσκευή και ο πειραματισμός γύρω από την πραγματική εκμάθηση στη συσκευή πιθανότατα θα πραγματοποιηθούν στο επόμενο κύκλος."

Μάριο Σεραφέρο: «Αυτό είναι πιθανώς ένα θέμα που είναι πιο διασκεδαστικό να συζητηθεί και είναι το γεγονός ότι η Qualcomm εμμένει στο όνομα Hexagon DSP και το HVX, ενώ άλλες εταιρείες επιλέγουν το «νευρωνικό» έτσι κι έτσι. Πώς βλέπει η Qualcomm αυτή την ασυμφωνία και αυτές τις διαφορετικές στρατηγικές και προσεγγίσεις κυρίως με το μάρκετινγκ, αλλά μπορούμε να προχωρήσουμε λίγο αργότερα σχετικά με τον ετερογενή υπολογισμό έναντι συγκεκριμένων τμημάτων μπλοκ όπως Καλά."

Γκάρι Μπρότμαν: «Επειδή το Hexagon έχει ήδη συσσωρευμένα ίδια κεφάλαια στο DSP, αυτό θα έλκεται αμέσως στο να σκεφτεί ότι απλώς επεκτείνουμε τη στρατηγική μας για το DSP. Στην πραγματικότητα, στην επωνυμία, αν κοιτάξετε και τους τρεις επεξεργαστές, το βαθμωτό σας, το διάνυσμά σας και τώρα τον αποκλειστικό επιταχυντή τανυστών, δεν είναι όλοι DSP. Το Hexagon είναι πραγματικά μια μάρκα υψηλότερου επιπέδου από το DSP. Υπάρχει μια χούφτα DSP. Νομίζω ότι οι ερωτήσεις μάρκετινγκ είναι μάλλον λίγο πιο δύσκολο να απαντηθούν επειδή κάθε περιοχή είναι διαφορετική. Η Κίνα είναι πολύ επικεντρωμένη στο NPU, επειδή αυτό είναι ένα όνομα που είχε εισαχθεί πέρυσι, και αυτό φαίνεται να έχει ριζώσει. Δεν θα έλεγα ότι αυτό λειτούργησε αλλού σε όλο τον κόσμο. Η Google διαθέτει έναν επεξεργαστή tensor και το tensor φαίνεται να έχει απήχηση."

Μάριο Σεραφέρο: «Πολλοί άνθρωποι έχουν τα δικά τους διαφορετικά ονόματα».

Γκάρι Μπρότμαν: «Τελικά, εξαρτάται από το τι θέλει να κάνει η ΚΑΕ. Εάν αυτό έχει σημασία για τους πελάτες τους, τότε εναπόκειται σε αυτούς να καταλάβουν πώς μπορούν να αξιοποιήσουν αυτήν την ικανότητα επεξεργασίας και να τη διαφοροποιήσουν όσον αφορά τις δυνατότητες. Ο κινητήρας μας, και νομίζω ότι μεγάλο μέρος της ικανότητας επεξεργασίας που έχουμε, θα εξακολουθούσε να είναι πολύ διανυσματικός και τανυοκεντρικός όσον αφορά το συνολικό μείγμα. Η ίδια η αποκλειστική επεξεργασία, ο τρόπος με τον οποίο κάνει τον πολλαπλασιασμό μήτρας, είναι το ίδιο είδος αποκλειστικού επεξεργαστή που θα [χρησιμοποιούσε] μια NPU. Η ερώτηση μάρκετινγκ είναι ενδιαφέρουσα και ξεχνάω ποια ήταν η απάντηση του Keith;»

Ζιάντ Ασγκάρ: "Η απάντησή του ήταν, "μπορείτε να το ονομάσετε όπως θέλετε, για να μπορείτε να πουλήσετε περισσότερα προϊόντα".

Γκάρι Μπρότμαν: «Αυτό ήταν λίγο πολύ. αυτό ήταν σωστό, ήταν μια πολύ ωμή απάντηση».

Ζιάντ Ασγκάρ: «Νομίζω ότι ο Γκάρι το κάλυψε πολύ καλά. Μερικά από τα άτομα που χρησιμοποιούν αυτό το ψευδώνυμο ως όρο με τρόπο που σχεδόν δηλώνει ή υπονοεί ότι το περιορίζει μόνο σε αυτό το μπλοκ. Αλλά αυτό που βλέπουμε είναι ότι όλη αυτή η ετερογενής προσέγγιση της δυνατότητας χρήσης της CPU, ή μιας GPU, ή ενός εξαγωνικού τανυστή διάνυσμα, σας δίνει διαφορετικούς συμβιβασμούς σε ένα ολόκληρο φάσμα ακρίβειας σχετικά με την ισχύ και την απόδοση, και αυτό είναι που χρειάζεστε σήμερα. Επειδή δεν γνωρίζουμε ποια εφαρμογή απαιτεί ποιο βαθμό ακρίβειας, τι απαιτεί σταθερή απόδοση ή τι δεν την απαιτεί. Οπότε πιστεύουμε ότι είναι μια πλήρης, συνολική λύση γιατί έτσι αποκτάς την καλύτερη εμπειρία».

Γκάρι Μπρότμαν: «Και αυτό δεν άλλαξε ποτέ σε καμία από τις συνομιλίες μας, ακόμη και με ένα ειδικό γκάζι. Είναι προσθήκη, δεν αντικαθιστά».

Μάριο Σεραφέρο: "Ναι, νομίζω ότι ήταν ο Keith πέρυσι που είπε, "όπου υπάρχει υπολογισμός, θα υπάρχει AI". Και τώρα υπάρχει περισσότερος υπολογισμός».

Γκάρι Μπρότμαν: "Περισσότεροι υπολογισμοί σε κάθε μπλοκ, αυτό είναι ακριβώς σωστό."

Μάριο Σεραφέρο: «ΝΕπειδή μιλάμε για το θέμα, έχουμε ακούσει πολλές συγκρίσεις με έναν «μυστηριώδη» ανταγωνιστή των 7nm στο Android. Ναι, ακόμα δεν έχουμε ιδέα ποιος είναι αυτός». (ομιλούμενος στα αστεία)

Γκάρι Μπρότμαν: "Δεν έχω ιδέα." (που ειπώθηκε αστεία)

Μάριο Σεραφέρο: «Αλλά, θα μπορούσατε να μας υποδείξετε για αυτές τις συγκρίσεις; Πώς μετρήθηκαν; Ποιες επιφυλάξεις αξίζει να ληφθούν υπόψη; Κάποια άλλα σχόλια που ίσως δεν είχατε χρόνο να τα επεκτείνετε στις διαφάνειες ή στο Q&A; Ξέρω ότι είναι κάπως δύσκολο να μετρηθεί [και να επικοινωνήσει] λόγω της ποικιλίας των μοντέλων, οπότε νομίζω ότι είναι ένα ενδιαφέρον θέμα που πρέπει να επεκταθεί για να ενημερώσει τους ανθρώπους γιατί δεν είναι τόσο εύκολο να τα φτιάξετε συγκρίσεις».

Γκάρι Μπρότμαν: «Είναι πραγματικά πολύ απλό. Θα σας δώσω μια πολύ απλή απάντηση σε μια συγκεκριμένη μέτρηση. θα κάνουμε περισσότερα benchmarking τον Ιανουάριο. Θα μιλήσουμε περισσότερα για τα διαφορετικά δίχτυα που χρησιμοποιούνται για τη μέτρηση των αριθμών στους οποίους βασίζουμε και αυτό θα ήταν το τυπικό Inception v3. Εκεί αντλούμε αυτή την απόδοση και την κατανόησή μας για το πού κατατάσσεται ο ανταγωνισμός. Αλλά όσον αφορά αυτό που έχει ανακοινώσει και κυκλοφορεί με προϊόντα στην αγορά, εκεί έρχεται το 2x και το 3x από—καλά το 3x ήταν σε σύγκριση με αυτό που είχαμε στο 845, ενώ το 2x είναι το μέτρο της απόδοσης και η κατάσταση απόδοσης σε σχέση στα δικά μας».

Ζιάντ Ασγκάρ: «Έχετε διαθέσιμες συσκευές, μπορείτε πραγματικά να τις αποκτήσετε και να κάνετε μερικές από αυτές τις δοκιμές μόνοι σας. Αλλά νομίζω ότι το μόνο πράγμα από το οποίο θα προσέχω, είναι μια άγρια ​​Δύση συγκριτικής αξιολόγησης AI. Μερικοί άνθρωποι χρησιμοποιούν ορισμένους πολύ γενικευμένους όρους, ή μείγματα δικτύων που μπορεί να τους ωφελήσουν με συγκεκριμένο τρόπο ή όχι. "Θα ευθυγραμμιστεί καλά με έναν φόρτο εργασίας;" δεν είναι κάτι που οι άνθρωποι λαμβάνουν υπόψη. Μερικά από τα σημεία αναφοράς που κυκλοφορούν κάνουν πολύ περισσότερα από αυτό, και είμαστε πολύ κοντά, επομένως να ξέρετε ότι υπάρχουν άνθρωποι που κάνουν αυτά τα σημεία αναφοράς να επηρεάζονται με τον ένα ή τον άλλο τρόπο, ανάλογα με το τι ευνοεί τους. Αυτός είναι ο λόγος για τον οποίο αφορά πολύ περισσότερο τις περιπτώσεις πραγματικής χρήσης. Αφορά επίσης πολλά περισσότερα για την καλύτερη απόδοση στην κατηγορία για αυτήν την περίπτωση χρήσης και, στη συνέχεια, είναι να το κάνετε πιο γρήγορα. Νομίζω ότι αυτοί είναι όλοι οι παράγοντες που εξετάζουμε. Νομίζω όμως ότι θα γίνει καλύτερο, θα συγκλίνει. Αυτή τη στιγμή, υπάρχει μια ποικιλία διαφορετικών επιλογών εκεί έξω. Νομίζω ότι θα παραμείνουν ορισμένα σημεία αναφοράς που έχουν περισσότερο νόημα. Σήμερα, ίσως θα μπορούσατε να υποστηρίξετε ότι το Inception v3 είναι σχετικά καλύτερο αυτή τη στιγμή."

Γκάρι Μπρότμαν: «Όσον αφορά τα δίκτυα, υπάρχει μια χούφτα. Υπάρχουν ResNet, VGG, δίκτυα τμηματοποίησης, δίχτυα σούπερ ανάλυσης—ακατέργαστη απόδοση με τα οποία θα μπορούσατε να τα μετρήσετε. Το σημείο που πρέπει να αφαιρεθεί από την άποψη των σημείων αναφοράς όπως εταιρείες ή οντότητες που κάνουν συγκριτική αξιολόγηση AI, και έχουν μείγματα ακριβειών, δικτύων και τύπων που είναι μεταβλητά, είναι τόσο μεταβλητά που αλλάζουν τα αποτελέσματα από εβδομάδα σε εβδομάδα. Εκεί είναι πραγματικά η Άγρια Δύση, και κρατάμε μια απόσταση. Δεν τοποθετούμε πουθενά τα στοιχήματά μας, επειδή υπάρχει τόσο μεγάλη μεταβλητότητα όσον αφορά την πραγματική απόδοση ορισμένων από αυτά τα δίκτυα που χρησιμοποιούνται σε περιπτώσεις χρήσης, αισθανόμαστε σίγουροι ότι εξακολουθούμε σίγουρα να κατατάσσουμε εκεί ψηλά όσον αφορά την απόδοση σε σχέση με το ανταγωνισμός. Θα πρέπει να πω όχι την κατάταξη αλλά τον διπλασιασμό για τον οποίο μιλήσαμε, την ωμή απόδοση».

Μάριο Σεραφέρο: «Ένα από τα θέματα που μας ενδιαφέρει ως ιστότοπος κυρίως για προγραμματιστές είναι ο εκδημοκρατισμός της μηχανικής μάθησης. Προφανώς, έχουμε βιβλιοθήκες ανοιχτού κώδικα που είναι εξαιρετικές, όλοι προσφέρουν επίσης αυτά τα καταπληκτικά SDK, και υπάρχει άφθονη εκπαίδευση. Και τώρα το Android NN είναι διαθέσιμο και η Google μόλις κυκλοφόρησε Κιτ ML που απλοποιεί τη διαδικασία. Απλώς καλείτε ένα API, το τροφοδοτείτε με τα στοιχεία σας, χρησιμοποιούν ένα εκπαιδευμένο μοντέλο, δεν χρειάζεται να ανησυχείτε για αυτό, δεν χρειάζεται να το σκέφτεστε, δεν χρειάζεται να γνωρίζετε στατιστικά στοιχεία ή διανυσματικό λογισμό. Πώς βλέπετε ότι το τοπίο έχει εξελιχθεί από αυτή την άποψη, καθιστώντας το πιο προσιτό, απλοποιώντας το API, απλοποίηση της τεκμηρίωσης, των SDK και προώθηση της συμπερίληψης προγραμματιστών τρίτων, όχι μόνο μεγάλων εταιρείες;"

Γκάρι Μπρότμαν: «Είναι αστείο όταν επικεντρωνόμαστε πραγματικά σε μεγάλες εταιρείες, βοηθάει και τους μικρότερους προγραμματιστές. Ξεκινήσαμε με περισσότερο μια ιδιόκτητη στοίβα όσον αφορά τον προγραμματισμό για το Snapdragon, ειδικά για την εκτέλεση AI. Αλλά με την πάροδο του χρόνου, και τις τελευταίες δύο γενιές, προσθέσαμε περισσότερα εργαλεία. Προσπαθούμε να επιτύχουμε μια ισορροπία μεταξύ της αφαίρεσης υψηλού επιπέδου και της ευκολίας χρήσης, και της πρόσβασης χαμηλότερου επιπέδου, η οποία απαιτεί κάποιον για να είμαστε πολύ πιο κατανοητοί, ειδικά όταν πρόκειται για μερικούς από τους ιδιόκτητους πυρήνες μας, όπως ο διανυσματικός επεξεργαστής ή το NPU. Το βλέπουμε να εξελίσσεται από τη σκοπιά του εκδημοκρατισμού. Έχουμε τα βασικά δομικά στοιχεία όπως τις μαθηματικές βιβλιοθήκες Hexagon και Qualcomm, αλλά ίσως ένα API ελαφρώς υψηλότερου επιπέδου που αφαιρεί τουλάχιστον μέρος αυτής της βαριάς άρσης, αλλά δίνει αρκετή ευελιξία στον προγραμματιστή ώστε να μπορεί να χρησιμοποιεί τους δικούς του προσαρμοσμένους χειριστές ή να μπορεί να τροποποιήσει λίγο την απόδοση στο χαμηλότερο επίπεδο επίπεδο. Έτσι, το χαρτοφυλάκιο θα συνεχίσει να περιλαμβάνει περισσότερα εργαλεία, και σίγουρα πράγματα όπως το NN API όπου το Onyx είναι ένα παράδειγμα για τη δυνατότητα βασικά πείτε "εδώ είναι τι προγραμματίζετε, σε τι εκφράζετε το δίκτυό σας." Εφόσον το υποστηρίζει το υλικό, είστε Καλός.

Όπως ανέφερα στην παρουσίασή μας, είμαστε υπεύθυνοι για ένα τοπίο πολλαπλών λειτουργικών συστημάτων. Υπάρχουν Windows, υπάρχει Linux, υπάρχει Android, επομένως δεν αφορά μόνο το Android. Όταν το δούμε αυτό, αν πρόκειται να κατασκευάσουμε κάποιο είδος API που θα είναι SoC, cross-SoC ή cross-platform από την άποψη του λειτουργικού συστήματος, πρέπει να κοιτάξουμε και να δούμε πώς να βρούμε κοινά στοιχεία σε αυτό που χτίζουμε στο πλαίσιο του κουκούλα. Η στοίβα με βιβλιοθήκες και υποστήριξη χειριστή και έχοντας τη δυνατότητα σύνδεσης σε NN API ή Windows ML, για παράδειγμα. Αλλά σίγουρα, έχουμε φύγει από το εκκρεμές που είναι εδώ, όπου κανείς δεν ξέρει πραγματικά τι να κάνει, όπως Κυριολεκτικά, Μη γνωρίζοντας. «Δεν ξέρω τι πλαίσιο να χρησιμοποιήσω. Χρησιμοποιώ το TensorFlow ή πρέπει να χρησιμοποιήσω Caffe ή Torch;» Και μη γνωρίζοντας τι να κάνετε για να βελτιστοποιήσετε στο χαμηλότερο επίπεδο. Έτσι, όλοι είναι ευχαριστημένοι με μια κλήση API. Τώρα, μέσα σε λίγα μόλις χρόνια, είναι εύκολο να προχωρήσουμε βαθύτερα. Επομένως, τα εργαλεία είναι εκεί, είτε είναι κοινά εργαλεία ανοιχτού κώδικα, είτε ακόμα και σε ένα χαρτοφυλάκιο όπως αυτό που προσφέρουμε ή προσφέρουν οι ανταγωνιστές, αυτά τα εργαλεία γίνονται πιο εύκολα προσβάσιμα και πιο εύχρηστα».

Μάριο Σεραφέρο: «Μιλώντας για κοινότητες προγραμματιστών. Την τελευταία φορά που είχαμε αναφέρει μια από τις πιο ώριμες κοινότητες που έχουμε είναι η κοινότητα gaming και η Qualcomm είναι αρκετά καλά ενσωματωμένη σε αυτό. Τώρα, το βλέπουμε περισσότερο από ποτέ με τις συνεργασίες με τις μηχανές παιχνιδιών που προωθούνται και διατίθενται στην αγορά. Μιλούσαμε λοιπόν για αυτό στο πλαίσιο της τεχνητής νοημοσύνης και πώς αναδύεται εκεί».

Μισάαλ Ραχμάν: «Μιλούσατε για το πώς θέλατε να επενδύσετε περισσότερο τους επόμενους 12 μήνες. Αυτό ήταν πίσω την τελευταία φορά που ήμασταν εδώ».

Μάριο Σεραφέρο: "Στην κοινότητα προγραμματιστών παιχνιδιών συγκεκριμένα, επεκτείνεται κάπως σε αυτό και σε αυτό που βλέπουμε σήμερα."

Γκάρι Μπρότμαν: «Δεν θυμάμαι το συγκεκριμένο σχόλιο για την επένδυση στην κοινότητα του gaming, αλλά αν δεις μια κατηγορία που είδαμε να οδηγεί η ανάγκη για αποκλειστική επιτάχυνση και το gaming είναι ένα συστατικό στοιχείο αυτού, αλλά δεν είναι απαραίτητα η κύρια περίπτωση χρήσης — το VR ως παράδειγμα. Σε μια πλούσια, καθηλωτική εμπειρία VR, κάθε πυρήνας αξιοποιείται βασικά. Κάνετε επεξεργασία γραφικών στη GPU, οπτική επεξεργασία στον διανυσματικό επεξεργαστή και την ανάγκη να πάρτε ένα ή πολλά δίχτυα και τρέξτε τα ξεχωριστά σε ένα ειδικό γκάζι χωρίς να ανησυχείτε για συγχρονισμό επίπτωση. Αυτός είναι ένας από τους λόγους που μας οδήγησαν στο μονοπάτι της ειδικής επιτάχυνσης. Δεν έχω πολλές πληροφορίες σχετικά με τον τρόπο με τον οποίο η τεχνητή νοημοσύνη αξιοποιείται στα παιχνίδια σήμερα. Υπάρχει πολλή δουλειά με πράκτορες—αναπτύσσοντας πράκτορες για να πολεμήσετε ή να σας διδάξουν».

Μάριο Σεραφέρο: "Όπως η παραδοσιακή τεχνητή νοημοσύνη στα παιχνίδια."

Γκάρι Μπρότμαν: "Ακριβώς σωστό. Αλλά βασισμένος περισσότερο σε νευρωνικά δίκτυα».

Μάριο Σεραφέρο: «Ναι, όχι το Minimax».

Γκάρι Μπρότμαν: "Μέρος της ευθύνης του Ziad είναι επίσης η οδήγηση της στρατηγικής XR."

Ζιάντ Ασγκάρ: «Σε σχέση με το XR, αν το δεις σήμερα, έχουμε κυκλοφορήσει νέες συσκευές που είναι όλα σε ένα HMD με πλήρη δυνατότητα ενεργοποίησης 6DOF. Συσκευές όπως το Oculus Quest που κυκλοφόρησε στην πραγματικότητα με τον Snapdragon 835, οπότε αρχίζουμε να φτάνουμε σε ένα πολύ καλό σημείο όσον αφορά την ουσιαστική εκμετάλλευση της πλήρους ικανότητας των συσκευών XR. Στο παρελθόν, ορισμένες από τις συσκευές δεν έδιναν πραγματικά αυτή την παρθένα εμπειρία, επειδή μερικοί άνθρωποι δεν είχαν την καλύτερη εμπειρία από αυτήν. Νομίζω ότι το XR τα πάει περίφημα τώρα. Αυτό που εξετάζουμε επίσης στο μέλλον καθώς συνδυάζεται με το 5G, είναι ότι σας επιτρέπει τώρα να μπορείτε να λαμβάνετε Η συσκευή σας είναι στην πραγματικότητα πολύ πιο κινητή, πράγμα που σημαίνει ότι μπορείτε να οραματιστείτε ότι πραγματικά περπατάτε σε ένα δρόμος. Και μετά το να έχεις έναν σύνδεσμο όπως το 5G σημαίνει ότι αρέσει επίδειξη που έδειξε ο Gary για το Google Lens. Τώρα φανταστείτε ότι αν φορούσατε κάποιο είδος γυαλιών Google ή κάτι τέτοιο και μπορείτε πραγματικά να φέρετε πληροφορίες όλες για αυτό που κοιτάτε μέσα από τα μάτια σας, τώρα έχετε μια περίπτωση χρήσης που θα μπορούσε πραγματικά να είναι πολύ συναρπαστικό. Νομίζω ότι εκεί είναι η μακροπρόθεσμη επένδυση για την οποία μιλάτε, αυτή είναι η κατεύθυνση που πηγαίνει.

Αλλά αυτή τη στιγμή, πιστεύουμε ότι είμαστε σε πολύ καλή κατάσταση όσον αφορά το XR και όλες τις διαφορετικές εταιρείες που έχουν κυκλοφορήσει με το XR. Το Oculus Go βασίζεται επίσης στον Snapdragon 820, οπότε νομίζω ότι αρχίζουμε να φτάνουμε σε ένα πολύ καλό σημείο όπου οι άνθρωποι το παίρνουν και κάνουν πολλά πράγματα με αυτό. Και το επόμενο στάδιο, όπως ανέφερα, είναι ότι αρχίζουμε να φέρουμε συνδεσιμότητα 5G, κάτι που θα κάνουμε και μετά αυτό φυσικά το AR και κάποια πράγματα που θα απαιτήσουν ακόμη και πολύ περισσότερα όσον αφορά την απόδοση, αλλά περιορισμένα εξουσία. Και αυτό θα είναι εξαιρετικά δύσκολο, και νομίζω ότι με αυτό που μιλήσαμε σήμερα, η Qualcomm είναι ίσως η καλύτερη όσον αφορά την εκτέλεση οποιασδήποτε από αυτές τις περιπτώσεις χρήσης από άποψη ισχύος. Αν κοιτάξετε τα γραφικά, εάν κάνετε συγκριτική αξιολόγηση οποιονδήποτε από τους ανταγωνιστές, θα δείτε ότι η απόδοση ανά μονάδα ισχύος είναι η καλύτερη στην κατηγορία του. Και ως συνέπεια αυτού, τα θερμικά, η σταθερή απόδοση είναι αυτό που έχει σημασία στο XR, και από αυτή την άποψη είμαστε πραγματικά μπροστά — αυτός είναι ο λόγος για τον οποίο οι άνθρωποι μας χρησιμοποιούν για XR».

Μάριο Σεραφέρο: «Από πέρυσι, είδαμε το Hexagon 685 DSP να φτάνει τελικά στην premium μεσαία κατηγορία με το 710 και το κατάλληλο mid-range με το 670 και 675. Τώρα λοιπόν, οι Επεκτάσεις εξαγωνικού διανύσματος κατευθύνονται προς τα κάτω, ενώ άλλοι ανταγωνιστές δεν το κάνουν ακριβώς αυτό με τις μονάδες νευρωνικής επεξεργασίας τους. Πώς βλέπετε ότι η επέκταση της εμβέλειας αυτών των εμπειριών και ήθελα να ρωτήσω εάν, στο παρελθόν, είδατε τις διαφορές απόδοσης στην τεχνητή νοημοσύνη να κάνουν τη διαφορά; Επειδή είμαστε ακόμα στην πρώιμη υιοθέτηση της τεχνητής νοημοσύνης».

Ζιάντ Ασγκάρ: «Κοιτάω τον συνολικό οδικό χάρτη. Αν ψάχνετε για την παρθένα, καλύτερη απόδοση στην κατηγορία, θα είναι στην κορυφαία βαθμίδα. Αυτό που κάνουμε είναι να λαμβάνουμε επιλεκτικά ορισμένες από τις δυνατότητες του Hexagon και να τις μειώνουμε. Ο πρώτος κινητήρας AI, ή το πρώτο Hexagon, ξεκίνησε με τον Snapdragon 820. Έτσι, το κατεβάσαμε στο Snapdragon 660 και στο 670, και το 710 το έχει επίσης. Έτσι, το σχέδιό μας είναι να δούμε πώς θα εισχωρήσει στις μελλοντικές εμπειρίες.

Ως μηχανή τεχνητής νοημοσύνης, έχουμε βασικά παλιά εξαρτήματα: CPU, GPU, εξαγωνικό τανυστή, εξαγωνικό διάνυσμα και βαθμωτό. Αυτό που κάνουμε είναι να εισάγουμε επιλεκτικά μέρη αυτού πιο κάτω στον οδικό χάρτη καθώς βλέπουμε ότι αυτές οι ικανότητες μειώνονται και πηγαίνουν σε ακουστικά χαμηλότερης βαθμίδας. Θα δείτε στην πραγματικότητα, καθώς προχωράμε περισσότερο μέσα στη χρονιά. θα δείτε ότι θα κάνουμε περισσότερα από αυτό. Παρουσιάσαμε το Snapdragon 675 στο 4G/5G Summit. Μιλήσαμε για αυτό που έρχεται με το 675, και αυτό που θα δείτε είναι, καθώς αυτές οι περιπτώσεις χρήσης γίνονται όλο και περισσότερες διαδεδομένη, όπως δείξαμε με την ArcSoft και όλα αυτά τα άλλα παιδιά σήμερα, θα φέρουμε στην πραγματικότητα αυτές τις δυνατότητες πιο χαμηλα. Στην κάτω βαθμίδα θα μπορείτε να εκτελέσετε αυτήν την περίπτωση χρήσης, αλλά για να μπορέσετε να αποκτήσετε το σωστό προφίλ ισχύος όπως εγώ για το οποίο μιλήσαμε νωρίτερα, εάν θέλετε να έχετε αυτή τη σταθερή απόδοση, θέλετε να έρθει αυτό το συγκεκριμένο μπλοκ πιο χαμηλα. Έτσι και πάλι, η καλύτερη απόδοση στην κατηγορία θα είναι στην κορυφή, αλλά όσο κατεβαίνετε χαμηλότερα θα υπάρχει μεγάλη υποβάθμιση ή διαβάθμιση…»

Μάριο Σεραφέρο: «Κλίση, θα μπορούσες να πεις». (μιλήθηκε αστεία)

Ζιάντ Ασγκάρ: "Ναι ακριβώς. Κάπως έτσι κάνουμε με άλλες τεχνολογίες επίσης στον οδικό χάρτη και η τεχνητή νοημοσύνη δεν πρόκειται να είναι πολύ διαφορετική από αυτή την άποψη. Είναι πιθανώς μια διαφορά, ίσως από πού έρχεστε, καθώς πιθανότατα κατεβαίνει πιο γρήγορα μέσω άλλων τεχνολογιών που καταγράψαμε στον οδικό χάρτη, οπότε θα συμφωνήσω με αυτήν την παρατήρηση με."

---

Εάν ενδιαφέρεστε να μάθετε περισσότερα για την τεχνητή νοημοσύνη στις κινητές πλατφόρμες της Qualcomm, σας προτείνουμε να διαβάσετε τη συνέντευξή μας από την περσινή χρονιά με τον Gary Brotman. Μπορείτε να ξεκινήσετε με μέρος 1 της συνέντευξής μας ή πηγαίνετε στο μέρος 2ο.

Όλα τα γραφικά που εμφανίζονται σε αυτή τη συνέντευξη προέρχονται από την παρουσίαση του Gary Brotman κατά τη διάρκεια του Snapdragon Tech Summit. Μπορείτε να δείτε τις διαφάνειες εδώ.