Interview: Qualcomm über KI und den Hexagon 690 DSP des Snapdragon 855

Als Qualcomm sein neues vorstellte Mobile Plattform Snapdragon 855Sie priesen erhebliche Verbesserungen in allen Aspekten des mobilen Computings an. Für den durchschnittlichen Benutzer ist es leicht zu verstehen Endbenutzervorteile hinter den CPU- und GPU-Verbesserungen das Qualcomm im Snapdragon 855 gemacht hat. Eine bessere CPU-Leistung führt dazu, dass Apps schneller geladen werden, und eine bessere GPU-Leistung führt zu besseren Frameraten beim Spielen. Was für Benutzer weniger intuitiv zu verstehen ist, ist KI (künstliche Intelligenz) und insbesondere Techniken des maschinellen Lernens, die zunehmend von Apps und Diensten übernommen werden, wie zum Beispiel künstliche neuronale Techniken Netzwerke. Qualcomm erzielte mit dem Snapdragon 855 enorme Leistungssteigerungen bei der KI-Workload-Leistung, dank allgemeiner Verbesserungen bei der Rechenleistung und insbesondere aufgrund des überarbeiteten Hexagon 690 DSP. Wir haben uns mit Gary Brotman, Leiter der KI- und maschinellen Lernstrategie und Produktplanung bei Qualcomm, und Ziad Asghar, Vizepräsident von, zusammengesetzt Snapdragon Roadmap Planning and AI, XR, Competitive Strategy bei Qualcomm, um mehr über die Verbesserungen zu erfahren, die Qualcomm bei KI-Workloads vorgenommen hat.

---

Mario Serrafero: "Also der neue DSP. Letztes Jahr habe ich Sie nach der Angriffsstrategie im Hinblick darauf gefragt, wie Qualcomm insbesondere DSP und HVX vorangetrieben, beworben, vermarktet und kommuniziert hat. Damals war er als KI-Block für die meisten Leser und Verbraucher noch relativ neu. Wir fragen uns also, wie sich diese Entwicklung seitdem mit der weiteren Förderung des 845 entwickelt hat.“

Gary Brotman: „In erster Linie war es, als wir damals mit dem 820 anfingen, immer noch sehr CPU- und GPU-zentriert und nutzte den DSP und.“ Die Vektorverarbeitungsfunktionen dafür sind eigentlich das Ergebnis der von Google angestrebten Ziele mit TensorFlow und 8-Bit Mathematik. Das ist der Punkt, an dem wir uns im Bereich DSP, oder sagen wir mal den Vektorprozessoren, wirklich ausgepowert haben. Angesichts der Reife des Vektorprozessors, den wir in Hexagon haben, und der Art und Weise, wie wir diese Roadmap in den nächsten beiden so schnell vorantreiben konnten Generationen und die Anwendungsfälle, die wir sahen, wobei die grundlegenden Klassifizierungsnetzwerke damals ziemlich einfach waren und nicht viele davon enthielten Gewicht. Sie kommen gut mit 8-Bit-Mathematik zurecht. Ein dedizierter Beschleuniger stellte sogar letztes Jahr ein Risiko dar, da er im Grunde genommen Fläche für etwas reservierte, das möglicherweise nicht genutzt wird. Der Zusammenfluss für Anwendungsfälle und alles von Ihrer Standard-Einzelkamera über Superauflösung bis hin zur Segmentierung in Echtzeit. Diese Dinge passieren in manchen Fällen gleichzeitig mit der Forderung, zumindest ein gewisses Maß an dedizierter Beschleunigung zu haben, die man abschirmen und dennoch Lesezyklen auf dem Vektorprozessor oder sogar der GPU nutzen kann. Es war der richtige Zeitpunkt.

Das ist sicherlich etwas, was wir viel früher einplanen mussten als bei unserem letzten Gespräch, aber ich denke, alle sind dabei Dieses Unternehmen geht davon aus, dass es genau oder nahezu genau weiß, wie hoch diese Arbeitsbelastung sein wird. Welche Art von Präzision sollte erforderlich sein und ob Sie genügend Rechenleistung eingeplant haben oder nicht, um die Vielzahl der kommenden Anwendungsfälle zu erfüllen. Wir gehen dabei ziemlich bewusst vor – Qualcomm hat sich schon immer auf Anwendungsfälle konzentriert – und wir wollten das nicht ausführen Es besteht die Gefahr, dass eine dedizierte Beschleunigung nicht verwendet wird, weil sie möglicherweise veraltet ist Zyklus. Wir sehen allein im Hinblick auf die allgemeine Faltung genug, dass ein dedizierter Beschleuniger fantastische Arbeit leisten kann. Auch hier werden die Zyklen an anderer Stelle freigesetzt. Was die Strategie betrifft, die wir mit diesem neuen Beschleuniger verfolgen: Er ist dediziert, es ist eine neue Architektur. Es ist kein Hexagon-Derivat. Aber wenn man heute über ein Netz nachdenkt, gibt es bestimmte Nichtlinearitätsfunktionen, die mit einigen der dedizierten Beschleunigungen nicht gut laufen –“

Mario Serrafero: „Ja, Sigmoid, ReLU –“

Gary Brotman: „Genau, Softmax. Und Sie müssen sie an anderer Stelle oder an der CPU verteilen. Aber in unserem Fall, so wie wir es unter der Haube konstruiert haben, ist der DSP tatsächlich die Steuerung. Es bestimmt, wo das Netz läuft und wo die Schichten laufen, und kann entscheiden, ob es bestimmte Dinge gibt, die als Fallback auf dem DSP oder auf dem Tensorprozessor laufen sollen. Daher ergab diese Paarung für uns tatsächlich sehr viel Sinn. Aber das ändert nichts an unserer Überzeugung und unserer Strategie, dass jeder primäre Kern in unserem SoC über einen verfügt Wir optimieren also auf ganzer Linie, dennoch gibt es immer noch eine große Variabilität, und das wird auch der Fall sein weitermachen."

Mario Serrafero: „Ein weiteres Thema, über das wir sprechen wollen, sind Anwendungsfälle. Wie Sie sagten, ist Qualcomm sehr anwendungsfallorientiert. Wir haben gesehen, wie KI in drei Hauptbereichen auf Mobilgeräten Einzug gehalten hat: Spracherkennung, Sequenzvorhersage wie mit Strings und Eingaben und natürlich Computer Vision wie KI-Filter [und Objekte Erkennung]. Computer Vision explodierte, jetzt sieht man es überall. Ich habe gesehen, dass bei der Spracherkennung jeder seinen eigenen KI-Assistenten hat, jeder seinen eigenen Assistenten. All dies kann nun am Edge mit geringer Latenz und perfekter Sicherheit erledigt werden. Aber wie geht es mit den Anwendungsfällen des maschinellen Lernens weiter? Und werden all diese Anwendungsfälle von den großen Unternehmen der Welt entwickelt – allen Snapchats der Welt, den Facebooks da draußen? Wie sehen Sie das?“

Gary Brotman: „Ich glaube nicht, dass ich einen Killer-Anwendungsfall nennen kann.“ Die Fähigkeiten ermöglichen jedoch eine höhere Rechenkomplexität und im Fall von Vision kann die Eingabeauflösung höher sein. Sie arbeiten nicht an Bildern mit niedriger Auflösung, um Bokeh zu erzeugen. In dem anderen Interview, das wir geführt haben, gab es eine Diskussion über 4K-Streaming als Beispiel. Ich werde nicht vorhersagen, dass das möglich ist, aber die Entwickler, mit denen wir zusammenarbeiten, seien es große Unternehmen wie Google oder unseres Softwareentwicklungspartner, die tatsächlich die Algorithmen entwickeln, die viele dieser mobilen Funktionen steuern, wollen es einfach mehr drücken. Sie wollen weiter gehen. Wenn es irgendetwas gibt, was ich in Bezug auf die nächsten Schritte sehen würde, würde es wahrscheinlich weniger darum gehen, was oberhalb der Linie oder auf App-Ebene passiert, und mehr darüber, was im System passiert, wie z. B. die Verbesserung der Funktionsweise des Produkts, der Energieverwaltung und sogar in der Kamera-Pipeline, nicht nur darüber hinaus Es. Sie haben Audio erwähnt und angegeben, wie viele Schlüsselwörter Sie unterstützen werden oder ob Sie eine Geräuschunterdrückung auf dem Gerät durchführen könnten. Die Schlüsselwort-Sache ist interessant, weil es nicht einfach ist, die Bibliothek aufzubauen – Sie haben nur begrenzten Speicher. Es wird also immer noch ein Gleichgewicht zwischen dem, was lokal ist, und dem, was in der Cloud passieren wird, geben.“

Ziad Asghar: „Ich kann noch etwas hinzufügen. Zumindest die beiden Bereiche, in denen es heute ein starkes Wachstum verzeichnet, sind Audio und Bildgebung. Wir können sehen, dass es viele Anwendungsfälle gibt. Jack hat darüber aus der Kameraperspektive gesprochen. Wir hatten die KI-Engine, mit der man viel davon für Bildanwendungsfälle nutzen kann. Einige davon wurden heute gezeigt. Und wenn es um Audio geht, haben wir nicht so viel darüber gesprochen, aber wir haben tatsächlich auch einige Audiofunktionen zum Audioblock hinzugefügt. Wir können die Sprachaktivierung in lauteren Umgebungen verbessern. Wir sind in der Lage, die Geräuschunterdrückung [in der Bildgebung] zu verbessern. Alle diese Fähigkeiten sind im Grunde bereits vorhanden. Es gibt die Partner, die Gary heute für den ISP vorgestellt hat, und es werden noch viel mehr davon kommen. Ich denke, das sind die beiden Dimensionen, auf die wir uns heute mehr konzentrieren.“

Gary Brotman: „Und dann ist der nächste Schritt – ich werde nicht vorhersagen, wann das passiert –, dass jetzt genug Rechenleistung vorhanden ist Das Lernen auf dem Gerät und das Experimentieren rund um das tatsächliche Lernen auf dem Gerät werden in diesem nächsten Abschnitt wahrscheinlich stattfinden Zyklus."

Mario Serrafero: „Dies ist wahrscheinlich ein Thema, über das es mehr Spaß macht, darüber zu diskutieren, und es ist die Tatsache, dass Qualcomm am Namen Hexagon DSP und HVX festhält, während andere Unternehmen sich für „neuronal“ so und so entscheiden. Wie sieht Qualcomm diese Diskrepanz und diese unterschiedlichen Strategien und Ansätze vor allem bei den Marketing, aber wir können etwas später auf die heterogene Berechnung im Vergleich zu bestimmten Blockbits eingehen Also."

Gary Brotman: „Da Hexagon bereits Eigenkapital in DSP aufgebaut hat, würde man sofort denken, dass wir nur unsere DSP-Strategie erweitern.“ Wenn Sie sich tatsächlich alle drei Prozessoren ansehen, Ihren Skalar, Ihren Vektor und jetzt Ihren dedizierten Tensorbeschleuniger, sind sie nicht alle DSP. Hexagon ist wirklich eine Marke auf höherem Niveau als nur DSP. Es gibt eine Handvoll DSPs. Ich denke, die Marketingfragen sind wahrscheinlich etwas schwieriger zu beantworten, da jede Region anders ist. China ist sehr NPU-zentriert, denn das ist ein Spitzname, der letztes Jahr eingeführt wurde und der sich offenbar etabliert hat. Ich würde nicht sagen, dass das anderswo auf der Welt funktioniert hat. Google hat einen Tensor-Prozessor und der Tensor scheint Anklang zu finden.“

Mario Serrafero: „Viele Leute haben ihre eigenen, unterschiedlichen Namen.“

Gary Brotman: „Letztendlich kommt es darauf an, was der OEM tun möchte.“ Wenn das für ihre Kunden von Bedeutung ist, müssen sie herausfinden, wie sie diese Verarbeitungskapazität nutzen und sich hinsichtlich der Fähigkeiten von ihnen abheben können. Unsere Engine und ich denke, ein großer Teil der Verarbeitungskapazität, die wir haben, wäre im Hinblick auf den Gesamtmix immer noch sehr vektor- und tensorzentriert. Die dedizierte Verarbeitung selbst, die Art und Weise, wie sie die Matrixmultiplikation durchführt, ist die gleiche Art von dediziertem Prozessor, den eine NPU verwenden würde. Die Marketingfrage ist interessant, und ich habe vergessen, wie Keith geantwortet hat?“

Ziad Asghar: „Seine Antwort war: ‚Sie können es nennen, wie Sie wollen, um mehr Produkte verkaufen zu können.‘“

Gary Brotman: „Das war es so ziemlich; Das war richtig, es war eine sehr direkte Antwort.

Ziad Asghar: „Ich denke, Gary hat es wirklich gut abgedeckt. Einige Leute verwenden diesen Spitznamen in einer Weise, die fast besagt oder impliziert, dass er sich nur auf diesen Block beschränkt. Aber was wir sehen, ist, dass dieser ganze heterogene Ansatz die Möglichkeit hat, die CPU, eine GPU oder einen Hexagon-Tensor zu verwenden Vector bietet Ihnen verschiedene Kompromisse in einem ganzen Spektrum an Präzision in Bezug auf Leistung und Leistung, und das ist es, was Sie brauchen Heute. Denn wir wissen nicht, welche Anwendung welches Maß an Präzision erfordert, was dauerhafte Leistung erfordert und was nicht. Deshalb sind wir davon überzeugt, dass es sich um eine umfassende Gesamtlösung handelt, denn nur so erhalten Sie das beste Erlebnis.“

Gary Brotman: „Und das hat sich in keinem unserer Gespräche geändert, selbst mit einem speziellen Beschleuniger.“ Es ist eine Ergänzung, es ist kein Ersatz.“

Mario Serrafero: „Ja, ich glaube, es war Keith letztes Jahr, der sagte: ‚Wo Rechenleistung ist, wird auch KI sein.‘ Und jetzt gibt es mehr Rechenleistung.“

Gary Brotman: „Mehr Rechenleistung in jedem Block, das ist genau richtig.“

Mario Serrafero: "NDa wir uns mit diesem Thema befassen, haben wir viele Vergleiche mit einem „mysteriösen“ 7-nm-Konkurrenten auf Android gehört. Ja, wir haben immer noch keine Ahnung, wer das ist. (gesprochen im Scherz)

Gary Brotman: "Keine Ahnung." (im Scherz gesprochen)

Mario Serrafero: „Aber könnten Sie uns einen Hinweis auf diese Vergleiche geben? Wie wurden sie gemessen? Welche Vorbehalte sind eine Überlegung wert? Irgendwelche anderen Kommentare, für die ihr vielleicht keine Zeit hattet, sie auf den Folien oder in den Fragen und Antworten näher zu erläutern? Ich weiß, dass es aufgrund der Vielfalt der Modelle schwierig zu messen [und zu kommunizieren] ist, also denke ich, dass es so ist Ein interessantes Thema, das es zu vertiefen gilt, um den Leuten klarzumachen, warum es nicht so einfach ist, diese herzustellen Vergleiche.“

Gary Brotman: „Eigentlich ist es ganz einfach. Ich gebe Ihnen eine sehr einfache Antwort auf eine bestimmte Kennzahl. Wir werden im Januar weitere Benchmarking-Maßnahmen durchführen. Wir werden mehr über die verschiedenen Netze sprechen, die zur Messung der Zahlen verwendet werden, auf denen wir basieren, und das wäre Standard-Inception v3. Daraus leiten wir diese Leistung und unser Verständnis dafür ab, wo die Konkurrenz steht. Aber in Bezug auf das, was angekündigt wurde und auf dem Markt ist, kommen das 2x und das 3x von – nun, das 3x stand im Vergleich zu dem, was wir im Jahr 845 hatten, während das 2x ihr Maß für die Leistung und den relativen Leistungszustand ist zu uns.“

Ziad Asghar: „Sie haben Geräte zur Verfügung, Sie können sie tatsächlich erwerben und einige dieser Tests selbst durchführen.“ Aber ich denke, das Einzige, wovor ich mich hüten würde, ist eine Art Wilder Westen des KI-Benchmarkings. Manche Leute verwenden sehr allgemeine Begriffe oder Kombinationen von Netzwerken, die ihnen auf bestimmte Weise zugute kommen könnten oder auch nicht. „Wird das gut zu einer modalen Arbeitsbelastung passen?“ ist etwas, das die Leute nicht berücksichtigen. Einige der im Umlauf befindlichen Benchmarks leisten viel mehr davon, und wir sind dem sehr nahe Ich weiß, dass es Leute gibt, die diese Maßstäbe in die eine oder andere Richtung schwanken lassen, je nachdem, was ihnen gefällt ihnen. Deshalb geht es viel mehr um tatsächliche Anwendungsfälle. Es geht auch viel mehr um die erstklassige Leistung für diesen Anwendungsfall und dann darum, ihn am schnellsten zu erledigen. Ich denke, das sind alles Faktoren, die wir berücksichtigen. Aber ich denke, es wird besser, es wird sich annähern. Im Moment gibt es eine Vielzahl verschiedener Optionen. Ich denke, dass bestimmte Benchmarks beibehalten werden, die sinnvoller sind. Heute könnte man vielleicht argumentieren, dass Inception v3 zu diesem Zeitpunkt relativ besser ist.“

Gary Brotman: „Was die Netzwerke betrifft, gibt es eine Handvoll.“ Es gibt ResNet, VGG, Segmentierungsnetze, Superauflösungsnetze – rohe Leistung, mit der Sie diese messen können. Der Punkt, den man in Bezug auf Benchmarks wegnehmen sollte, etwa Unternehmen oder Organisationen, die KI-Benchmarking durchführen, und sie haben Mischungen aus Genauigkeiten, Netzwerken und Formeln, die variabel sind, sie sind so variabel, dass sich die Ergebnisse ändern Woche für Woche. Dort herrscht der wahre Wilde Westen, und wir halten uns auf Distanz. Wir machen keine Wetten, da die tatsächliche Leistung einiger dieser Netzwerke sehr unterschiedlich ist die in Anwendungsfällen verwendet werden, sind wir zuversichtlich, dass wir in Bezug auf die Leistung im Vergleich zu den immer noch ganz oben auf der Liste stehen Wettbewerb. Ich würde sagen, nicht das Ranking, sondern die Verdoppelung, über die wir gesprochen haben, reine Leistung.“

Mario Serrafero: „Eines der Themen, die uns als Website vor allem für Entwickler interessieren, ist die Demokratisierung des maschinellen Lernens. Offensichtlich haben wir großartige Open-Source-Bibliotheken, jeder bietet auch diese tollen SDKs an und es gibt jede Menge Bildung. Und jetzt ist Android NN verfügbar und Google wurde gerade veröffentlicht ML-Kit was den Prozess vereinfacht. Sie rufen einfach eine API auf, füttern sie mit Ihren Eingaben, sie verwenden ein trainiertes Modell, Sie müssen sich darüber keine Sorgen machen, Sie müssen nicht darüber nachdenken, Sie müssen keine Statistiken oder Vektorrechnung kennen. Wie sehen Sie, dass sich die Landschaft in dieser Hinsicht dahingehend weiterentwickelt hat, dass sie zugänglicher ist und die API vereinfacht wird? Vereinfachung der Dokumentation, der SDKs und Förderung der Einbeziehung von Drittentwicklern, nicht nur von großen Firmen?"

Gary Brotman: „Es ist lustig, wenn wir uns tatsächlich auf große Unternehmen konzentrieren, dann hilft das auch den kleineren Entwicklern.“ Bei der Programmierung für Snapdragon, insbesondere für die Ausführung von KI, haben wir mit einem eher proprietären Stack begonnen. Aber im Laufe der Zeit und in den letzten paar Generationen haben wir weitere Tools hinzugefügt. Wir versuchen, ein Gleichgewicht zwischen Abstraktion auf hoher Ebene und Benutzerfreundlichkeit und Zugriff auf niedrigerer Ebene zu finden, für den jemand erforderlich ist um viel versierter zu sein, insbesondere wenn es um den Umgang mit einigen unserer proprietären Kerne wie dem Vektorprozessor oder der NPU geht. Wir sehen eine Entwicklung unter dem Gesichtspunkt der Demokratisierung. Wir haben die Grundbausteine ​​wie die Mathematikbibliotheken von Hexagon und Qualcomm, aber vielleicht eine etwas höhere API, die zumindest einen Teil dieser schweren Arbeit abstrahiert. bietet dem Entwickler jedoch genügend Flexibilität, um seine eigenen benutzerdefinierten Operatoren verwenden oder die Leistung im unteren Bereich ein wenig optimieren zu können Ebene. Daher wird das Portfolio weiterhin weitere Tools umfassen, und sicherlich Dinge wie die NN-API, wo Onyx ein Beispiel dafür ist, dass dies möglich ist Sagen Sie im Grunde: „Hier ist, was Sie programmieren, womit Sie Ihr Netzwerk zum Ausdruck bringen.“ Solange die Hardware dies unterstützt, sind Sie dabei Gut.

Wie ich in unserem Vortrag erwähnt habe, sind wir für eine Multi-OS-Landschaft verantwortlich. Es gibt Windows, es gibt Linux, es gibt Android, es geht also nicht nur um Android. Wenn wir uns das ansehen, wenn wir eine Art API erstellen wollen, die SoC, Cross-SoC oder … sein wird Da wir aus OS-Sicht plattformübergreifend arbeiten, müssen wir schauen, wie wir Gemeinsamkeiten in dem finden, was wir unter dem Betriebssystem erstellen Haube. Der Stack mit Bibliotheken und Operatorunterstützung, der beispielsweise in die NN-API oder Windows ML integriert werden kann. Aber auf jeden Fall haben wir das Pendel hinter uns gelassen und sind hier drüben, wo niemand wirklich weiß, was er tun soll buchstäblich, nicht wissend. „Ich weiß nicht, welches Framework ich verwenden soll. Benutze ich TensorFlow oder sollte ich Caffe oder Torch verwenden?“ Und nicht zu wissen, was man tun soll, um auf der unteren Ebene zu optimieren. Jeder ist also mit einem API-Aufruf zufrieden. Jetzt, innerhalb weniger Jahre, ist es einfach, tiefer zu gehen. Die Tools sind also vorhanden, ganz gleich, ob es sich um gängige Open-Source-Tools handelt oder sogar in einem Portfolio, wie wir es anbieten oder das von Mitbewerbern, diese Tools werden immer leichter zugänglich und benutzerfreundlicher.“

Mario Serrafero: „Apropos Entwicklergemeinschaften. Als wir das letzte Mal erwähnt haben, dass eine der ausgereiftesten Communities, die wir haben, die Gaming-Community ist, ist Qualcomm ziemlich gut darin verankert. Das sehen wir jetzt mehr denn je an den Partnerschaften mit den Spiele-Engines, die gefördert und vermarktet werden. Wir haben darüber im Zusammenhang mit KI gesprochen und darüber, wie sie sich dort entwickelt.“

Mischaal Rahman: „Sie haben darüber gesprochen, dass Sie in den nächsten 12 Monaten mehr investieren wollten. Das war damals, als wir das letzte Mal hier waren.

Mario Serrafero: „Speziell in der Gaming-Entwickler-Community, eine Art Erweiterung auf dem und dem, was wir heute sehen.“

Gary Brotman: „Ich erinnere mich nicht an den konkreten Kommentar über Investitionen in die Gaming-Community, aber wenn Sie sich eine Kategorie ansehen, haben wir festgestellt, dass sie treibend ist.“ Der Bedarf an dedizierter Beschleunigung und Spielen ist ein Bestandteil davon, aber es ist nicht unbedingt der primäre Anwendungsfall – VR als Beispiel. In einem reichhaltigen, immersiven VR-Erlebnis wird grundsätzlich jeder Kern genutzt. Sie führen die Grafikverarbeitung auf der GPU durch, die visuelle Verarbeitung auf dem Vektorprozessor und die Notwendigkeit dazu Nehmen Sie ein oder mehrere Netze und führen Sie sie separat auf einem dedizierten Beschleuniger aus, ohne sich um Parallelität sorgen zu müssen Auswirkungen. Das ist einer der Gründe, warum wir den Weg der dedizierten Beschleunigung eingeschlagen haben. Ich habe nicht viele Informationen darüber, wie KI heute in Spielen eingesetzt wird. Es gibt viel Arbeit mit Agenten – die Entwicklung von Agenten, die man bekämpfen oder einem etwas beibringen kann.“

Mario Serrafero: „Wie die traditionelle KI in Spielen.“

Gary Brotman: "Genau richtig. Aber es basiert mehr auf neuronalen Netzwerken.“

Mario Serrafero: „Ja, nicht der Minimax.“

Gary Brotman: „Ein Teil von Ziads Verantwortung besteht auch darin, die XR-Strategie voranzutreiben.“

Ziad Asghar: „Was XR angeht, wenn Sie es sich heute ansehen, haben wir neue Geräte auf den Markt gebracht, bei denen es sich um All-in-One-HMDs mit vollständiger 6DOF-Unterstützung handelt. Geräte wie die Oculus Quest, die tatsächlich mit dem Snapdragon 835 auf den Markt kamen, beginnen also, einen sehr guten Punkt zu erreichen, wenn es darum geht, die volle Leistungsfähigkeit von XR-Geräten tatsächlich auszuschöpfen. In der Vergangenheit boten einige Geräte nicht wirklich dieses makellose Erlebnis, weil einige Leute nicht das beste Erlebnis damit hatten. Ich denke, XR läuft jetzt großartig. Was wir in Zukunft auch in Kombination mit 5G in Betracht ziehen, ist, dass Sie jetzt in der Lage sein werden, dies zu tun Ihr Gerät ist tatsächlich viel mobiler, was bedeutet, dass Sie sich vorstellen können, dass Sie tatsächlich auf einem gehen Straße. Und dann bedeutet eine Verbindung wie 5G, dass das so ist Demo, die Gary von Google Lens gezeigt hat. Stellen Sie sich nun vor, Sie würden eine Art Google-Brille oder ähnliches tragen und könnten tatsächlich etwas mitbringen Informationen, die sich alle auf das beziehen, was Sie mit Ihren Augen betrachten, haben jetzt einen Anwendungsfall, der wirklich sehr nützlich sein könnte zwingend. Ich denke, dass die langfristige Investition, von der Sie sprechen, in diese Richtung geht.

Aber im Moment haben wir das Gefühl, dass wir uns in Bezug auf XR und all die verschiedenen Unternehmen, die mit XR gestartet sind, in einer sehr guten Verfassung befinden. Oculus Go basiert ebenfalls auf Snapdragon 820, daher denke ich, dass wir an einem sehr guten Punkt angelangt sind, an dem die Leute es in die Hand nehmen und viele Dinge damit machen. Und der nächste Schritt besteht, wie ich bereits erwähnt habe, darin, dass wir mit der Einführung der 5G-Konnektivität beginnen, was wir tun werden, und darüber hinaus Das ist natürlich AR und einige Dinge, die in Bezug auf die Leistung sogar viel mehr erfordern, sind jedoch begrenzt Leistung. Und das wird eine große Herausforderung sein, und ich denke, mit dem, worüber wir heute gesprochen haben, ist Qualcomm wahrscheinlich der Beste, wenn es um die Leistung dieser Anwendungsfälle geht. Wenn Sie sich die Grafiken ansehen und einen Vergleich mit den Mitbewerbern anstellen, werden Sie feststellen, dass unsere Leistung pro Einheitsleistung die beste ihrer Klasse ist. Und als Konsequenz daraus kommt es bei XR auf die Thermik und die nachhaltige Leistung an, und in dieser Hinsicht sind wir wirklich vorne – das ist der Grund, warum die Leute uns für XR verwenden.“

Mario Serrafero: „Seit letztem Jahr haben wir gesehen, dass der Hexagon 685 DSP endlich die Premium-Mittelklasse erreicht hat 710 und den richtigen Mitteltonbereich mit dem 670 Und 675. Jetzt bringen wir die Hexagon Vector Extensions auf den Weg nach unten, während andere Wettbewerber mit ihren neuronalen Verarbeitungseinheiten das nicht ganz schaffen. Wie sehen Sie die Ausweitung der Reichweite dieser Erfahrungen, und ich wollte fragen, ob Sie in der Vergangenheit gesehen haben, dass die Leistungsunterschiede bei der KI überhaupt einen Unterschied gemacht haben? Denn wir befinden uns immer noch in einem frühen Stadium der Einführung von KI.“

Ziad Asghar: „Ich schaue mir die Gesamt-Roadmap an. Wenn Sie auf der Suche nach der makellosen Spitzenleistung Ihrer Klasse sind, sollten Sie sich für die Premium-Klasse entscheiden. Was wir tun, ist, dass wir selektiv einige der Hexagon-Fähigkeiten nehmen und sie senken. Die erste KI-Engine bzw. das erste Hexagon wurde mit dem Snapdragon 820 gestartet. Also haben wir es auf den Snapdragon 660 und auf den 670 reduziert, und der 710 hat es auch. Unser Plan ist es also zu sehen, wie es sich auf die zukünftigen Erfahrungen auswirkt.

Als KI-Engine verfügen wir über grundlegende alte Komponenten: CPU, GPUs, Hexagon-Tensor, Hexagon-Vektor und Skalar. Was wir tun, ist, dass wir Teile davon selektiv weiter unten in die Roadmap einbauen, wenn wir sehen, dass diese Fähigkeiten nachlassen und in Headsets niedrigerer Stufen einfließen. Sie werden tatsächlich sehen, wie wir im Laufe des Jahres weiter vorgehen. Sie werden sehen, dass wir davon noch mehr machen werden. Wir haben Snapdragon 675 auf dem 4G/5G Summit vorgestellt. Wir haben darüber gesprochen, dass dies mit dem 675 der Fall sein wird, und was Sie sehen werden, ist, dass es immer mehr Anwendungsfälle gibt weit verbreitet sind, wie wir heute mit ArcSoft und all den anderen gezeigt haben, werden wir diese Fähigkeiten tatsächlich einbringen untere. In der unteren Ebene können Sie diesen Anwendungsfall ausführen, aber wie ich das richtige Leistungsprofil erhalten Wenn Sie, wie bereits erwähnt, eine nachhaltige Leistung erzielen möchten, möchten Sie, dass diese bestimmte Blockade auftritt untere. Auch hier gilt: Die beste Leistung ihrer Klasse wird oben liegen, aber wenn man nach unten geht, wird es eine starke Verschlechterung oder Abstufung von … geben.“

Mario Serrafero: „Gradientenabstieg, könnte man sagen.“ (im Scherz gesprochen)

Ziad Asghar: "Ja genau. So machen wir es auch mit anderen Technologien, die ebenfalls auf der Roadmap stehen, und KI wird in dieser Hinsicht nicht viel anders sein. Es ist wahrscheinlich ein Unterschied, vielleicht woher Sie kommen, da es wahrscheinlich schneller abnimmt durch andere Technologien, die wir in die Roadmap aufgenommen haben, sodass ich dieser Beobachtung zustimmen würde mit."

---

Wenn Sie mehr über KI in den mobilen Plattformen von Qualcomm erfahren möchten, empfehlen wir Ihnen, unser Interview mit Gary Brotman vom letzten Jahr zu lesen. Sie können damit beginnen Teil 1 unseres Interviews oder gehen Sie zu Teil 2.

Alle in diesem Interview gezeigten Grafiken stammen aus der Präsentation von Gary Brotman während des Snapdragon Tech Summit. Sie können die Folien ansehen Hier.