Wywiad: Qualcomm na temat sztucznej inteligencji i procesora DSP Hexagon 690 w Snapdragonie 855

Kiedy Qualcomm zaprezentował swój nowy Platforma mobilna Snapdragon 855zachwalali znaczne ulepszenia we wszystkich aspektach przetwarzania mobilnego. Dla przeciętnego użytkownika jest to łatwe do zrozumienia korzyści dla użytkownika końcowego wynikające z ulepszeń procesora i karty graficznej które Qualcomm stworzył w Snapdragonie 855. Lepsza wydajność procesora przekłada się na szybsze ładowanie aplikacji, a lepsza wydajność procesora graficznego przekłada się na większą liczbę klatek na sekundę podczas grania. Mniej intuicyjne dla użytkowników jest AI (sztuczna inteligencja), a w szczególności: techniki uczenia maszynowego, które są coraz częściej stosowane w aplikacjach i usługach, takie jak sztuczny neuron sieci. Qualcomm osiągnął ogromny wzrost wydajności obciążeń AI dzięki Snapdragonowi 855 dzięki ulepszeniom obliczeń we wszystkich obszarach, a zwłaszcza dzięki ulepszonemu procesorowi DSP Hexagon 690. Spotkaliśmy się z Garym Brotmanem, dyrektorem ds. strategii i planowania produktu w zakresie sztucznej inteligencji i uczenia maszynowego w Qualcomm, oraz Ziadem Asgharem, wiceprezesem ds. Planowanie planów działania Snapdragon i AI, XR, strategia konkurencyjności w Qualcomm, aby dowiedzieć się więcej o ulepszeniach wprowadzonych przez Qualcomm w zakresie obciążeń AI.

---

Mario Serrafero: "A więc nowy DSP. W zeszłym roku pytałem Cię o strategię ataku w odniesieniu do tego, jak Qualcomm promuje, promuje, promuje i przekazuje w szczególności DSP i HVX. W tamtym czasie, jako blok AI, był on wciąż stosunkowo nowy dla większości czytelników i konsumentów. Dlatego zastanawiamy się, jak zaobserwowaliście ewolucję tej sytuacji od tego czasu wraz z dalszą promocją modelu 845”.

Gary'ego Brotmana: „Przede wszystkim, kiedy zaczęliśmy to robić z 820, nadal skupialiśmy się bardzo na procesorze i karcie graficznej, wykorzystując DSP i możliwości przetwarzania wektorowego tak naprawdę powstały w wyniku tego, dokąd Google próbuje zmierzać z TensorFlow i 8-bitowym matematyka. To właśnie tam naprawdę rozciągnęliśmy nogi w DSP, czyli powiedzmy, procesorach wektorowych. Biorąc pod uwagę dojrzałość procesora wektorowego, który mamy w Hexagon i sposób, w jaki byliśmy w stanie tak szybko przyspieszyć realizację tego planu działania w ciągu następnych dwóch pokoleń oraz przypadki użycia, które zaobserwowaliśmy, a które w tamtym czasie podstawowe sieci klasyfikacyjne były dość proste i nie było ich zbyt wiele waga. Mogą działać dobrze z 8-bitową matematyką. Dedykowany akcelerator, nawet w zeszłym roku, wiązał się z ryzykiem w zasadzie przeznaczenia obszaru na coś, co może nie zostać wykorzystane. Połączenie różnych zastosowań — od standardowej pojedynczej kamery, super rozdzielczości po segmentację w czasie rzeczywistym. Te rzeczy dzieją się w niektórych przypadkach jednocześnie, zapotrzebowanie na przynajmniej pewien poziom dedykowanego przyspieszenia, które można odgrodzić i nadal czytać cykle na procesorze wektorowym, a nawet na GPU. To był właściwy czas.

Z pewnością było to coś, co musieliśmy zaplanować znacznie wcześniej niż wtedy, gdy rozmawialiśmy ostatnim razem, ale myślę, że wszyscy tak ta firma zakłada, że ​​wie dokładnie lub prawie dokładnie, jakie będą te obciążenia. Jaki rodzaj precyzji powinien być konieczny i czy budżet obliczeniowy był wystarczający, czy nie, aby zaspokoić nadchodzącą zbieżność przypadków użycia. Podchodzimy do tego całkiem świadomie – Qualcomm zawsze skupiał się na przypadkach użycia – i nie chcieliśmy uruchamiać ryzyko posiadania dedykowanego przyspieszenia, które nie byłoby używane, ponieważ mogłoby być nieaktualne w ostatnim cykl. Widzimy wystarczająco dużo w kategoriach samego ogólnego splotu, z którym dedykowany akcelerator może wykonać fantastyczną robotę. Ponownie, uwalniając cykle gdzie indziej. Jeśli chodzi o strategię, jaką mamy w odniesieniu do tego nowego akceleratora: jest on dedykowany, ma nową architekturę. To nie jest pochodna sześciokąta. Ale jeśli pomyślisz o dzisiejszej sieci, istnieją pewne funkcje nieliniowości, które nie działają dobrze przy niektórych dedykowanych przyspieszeniach…”

Mario Serrafero: „Tak, esowata, ReLU…”

Gary'ego Brotmana: „Dokładnie, Softmax. I musisz je umieścić gdzie indziej lub do procesora. Ale w naszym przypadku, tak jak to zaprojektowaliśmy pod maską, w rzeczywistości kontrolę pełni DSP. Określa, gdzie przebiega sieć i gdzie przebiegają warstwy, i może zdecydować, czy pewne rzeczy powinny działać na procesorze DSP jako rezerwa, a nie na procesorze tensorowym. Więc to połączenie miało dla nas naprawdę duży sens. Nie umniejsza to jednak naszych przekonań i naszej strategii, że każdy główny rdzeń naszego SoC ma rolę, więc optymalizujemy wszystko, ale nadal istnieje duża zmienność i tak będzie Kontynuować."

Mario Serrafero: „Kolejnym tematem, który chcemy poruszyć, są przypadki użycia. Tak jak powiedziałeś, Qualcomm bardzo koncentruje się na przypadkach użycia. Widzieliśmy, jak sztuczna inteligencja pojawiła się na urządzeniach mobilnych w trzech głównych obszarach: rozpoznawanie mowy, przewidywanie sekwencji, jak w przypadku ciągów znaków i pisania, oraz oczywiście wizja komputerowa, jak filtry AI, [i obiekt uznanie]. Wizja komputerowa eksplodowała, teraz widać ją wszędzie. Widziałem, że w przypadku rozpoznawania mowy każdy ma własnego asystenta AI, każdy ma własnego asystenta. Teraz wszystko to można zrobić na brzegu sieci, przy niewielkich opóźnieniach i doskonałym bezpieczeństwie. Ale co dalej z przypadkami użycia uczenia maszynowego i czy wszystkie te przypadki użycia zostaną opracowane przez duże firmy na świecie – wszystkie Snapchaty na świecie, Facebooki? Jak to widzisz?

Gary'ego Brotmana: „Nie sądzę, że potrafię wskazać zabójczy przypadek użycia. Jednak możliwości pozwalają na większą złożoność obliczeniową, a w przypadku wizji rozdzielczość wejściowa może być wyższa. Nie pracujesz nad obrazami o niskiej rozdzielczości, aby uzyskać efekt bokeh. Wcześniej w innym wywiadzie odbyła się dyskusja, w której jako przykład podaliśmy transmisję strumieniową w rozdzielczości 4K. Nie przewiduję, że jest to możliwe, ale programiści, z którymi współpracujemy, niezależnie od tego, czy są to duże firmy, takie jak Google, czy nasza partnerzy zajmujący się tworzeniem oprogramowania, którzy faktycznie tworzą algorytmy sterujące wieloma funkcjami mobilnymi, po prostu chcą naciskaj więcej. Chcą iść dalej. Jeśli jest coś, co widziałbym w kontekście kolejnych kroków, prawdopodobnie nie dotyczyłoby to tego, co dzieje się nad linią lub na poziomie aplikacji, a więcej o tym, co dzieje się w systemie, np. o ulepszaniu sposobu działania produktu, zarządzaniu energią, a nawet w rurociągu kamery, nie tylko na wierzchu To. Wspomniałeś o dźwięku i liczbie słów kluczowych, które będziesz obsługiwać, lub czy możesz włączyć funkcję wyciszania szumów na urządzeniu. Kwestia słowa kluczowego jest interesująca, ponieważ zbudowanie biblioteki nie jest łatwe — masz ograniczoną pamięć. Zatem nadal będzie zachowana równowaga między tym, co lokalne, a tym, co będzie się działo w chmurze”.

Ziada Asghara: „Mogę dodać trochę. Zatem przynajmniej dwie domeny, w których obecnie ten trend bardzo się rozwija, to audio i obrazowanie. Widzimy, że ma wiele przypadków użycia. Jack mówił o tym z perspektywy kamery. Mamy silnik sztucznej inteligencji, który można wykorzystać w wielu przypadkach do obrazowania. Niektóre z tych, które zostały dzisiaj pokazane. A jeśli spojrzysz na dźwięk, nie rozmawialiśmy o tym zbyt wiele, ale tak naprawdę dodaliśmy także pewne możliwości audio do bloku audio. Jesteśmy w stanie lepiej aktywować głos w bardziej hałaśliwym otoczeniu. Jesteśmy w stanie lepiej tłumić szumy [w obrazowaniu]. Wszystkie te zdolności w zasadzie już się dzieją. Są partnerzy, których Gary pokazał dziś dostawcy usług internetowych, a będzie ich o wiele więcej. Myślę więc, że są to dwa wymiary, na których dzisiaj skupiamy się bardziej.

Gary'ego Brotmana: „Następnym krokiem — nie zamierzam prognozować, kiedy to nastąpi — jest zapewnienie wystarczającej mocy obliczeniowej, gdzie teraz nauka na urządzeniu i eksperymenty związane z rzeczywistą nauką na urządzeniu prawdopodobnie będą miały miejsce w następnej kolejności cykl."

Mario Serrafero: „To prawdopodobnie temat, o którym przyjemniej jest dyskutować, a wynika to z faktu, że Qualcomm trzyma się pseudonimu Hexagon DSP i HVX, podczas gdy inne firmy wybierają rozwiązania „neuronowe” i tak dalej. Jak Qualcomm widzi tę rozbieżność oraz różne strategie i podejścia, głównie w przypadku marketingu, ale nieco później możemy zająć się heterogenicznymi obliczeniami w porównaniu z określonymi bitami blokowymi, jak np Dobrze."

Gary'ego Brotmana: „Ponieważ Hexagon ma już kapitał w DSP, od razu można by pomyśleć, że po prostu rozszerzamy naszą strategię DSP. Właściwie jeśli spojrzysz na wszystkie trzy procesory, twój skalar, twój wektor, a teraz twój dedykowany akcelerator tensorowy, to nie wszystkie są DSP. Hexagon to naprawdę marka wyższego poziomu niż tylko DSP. Jest kilka DSP. Myślę, że odpowiedzi na pytania marketingowe są prawdopodobnie nieco trudniejsze, ponieważ każdy region jest inny. Chiny są bardzo skoncentrowane na NPU, ponieważ jest to pseudonim wprowadzony w zeszłym roku i wydaje się, że się zakorzenił. Nie powiedziałbym, że to zadziałało gdzie indziej na świecie. Google ma procesor tensorowy, a tensor wydaje się rezonować.”

Mario Serrafero: „Wiele osób ma swoje własne, różne imiona”.

Gary'ego Brotmana: „Ostatecznie wszystko sprowadza się do tego, czego chce producent OEM. Jeśli ma to znaczenie dla ich klientów, to na nich spoczywa obowiązek ustalenia, w jaki sposób mogą wykorzystać tę zdolność przetwarzania i wyróżnić ją pod względem możliwości. Nasz silnik i, jak sądzę, duża część naszych możliwości przetwarzania, nadal byłby bardzo zorientowany na wektory i tensory, jeśli chodzi o ogólny miks. Samo dedykowane przetwarzanie, sposób, w jaki wykonuje mnożenie macierzy, to ten sam rodzaj dedykowanego procesora, którego [używałaby] NPU. Pytanie marketingowe jest interesujące i zapomniałem, jaka była odpowiedź Keitha?”

Ziada Asghara: „Jego odpowiedź brzmiała: «Możesz to nazywać, jak chcesz, aby móc sprzedawać więcej produktów»”.

Gary'ego Brotmana: „To właściwie tyle; to prawda, to była bardzo bez ogródek odpowiedź.”

Ziada Asghara: „Myślę, że Gary ujął to naprawdę dobrze. Niektóre osoby używają tego pseudonimu jako terminu w sposób, który niemal stwierdza lub sugeruje, że ogranicza się on tylko do tego bloku. Ale widzimy, że całe to heterogeniczne podejście polegające na możliwości wykorzystania procesora, procesora graficznego lub tensora sześciokątnego wektor, zapewnia różne kompromisy w całym spektrum precyzji w zakresie mocy i wydajności, a tego właśnie potrzebujesz Dzisiaj. Ponieważ nie wiemy, jakie zastosowanie wymaga jakiego stopnia precyzji, co wymaga trwałej wydajności, a co jej nie wymaga. Wierzymy więc, że jest to pełne, całościowe rozwiązanie, ponieważ w ten sposób można uzyskać najlepsze doświadczenia”

Gary'ego Brotmana: „I nie zmieniło się to nigdy w żadnej z naszych rozmów, nawet w przypadku dedykowanego akceleratora. To dodatek, a nie zamiennik.”

Mario Serrafero: „Tak, myślę, że to Keith w zeszłym roku powiedział: «tam, gdzie jest komputer, tam będzie sztuczna inteligencja». A teraz jest więcej obliczeń.”

Gary'ego Brotmana: „Więcej obliczeń w każdym bloku, dokładnie tak.”

Mario Serrafero: "NSkoro już jesteśmy przy tym temacie, słyszeliśmy wiele porównań z „tajemniczym” konkurentem wykonanym w 7 nm na Androidzie. Tak, nadal nie mamy pojęcia, kto to jest. (Mówiony żartem)

Gary'ego Brotmana: "Brak pomysłu." (powiedziane w żartach)

Mario Serrafero: „Ale czy mógłbyś nam podpowiedzieć, co do tych porównań? Jak je mierzono? Jakie zastrzeżenia warto wziąć pod uwagę? Jakieś inne uwagi, których być może nie mieliście czasu rozwinąć na slajdach lub w pytaniach i odpowiedziach? Wiem, że dość trudno to zmierzyć [i przekazać] ze względu na różnorodność modeli, więc myślę, że tak ciekawy temat do rozwinięcia, aby dać ludziom znać, dlaczego nie jest łatwo je zrobić porównania.”

Gary'ego Brotmana: „To właściwie całkiem proste. Dam ci bardzo prostą odpowiedź dotyczącą jednego konkretnego wskaźnika; w styczniu będziemy przeprowadzać więcej testów porównawczych. Porozmawiamy więcej o różnych sieciach używanych do pomiaru liczb, na których się opieramy, i będzie to standardowa Incepcja v3. Stąd czerpiemy te wyniki i naszą wiedzę na temat miejsca, w którym znajduje się konkurencja. Ale jeśli chodzi o ten, który ogłosił i wypuścił produkty na rynek, to właśnie tam pojawiają się 2x i 3x od — cóż, 3x było w porównaniu z tym, co mieliśmy w 845, podczas gdy 2x to miara wydajności i względny stan wydajności do naszego.”

Ziada Asghara: „Masz dostępne urządzenia, możesz je nabyć i samodzielnie przeprowadzić niektóre testy. Ale myślę, że jedyną rzeczą, przed którą bym się wystrzegał, jest rodzaj Dzikiego Zachodu polegającego na porównywaniu sztucznej inteligencji. Niektórzy ludzie używają bardzo ogólnych terminów lub kombinacji sieci, które mogą przynieść im określone korzyści lub nie. „Czy będzie to dobrze dopasowane do obciążenia modalnego?” nie jest czymś, co ludzie biorą pod uwagę. Niektóre z testów porównawczych, które krążyły po sieci, robią o wiele więcej tego typu rzeczy i jesteśmy już bardzo blisko, więc tak wiedz, że są ludzie, którzy sprawiają, że te wskaźniki zmieniają się w tę czy inną stronę, w zależności od tego, co sprzyja ich. Dlatego dużo więcej mówi się o rzeczywistych przypadkach użycia. Chodzi także o to, aby uzyskać najlepszą w swojej klasie wydajność w danym przypadku użycia, a następnie o jak najszybsze wykonanie tego zadania. Myślę, że to wszystkie czynniki, na które zwracamy uwagę. Ale myślę, że będzie lepiej, będzie zbieżne. Obecnie dostępnych jest wiele różnych opcji. Myślę, że pozostaną pewne punkty odniesienia, które będą miały większy sens. Dziś można by argumentować, że Incepcja v3 jest w tym momencie stosunkowo lepsza.”

Gary'ego Brotmana: „Jeśli chodzi o sieci, jest ich kilka. Istnieją ResNet, VGG, sieci segmentacyjne, sieci o super rozdzielczości — surowa wydajność, za pomocą której można je zmierzyć. Należy zwrócić uwagę na punkty odniesienia, takie jak firmy lub podmioty, które przeprowadzają testy porównawcze AI, i oni mają mieszaninę precyzji, sieci i wzorów, które są zmienne, są tak zmienne, że zmieniają się wyniki tydzień po tygodniu. To prawdziwy Dziki Zachód, a my trzymamy się na dystans. Nie stawiamy nigdzie naszych zakładów, ponieważ istnieje bardzo duża zmienność, jeśli chodzi o rzeczywiste wyniki niektórych z tych sieci używanych w przypadkach użycia, jesteśmy pewni, że nadal zdecydowanie zajmujemy czołową pozycję w rankingu pod względem wydajności w porównaniu z konkurs. Powinienem powiedzieć nie ranking, ale podwojenie, o którym mówiliśmy, surowe wyniki”.

Mario Serrafero: „Jednym z tematów, którym jesteśmy zainteresowani jako witryna przeznaczona głównie dla programistów, jest demokratyzacja uczenia maszynowego. Oczywiście mamy świetne biblioteki open source, wszyscy oferują także te niesamowite pakiety SDK i jest mnóstwo edukacji. A teraz dostępny jest Android NN, a Google właśnie wypuściło Zestaw ML co upraszcza proces. Po prostu wywołujesz API, przekazujesz mu swoje dane, używają wyszkolonego modelu, nie musisz się tym martwić, nie musisz o tym myśleć, nie musisz znać żadnych statystyk ani rachunku wektorowego. Jak widzisz ewolucję krajobrazu pod tym względem, czyniąc go bardziej dostępnym, upraszczając API, upraszczając dokumentację, zestawy SDK i promując włączenie zewnętrznych programistów, nie tylko dużych firmy?”

Gary'ego Brotmana: „To zabawne, gdy tak naprawdę skupiamy się na dużych firmach, pomaga to także mniejszym programistom. Zaczęliśmy od bardziej zastrzeżonego stosu, jeśli chodzi o programowanie dla Snapdragona, szczególnie do obsługi sztucznej inteligencji. Jednak z biegiem czasu, w ciągu ostatnich kilku pokoleń, dodaliśmy więcej narzędzi. Próbujemy znaleźć równowagę pomiędzy abstrakcją na wysokim poziomie i łatwością użycia, a dostępem na niższym poziomie, który wymaga kogoś wykazać się większą rozwagą, szczególnie jeśli chodzi o radzenie sobie z niektórymi z naszych zastrzeżonych rdzeni, takimi jak procesor wektorowy lub NPU. Widzimy, że ewoluuje z punktu widzenia demokratyzacji. Mamy podstawowe elementy składowe, takie jak biblioteki matematyczne Hexagon i Qualcomm, ale może nieco wyższy poziom API, który eliminuje przynajmniej część tego ciężkiego podnoszenia, ale zapewnia programiście wystarczającą elastyczność, aby móc używać własnych niestandardowych operatorów lub móc nieco poprawić wydajność na niższych poziom. Zatem portfolio będzie nadal obejmować więcej narzędzi, a na pewno takie rzeczy, jak NN API, gdzie Onyx jest przykładem tego, że potrafi po prostu powiedz „oto, co programujesz, w czym wyrażasz swoją sieć”. Tak długo, jak sprzęt to obsługuje, tak Dobry.

Jak wspomniałem w naszej prezentacji, jesteśmy odpowiedzialni za krajobraz obejmujący wiele systemów operacyjnych. Jest Windows, jest Linux, jest Android, więc nie chodzi tylko o Androida. Kiedy na to spojrzymy, jeśli mamy zamiar skonstruować jakiś rodzaj API, który będzie SoC, cross-SoC lub wieloplatformowe z punktu widzenia systemu operacyjnego, musimy przyjrzeć się i zobaczyć, jak znaleźć podobieństwa w tym, co budujemy w ramach kaptur. Stos z bibliotekami i obsługą operatorów, który można podłączyć na przykład do NN API lub Windows ML. Ale z pewnością odeszliśmy od wahadła znajdującego się tutaj, gdzie nikt tak naprawdę nie wie, co robić dosłownie, nie wiedząc. „Nie wiem, jakiego frameworka użyć. Czy powinienem używać TensorFlow, czy powinienem używać Caffe lub Torch?” I nie wiedząc co zrobić, żeby zoptymalizować na niższym poziomie. Zatem wszyscy są zadowoleni z wywołania API. Teraz, w ciągu zaledwie kilku lat, łatwo jest zejść głębiej. Narzędzia te są dostępne, niezależnie od tego, czy są to zwykłe narzędzia typu open source, czy nawet w portfolio takim, jak oferujemy my lub konkurenci, narzędzia te stają się łatwiej dostępne i łatwiejsze w użyciu.

Mario Serrafero: „Mówiąc o społecznościach programistów. Ostatnim razem wspominaliśmy, że jedną z najbardziej dojrzałych społeczności jest społeczność graczy, a Qualcomm jest w nią całkiem dobrze osadzony. Teraz widzimy to bardziej niż kiedykolwiek dzięki partnerstwu z promowanymi i reklamowanymi silnikami gier. Dlatego rozmawialiśmy o tym w kontekście sztucznej inteligencji i jej pojawiania się w tym obszarze”.

Miszaala Rahmana: „Mówiłeś o tym, jak chcesz więcej inwestować w ciągu najbliższych 12 miesięcy. To samo wydarzyło się, kiedy tu byliśmy ostatni raz.”

Mario Serrafero: „W szczególności społeczność twórców gier, w pewnym sensie rozwijam to i to, co widzimy dzisiaj”.

Gary'ego Brotmana: „Nie pamiętam konkretnego komentarza na temat inwestowania w społeczność graczy, ale jeśli spojrzysz na kategorię, która, jak widzieliśmy, napędzała potrzeba dedykowanego przyspieszania, a gry są tego częścią, ale niekoniecznie jest to główny przypadek użycia – VR jako przykład. W bogatym, wciągającym doświadczeniu VR praktycznie wykorzystuje się każdy rdzeń. Wykonujesz przetwarzanie grafiki na GPU, przetwarzanie wizualne na procesorze wektorowym i jest taka potrzeba weź jedną lub wiele sieci i uruchom je oddzielnie na dedykowanym akceleratorze, bez obawy o współbieżność uderzenie. To jeden z powodów, który skłonił nas do posiadania dedykowanego przyspieszenia. Nie mam zbyt wielu informacji na temat wykorzystania sztucznej inteligencji w dzisiejszych grach. Z agentami wiąże się dużo pracy — rozwijanie agentów, z którymi można walczyć lub których można się nauczyć”.

Mario Serrafero: „Jak tradycyjna sztuczna inteligencja w grach.”

Gary'ego Brotmana: "Dokładnie tak. Ale jest bardziej oparty na sieci neuronowej.”

Mario Serrafero: „Tak, nie Minimax”.

Gary'ego Brotmana: „Częścią obowiązków Ziada jest także kierowanie strategią XR.”

Ziada Asghara: „Jeśli spojrzeć na to dzisiaj, w zakresie XR, wprowadziliśmy na rynek nowe urządzenia, które są wszechstronnymi HMD z pełną obsługą 6DOF. Urządzenia takie jak Oculus Quest, które faktycznie wystartowały z procesorem Snapdragon 835, zatem zaczynamy docierać do bardzo dobrego punktu, jeśli chodzi o faktyczne wykorzystanie pełnych możliwości urządzeń XR. W przeszłości niektóre urządzenia nie zapewniały tak nieskazitelnych wrażeń, ponieważ niektórym osobom nie udało się uzyskać z nich najlepszych wrażeń. Myślę, że XR ma się teraz świetnie. To, na co patrzymy również w przyszłości, w połączeniu z 5G, pozwala teraz na to Twoje urządzenie jest w rzeczywistości znacznie bardziej mobilne, co oznacza, że ​​możesz sobie wyobrazić, że faktycznie chodzisz po ulica. A posiadanie łącza takiego jak 5G oznacza, że ​​np demonstracja Google Lens pokazana przez Gary’ego. Teraz wyobraź sobie, że nosisz jakieś okulary Google lub coś w tym rodzaju i możesz je przynieść informacji na temat tego, na co patrzysz oczami, teraz masz przypadek użycia, który naprawdę może być bardzo przydatny zniewalający. Myślę, że właśnie w tym kierunku zmierza ta długoterminowa inwestycja, o której mówisz.

Jednak obecnie uważamy, że jesteśmy w bardzo dobrym stanie, jeśli chodzi o XR i wszystkie inne firmy, które wypuściły na rynek XR. Oculus Go również jest oparty na Snapdragonie 820, więc myślę, że zaczynamy docierać do bardzo dobrego punktu, w którym ludzie go chwytają i robią z nim mnóstwo rzeczy. Następnym etapem, o którym wspomniałem, jest rozpoczęcie udostępniania łączności 5G, co zrobimy, a potem jeszcze później to oczywiście AR i kilka rzeczy, które będą wymagały nawet znacznie więcej pod względem wydajności, ale są ograniczone moc. To będzie niezwykle trudne i myślę, że biorąc pod uwagę to, o czym dzisiaj rozmawialiśmy, Qualcomm jest prawdopodobnie najlepszy, jeśli chodzi o wykonanie dowolnego z tych przypadków użycia pod względem mocy. Jeśli spojrzysz na grafikę, jeśli porównasz któregokolwiek z konkurentów, zobaczysz, że nasza wydajność na jednostkę mocy jest najlepsza w swojej klasie. W rezultacie w XR liczy się termika i trwałe osiągi, a pod tym względem naprawdę jesteśmy przed nami – to jest powód, dla którego ludzie korzystają z nas w XR”.

Mario Serrafero: „Od zeszłego roku widzieliśmy, jak Hexagon 685 DSP w końcu trafił do średniej klasy premium dzięki 710 i odpowiednią średnicę z 670 I 675. Zatem teraz rozszerzenia Hexagon Vector Extensions trafiają na dalszy rynek, podczas gdy inni konkurenci nie do końca to robią ze swoimi jednostkami przetwarzania neuronowego. Jak widzisz rozszerzenie zasięgu tych doświadczeń? Chciałem zapytać, czy w przeszłości zauważyłeś, że rozbieżności w wydajności sztucznej inteligencji w ogóle coś zmieniają? Ponieważ nadal jesteśmy na wczesnym etapie wdrażania sztucznej inteligencji”.

Ziada Asghara: „Patrzę na ogólny plan działania. Jeśli szukasz nieskazitelnej, najlepszej w swojej klasie wydajności, znajdziesz ją na poziomie premium. To, co robimy, polega na tym, że selektywnie bierzemy niektóre możliwości Hexagonu i obniżamy je. Pierwszy silnik AI, czyli pierwszy Hexagon, został uruchomiony wraz ze Snapdragonem 820. Więc sprowadziliśmy to do Snapdragona 660 i do 670, a 710 też to ma. Zatem naszym planem jest sprawdzenie, jak przełoży się to na przyszłe doświadczenia.

Jako silnik AI mamy podstawowe stare komponenty: procesor, procesory graficzne, tensor sześciokątny, wektor sześciokątny i skalar. To, co robimy, polega na tym, że selektywnie przenosimy te części dalej na plan działania, gdy widzimy, że te możliwości zanikają i trafiają do zestawów słuchawkowych niższego poziomu. Faktycznie, zobaczysz, jak pójdziemy dalej w ciągu roku. zobaczysz, że zrobimy tego więcej. Na szczycie 4G/5G zaprezentowaliśmy Snapdragona 675. Rozmawialiśmy o tym, że pojawi się to wraz z modelem 675 i zobaczycie, że takich zastosowań będzie coraz więcej powszechne, jak pokazaliśmy dzisiaj w ArcSoft i wszystkich innych programach, faktycznie udostępnimy te możliwości niżej. Na niższym poziomie będziesz mógł uruchomić ten przypadek użycia, ale będziesz mógł uzyskać odpowiedni profil mocy, tak jak ja o czym mówiłem wcześniej, jeśli chcesz mieć stałą wydajność, chcesz, aby ten konkretny blok nadchodził niżej. Zatem ponownie, najlepsza w swojej klasie wydajność będzie na górze, ale w miarę schodzenia na dół nastąpi wielka degradacja lub gradacja…”

Mario Serrafero: „Można powiedzieć, zejście gradientowe”. (mówione żartem)

Ziada Asghara: "Tak, dokładnie. Podobnie postępujemy z innymi technologiami znajdującymi się w planie działania, a sztuczna inteligencja nie będzie się zbytnio różnić pod tym względem. Prawdopodobnie jest to jedna różnica, być może to, skąd pochodzisz, ponieważ prawdopodobnie spada szybciej poprzez inne technologie, które uwzględniliśmy w planie działania, więc zgadzam się z tą obserwacją z."

---

Jeśli jesteście ciekawi, jak dowiedzieć się więcej na temat sztucznej inteligencji w platformach mobilnych Qualcomma, polecamy lekturę naszego zeszłorocznego wywiadu z Garym Brotmanem. Możesz zacząć od Część 1 naszego wywiadu lub przejdź do część 2.

Wszystkie grafiki pokazane w tym wywiadzie pochodzą z prezentacji Gary'ego Brotmana podczas Snapdragon Tech Summit. Można przeglądać slajdy Tutaj.