Интервю: Qualcomm за AI и Hexagon 690 DSP на Snapdragon 855

Когато Qualcomm представи своя нов Мобилна платформа Snapdragon 855, те рекламираха значителни подобрения във всички аспекти на мобилните компютри. За обикновения потребител е лесно да разбере ползите за крайния потребител зад подобренията на CPU и GPU които Qualcomm направиха в Snapdragon 855. По-добрата производителност на процесора води до по-бързо зареждане на приложенията, а по-добрата производителност на графичния процесор води до по-добра честота на кадрите при игра. Това, което е по-малко интуитивно за разбиране от потребителите, е AI (изкуствен интелект) и по-специално, техники за машинно обучение, които приложенията и услугите все повече възприемат, като например изкуствени неврони мрежи. Qualcomm постигна огромни печалби в производителността на работното натоварване на AI със Snapdragon 855 благодарение на подобренията в изчисленията навсякъде и особено благодарение на обновения Hexagon 690 DSP. Седнахме с Гари Бротман, ръководител на ИИ и стратегия за машинно обучение и продуктово планиране в Qualcomm, и Зиад Асгар, вицепрезидент на Планиране на пътна карта на Snapdragon и AI, XR, конкурентна стратегия в Qualcomm, за да научите повече за подобренията, направени от Qualcomm в работните натоварвания на AI.

---

Марио Сераферо: "И така, новият DSP. Миналата година ви попитах за стратегията за атака по отношение на това как Qualcomm прокарва, популяризира, предлага на пазара и комуникира по-специално DSP и HVX. По това време, като AI блок, той все още беше сравнително нов за повечето читатели и потребители. Така че се чудим как виждате това да се развива оттогава с по-нататъшното популяризиране на 845."

Гари Бротман: „Първо и най-важно, когато започнахме да правим това с 820, той все още беше много ориентиран към процесора и графичния процесор и използвайки DSP и възможностите за векторна обработка за това наистина се появиха в резултат на това, накъде Google се опитва да се насочи с TensorFlow и 8-битов математика. Така че това е мястото, където наистина опънахме краката си в DSP, или да кажем векторните процесори. Предвид зрелостта на векторния процесор, който имаме в Hexagon, и начина, по който успяхме да напреднем в тази пътна карта толкова бързо в следващите две поколения и случаите на употреба, които видяхме, които по това време, основните класификационни мрежи бяха доста ясни с малко тежест. Те могат да работят добре с 8-битова математика. Специален ускорител, дори миналата година, беше риск за основно разпределяне на площ за нещо, което може да не се използва. Сливането за случаи на употреба и това е всичко от стандартната ви единична камера, супер резолюция или сегментиране в реално време. Тези неща се случват в някои случаи, едновременно с търсенето на поне някакво ниво на специално ускорение, което можете да ограничите и пак да четете цикли на векторния процесор или дори на GPU. Беше точното време.

Това със сигурност е нещо, което трябваше да планираме много по-рано, отколкото когато говорихме последния път, но мисля, че всички участват този бизнес залага, че знае точно или почти точно какви ще бъдат тези натоварвания. Какъв тип прецизност трябва да е необходим и дали сте предвидили или не сте предвидили достатъчно изчисления, за да удовлетворите това сливане от случаи на употреба, които идват. Ние сме доста умишлени в това - Qualcomm винаги е бил ориентиран към случаите на употреба - и не искахме да стартираме риск от наличие на специално ускорение, което няма да се използва, защото може да е остаряло в последния цикъл. Виждаме достатъчно само по отношение на общата конволюция, за която един специален ускорител може да свърши фантастична работа. Отново, освобождаване на циклите на друго място. По отношение на стратегията, която имаме с този нов ускорител: Той е посветен, това е нова архитектура. Това не е производно на Hexagon. Но ако мислите за мрежа днес, има определени функции за нелинейност, които не работят добре при някои от специалното ускорение -"

Марио Сераферо: "Да, сигмоид, ReLU -"

Гари Бротман: „Точно така, Софтмакс. И трябва да ги поставите другаде или към процесора. Но в нашия случай, начинът, по който сме проектирали това под капака, DSP всъщност е контролът. Той определя къде се движи мрежата и къде се движат слоевете и може да реши дали има определени неща, които трябва да се изпълняват на DSP като резервен вариант срещу работа на тензорния процесор. Така че това сдвояване всъщност имаше много смисъл за нас. Но това не омаловажава нашите вярвания и нашата стратегия, че всяко основно ядро ​​в нашия SoC има a роля, така че оптимизираме навсякъде, но все още има много променливост и това ще продължи."

Марио Сераферо: „Друга тема, за която искаме да говорим, са случаите на използване. Както казахте, Qualcomm е много ориентиран към случаите на използване, видяхме AI да идва в мобилните устройства в три основни области: разпознаване на реч, предсказване на последователност като с низове и писане, и очевидно компютърно зрение като AI филтри [и обект разпознаване]. Компютърното зрение експлодира, сега го виждате навсякъде. Виждал съм с разпознаването на реч, всеки има свой собствен AI асистент, всеки има свой собствен асистент. Сега всичко това може да се направи на ръба с малка латентност и перфектна сигурност. Но какво следва за случаите на използване на машинното обучение и дали всички тези случаи на употреба ще бъдат разработени от големите компании в света - всички Snapchat в света, Facebooks там? Как виждате това търкаляне?"

Гари Бротман: „Не мисля, че мога да посоча убийствен случай на употреба. Но възможностите позволяват по-голяма изчислителна сложност и в случай на зрение входната разделителна способност може да бъде по-висока. Не работите върху изображения с ниска разделителна способност, за да направите боке. Имаше дискусия по-рано в другото интервю, което имахме, около 4K стрийминг като пример. Няма да прогнозирам, че това е възможно, но разработчиците, с които работим, независимо дали са големи компании като Google или нашата партньори за разработка на софтуер, които всъщност изграждат алгоритмите, които управляват много от тези мобилни функции, те просто искат натиснете повече. Те искат да стигнат по-далеч. Ако има нещо, което бих видял по отношение на следващите стъпки, то вероятно ще бъде по-малко за това, което се случва над линията или на ниво приложение, и повече за това, което се случва в системата, като подобряване на начина, по който работи продуктът, управление на захранването и дори в тръбопровода на камерата, не само на върха на то. Споменахте аудио и колко ключови думи ще поддържате или дали можете да направите шумопотискане на устройството. Нещото с ключовата дума е интересно, защото не е лесно да се изгради библиотека - вие сте ограничени от паметта. Така че все още ще има баланс между това, което е локално, и това, което ще се случи в облака."

Зиад Асгар: „Мога да добавя малко. Така че поне двата домейна, в които се разраства много, днес са аудио и изображения. Виждаме, че има много случаи на употреба. Джак говори за това от гледна точка на камерата, ние разполагаме с AI двигател, където можете да използвате много от това за случаи на използване на изображения. Някои от тези, които бяха показани днес. И тогава, ако погледнете аудиото, ние не говорихме толкова много за него, но всъщност добавихме и някои аудио възможности към аудио блока. В състояние сме да направим по-добро гласово активиране в по-шумни среди. В състояние сме да направим по-добро шумопотискане [в изображенията]. Всички тези способности по същество вече се случват. Има партньорите, които Гари показа днес за ISP, има много повече такива, които идват. Така че мисля, че това са двете измерения, върху които сме по-фокусирани днес."

Гари Бротман: „И следващата стъпка – няма да прогнозирам кога ще се случи това – е, че сега има достатъчно изчисления, където обучението на устройството и експериментирането около действителното обучение на устройството вероятно ще се случи в това следващо цикъл."

Марио Сераферо: „Това вероятно е тема, която е по-забавна за обсъждане, и това е фактът, че Qualcomm се придържа към псевдонима Hexagon DSP и HVX, докато други компании избират „невронни“ така и така. Как Qualcomm вижда това несъответствие и тези различни стратегии и подходи с главно маркетинг, но можем да разгледаме малко по-късно за разнородните изчисления срещу специфични блокови битове като добре."

Гари Бротман: „Тъй като Hexagon вече има капитал, изграден в DSP, този човек веднага ще гравитира към мисълта, че просто разширяваме нашата DSP стратегия. Всъщност за марката, ако погледнете и трите процесора, скаларния, векторния и сега вашия специален тензорен ускорител, те не всички са DSP. Hexagon наистина е марка от по-високо ниво, отколкото просто DSP. Има шепа DSP. Мисля, че въпросите за маркетинг вероятно са малко по-трудни за отговор, защото всеки регион е различен. Китай е много ориентиран към NPU, защото това е псевдоним, който беше въведен миналата година и изглежда, че е пуснал корени. Не бих казал, че това работи другаде по света. Google има тензорен процесор и тензорът изглежда резонира."

Марио Сераферо: „Много хора имат свои различни имена.“

Гари Бротман: „В крайна сметка всичко се свежда до това, което OEM иска да направи. Ако това има значение за техните клиенти, тогава те трябва да разберат как могат да използват тази способност за обработка и да я разграничат по отношение на възможностите. Нашият двигател и мисля, че голяма част от способността за обработка, която имаме, все още ще бъде много векторно и тензорно ориентирана по отношение на цялостния микс. Самата специална обработка, начинът, по който прави умножение на матрици, това е същият вид специален процесор, който NPU би [използвал]. Маркетинговият въпрос е интересен и забравих какъв беше отговорът на Кийт?"

Зиад Асгар: „Отговорът му беше „можете да го наречете както искате, за да можете да продавате повече продукти.“

Гари Бротман: „Това беше почти всичко; така беше, това беше много пряк отговор."

Зиад Асгар: „Мисля, че Гари го покри наистина добре. Някои от хората използват този псевдоним като термин по начин, който почти заявява или загатва, че го ограничава само до този блок. Но това, което виждаме е, че целият този хетерогенен подход за възможността да се използва CPU, или GPU, или Hexagon tensor вектор, ви дава различни компромиси в цял спектър от прецизност на мощността и производителността и това е, от което се нуждаете днес. Защото не знаем кое приложение изисква каква степен на прецизност, кое изисква устойчива производителност или кое не го изисква. Така че ние вярваме, че това е пълно, цялостно решение, защото така получавате най-доброто изживяване"

Гари Бротман: „И това никога не се е променило в нито един от нашите разговори, дори със специален ускорител. Това е допълнение, не е заместител."

Марио Сераферо: „Да, мисля, че Кийт миналата година каза, че „където има изчисления, ще има ИИ“. И сега има повече изчисления."

Гари Бротман: „Повече изчисления във всеки блок, това е точно така.“

Марио Сераферо: "Нслед като сме на темата, чухме много сравнения с „мистериозен“ 7nm конкурент на Android. Да, все още нямаме представа кой е това." (говорим на шега)

Гари Бротман: "Никаква идея." (казано на шега)

Марио Сераферо: „Но можете ли да ни насочите към тези сравнения? Как са били измерени? Какви предупреждения си струва да вземете предвид? Някакви други коментари, които може би не сте имали време да разширите в слайдовете или във въпросите и отговорите? Знам, че е трудно да се измери [и да се съобщи] поради разнообразието от модели, така че мисля, че е интересна тема за разширяване, за да уведомите хората защо не е толкова лесно да ги направите сравнения."

Гари Бротман: „Всъщност е доста просто. Ще ви дам много прост отговор на един конкретен показател; ще направим повече сравнителни анализи през януари. Ще говорим повече за различните мрежи, които се използват за измерване на числата, на които се базираме, и това би било стандартно Inception v3. Това е мястото, където извличаме това представяне и нашето разбиране за това къде се класира конкуренцията. Но по отношение на този, който обяви и е пуснат с продукти на пазара, това е мястото, където идват 2x и 3x от—ами 3x беше срещу това, което имахме в 845, докато 2x е тяхната мярка за производителност и относително състояние на производителност на нашите."

Зиад Асгар: „Имате налични устройства, можете всъщност да ги придобиете и сами да направите някои от тези тестове. Но мисля, че единственото нещо, от което бих се предпазил, е нещо като Див Запад на бенчмаркинг AI. Някои хора използват някои много обобщени термини или смеси от мрежи, които могат да им бъдат от полза по определен начин или не. „Това ще се съобрази ли добре с модалното натоварване?“ не е нещо, което хората държат под внимание. Някои от бенчмарковете, които се носят наоколо, правят много повече от това и ние сме много близо, така че знам, че има хора, които карат тези бенчмаркове да се променят по един или друг начин в зависимост от ползата тях. Ето защо става дума много повече за действителните случаи на употреба. Освен това става въпрос за най-добрата в класа си производителност за този случай на използване, а след това става въпрос за това да го направите най-бързо. Мисля, че това са всички фактори, които разглеждаме. Но мисля, че ще стане по-добре, ще се сближи. В момента има разнообразие от различни опции. Мисля, че ще имате определени критерии за престой, които имат повече смисъл. Днес може би бихте могли да спорите, че Inception v3 е относително по-добър в този момент."

Гари Бротман: „По отношение на мрежите, има няколко. Има ResNet, VGG, мрежи за сегментиране, мрежи със супер разделителна способност – сурова производителност, с която можете да ги измерите. Въпросът, който трябва да се отнеме по отношение на бенчмаркове като компании или организации, които извършват бенчмаркинг на AI, и те имат смеси от точности, мрежи и формули, които са променливи, те са толкова променливи, че резултатите се променят седмица за седмица. Това е мястото, където наистина е Дивият запад и ние се държим на една ръка разстояние. Ние не залагаме никъде, защото има толкова много променливост, когато става въпрос за действителното представяне на някои от тези мрежи които се използват в случаи на употреба, ние се чувстваме уверени, че все още определено се класираме там по отношение на производителността спрямо състезание. Трябва да кажа не класиране, а удвояването, за което говорихме, сурово представяне."

Марио Сераферо: „Една от темите, които ни интересуват като сайт предимно за разработчици, е демократизацията на машинното обучение. Очевидно имаме библиотеки с отворен код, които са страхотни, всеки предлага и тези невероятни SDK и има много образование. И сега Android NN е наличен и Google току-що пусна ML комплект което опростява процеса. Просто се обаждате на API, подавате му вашите данни, те използват обучен модел, не е нужно да се притеснявате за това, не е нужно да мислите за това, не е нужно да знаете каквито и да било статистически данни или някакво векторно смятане. Как виждате, че пейзажът се е развил в това отношение, като го прави по-достъпен, опростявайки API, опростяване на документацията, SDK и насърчаване на включването на разработчици на трети страни, не само на големи компании?"

Гари Бротман: „Смешно е, когато всъщност се фокусираме върху големи компании, това помага и на по-малките разработчици. Започнахме с повече патентован стек, когато стана дума за програмиране за Snapdragon, по-специално за работа с AI. Но с течение на времето и през последните няколко поколения добавихме още инструменти. Опитваме се да постигнем баланс между абстракция от високо ниво и лекота на използване и достъп от по-ниско ниво, който изисква някой да сме много по-разбираеми, особено когато става въпрос за работа с някои от нашите собствени ядра като векторния процесор или NPU. Виждаме как се развива от гледна точка на демократизацията. Имаме основните градивни елементи като математически библиотеки Hexagon и Qualcomm, но може би малко по-високо ниво на API, което абстрахира поне част от тази тежка работа, но дава достатъчно гъвкавост на програмиста, за да може да използва свои персонализирани оператори или да може да променя малко по отношение на производителността при по-ниски ниво. Така че портфолиото ще продължи да включва повече инструменти и със сигурност неща като NN API, където Onyx е пример за това, че можете да основно кажете „ето какво програмирате, в какво изразявате вашата мрежа“. Докато хардуерът го поддържа, вие сте добре.

Както споменах в нашата презентация, ние сме отговорни за пейзаж с няколко операционни системи. Има Windows, има Linux, има Android, така че не става въпрос само за Android. Когато погледнем това, ако ще конструираме някакъв вид API, който ще бъде SoC, cross-SoC или крос-платформа от гледна точка на ОС, трябва да погледнем и видим как да намерим общото в това, което изграждаме под качулка. Стекът с библиотеки и поддръжка на оператори и възможност за включване в NN API или Windows ML, като пример. Но със сигурност се отказахме от махалото, което е тук, където никой наистина не знае какво да прави, като буквално, не знаещ. „Не знам каква рамка да използвам. Да използвам TensorFlow или трябва да използвам Caffe или Torch?“ И не знам какво да направя, за да оптимизирам на по-ниско ниво. Така че всички са доволни от извикване на API. Сега, в рамките само на няколко години, е лесно да отидете по-дълбоко. Така че инструментите са налице, независимо дали са обикновени инструменти с отворен код или дори в портфолио, каквото предлагаме ние или конкурентите, тези инструменти стават все по-лесно достъпни и по-лесни за използване."

Марио Сераферо: „Говорейки за общности на разработчици. Последният път, когато споменахме една от най-зрелите общности, които имаме, е общността на игрите и Qualcomm е доста добре вградена в това. Сега виждаме това повече от всякога с партньорствата с двигателите на игрите, които се популяризират и предлагат на пазара. Така че ние говорихме за това в контекста на AI и как той се появява там."

Мишал Рахман: „Говорехте как искате да инвестирате повече през следващите 12 месеца. Това беше през последния път, когато бяхме тук."

Марио Сераферо: „По-специално в общността на разработчиците на игри, един вид разширяване на това и това, което виждаме днес.“

Гари Бротман: „Не си спомням конкретния коментар относно инвестирането в общността на игрите, но ако погледнете категория, която видяхме да води необходимостта от специално ускорение и игрите са компонент на това, но това не е непременно основният случай на употреба - VR като пример. В едно богато, завладяващо VR изживяване, всяко ядро ​​е основно използвано. Вие извършвате графична обработка на графичния процесор, визуална обработка на векторния процесор и необходимостта от това вземете една или много мрежи и ги стартирайте отделно на специален ускорител, без да се притеснявате за паралелност въздействие. Това е една от причините, които ни тласнаха по пътя на специализираното ускорение. Нямам много информация по отношение на това как AI се използва в игрите днес. Има много работа с агенти - разработване на агенти, които да се борят срещу вас или да ви научат."

Марио Сераферо: „Като традиционния AI в игрите.“

Гари Бротман: "Абсолютно вярно. Но да бъдем по-базирани на невронни мрежи."

Марио Сераферо: — Да, не Минимакс.

Гари Бротман: "Част от отговорността на Зиад също е управлението на XR стратегия."

Зиад Асгар: „По отношение на XR, ако го погледнете днес, пуснахме нови устройства, които са всичко-в-едно HMD с пълна възможност за 6DOF. Устройства като Oculus Quest, които всъщност стартираха със Snapdragon 835, така че започваме да стигаме до много добра точка по отношение на действителното използване на пълните възможности на XR устройствата. В миналото някои от устройствата всъщност не даваха това първично изживяване, защото някои хора не са получили най-доброто изживяване от него. Мисля, че XR сега се справя страхотно. Това, което също гледаме в бъдеще, тъй като се комбинира с 5G, е, че ви позволява вече да можете да вземете вашето устройство, което всъщност е много по-мобилно, което означава, че можете да си представите, че всъщност ходите на a улица. И тогава наличието на връзка като 5G означава, че като демонстрация, която Гари показа на Google Lens. Сега си представете, че ако носите някакви очила Google или нещо подобно и можете действително да внесете информация за това, което гледате през очите си, сега имате случай на употреба, който наистина може да бъде много завладяващ. Мисля, че това е мястото, където дългосрочната инвестиция, за която говорите, е някак посоката, в която върви.

Но в момента смятаме, че сме в много добро състояние по отношение на XR и всички различни компании, които стартираха с XR. Oculus Go също е базиран на Snapdragon 820, така че мисля, че започваме да стигаме до много добра точка, когато хората го взимат и правят много неща с него. И следващият етап, както споменах, е да започнем да въвеждаме 5G свързаност, което ще направим и след това това, разбира се, AR и някои неща, които дори ще изискват много повече по отношение на производителността, но все пак ограничени мощност. И това ще бъде изключително предизвикателство и мисля, че с това, за което говорихме днес, Qualcomm вероятно е най-добрият по отношение на изпълнението на който и да е от тези случаи на употреба по отношение на мощността. Ако погледнете графиките, ако сравните някой от конкурентите, ще видите, че нашата производителност на единица мощност е най-добрата в класа. И като следствие от това, термичните характеристики, устойчивото представяне е това, което има значение в XR, и в това отношение ние наистина сме напред – това е причината хората да ни използват за XR.“

Марио Сераферо: „От миналата година видяхме Hexagon 685 DSP най-накрая да достигне първокласния среден клас с 710 и правилния среден клас с 670 и 675. Така че сега получаваме Hexagon Vector Extensions, които си проправят път надолу по веригата, докато други конкуренти не правят това съвсем с техните модули за невронна обработка. Как виждате разширяването на обхвата на тези преживявания и исках да попитам дали в миналото сте виждали несъответствията в производителността на AI изобщо да променят? Защото все още сме в началото на приемането на AI."

Зиад Асгар: „Разглеждам общата пътна карта. Ако търсите първокласното най-добро в класа си представяне, то ще бъде в първокласното ниво. Това, което правим, е, че селективно вземаме някои от възможностите на Hexagon и ги намаляваме. Първият AI двигател или първият Hexagon стартира със Snapdragon 820. Така че го свалихме до Snapdragon 660 и до 670, а 710 също го има. И така, нашият план е да видим как се разбива в бъдещите преживявания.

Като AI двигател имаме основни стари компоненти: процесор, графични процесори, шестоъгълен тензор, шестоъгълен вектор и скаларен. Това, което правим, е, че селективно пренасяме части от това по-надолу в пътната карта, тъй като виждаме, че тези способности се спускат и отиват в слушалки от по-ниско ниво. Всъщност ще видите, докато напредваме през годината. ще видиш, че ще направим повече от това. Пуснахме Snapdragon 675 на 4G/5G Summit. Говорихме за това, че идва с 675, и това, което ще видите е, че тези случаи на употреба стават все повече преобладаващи, както показахме с ArcSoft и всички онези други момчета днес, ние всъщност ще донесем тези възможности нисък. В по-ниското ниво ще можете да изпълнявате този случай на употреба, но за да можете да получите правилния профил на мощност като мен за което говорихме по-рано, ако искате да имате това устойчиво представяне, искате този конкретен блок да идва нисък. Така че отново, най-доброто в класа представяне ще бъде нагоре, но когато слезете надолу, ще има голямо влошаване или градация на..."

Марио Сераферо: „Градиентно спускане, може да се каже.“ (изказано на шега)

Зиад Асгар: "Да точно. Донякъде постъпваме по този начин с други технологии, които също са в пътната карта и AI няма да се различава много в този смисъл. Вероятно е една разлика, може би откъде идвате, тъй като вероятно слиза по-бързо чрез други технологии, които включихме в пътната карта, така че бих се съгласил с това наблюдение с."

---

Ако се интересувате да научите повече за AI в мобилните платформи на Qualcomm, препоръчваме да прочетете нашето интервю от миналата година с Гари Бротман. Можете да започнете с част 1 на нашето интервю или отидете на част 2.

Всички графики, показани в това интервю, са извлечени от презентацията на Гари Бротман по време на Snapdragon Tech Summit. Можете да видите слайдовете тук.