Гари Бротман из компаније Куалцомм и Зиад Асгхар састали су се са КСДА ради интервјуа о стању вештачке интелигенције и шта је ново у Хекагон 690 ДСП у Снапдрагон 855.
Када је Куалцомм представио свој нови Снапдрагон 855 мобилна платформа, они су хвалили значајна побољшања у свим аспектима мобилног рачунарства. За просечног корисника, то је лако разумети предности крајњег корисника иза побољшања ЦПУ-а и ГПУ-а који је Куалцомм направио у Снапдрагон 855. Боље перформансе ЦПУ-а значи да се апликације брже учитавају, а боље перформансе ГПУ-а преводе се на боље фреквенције кадрова приликом играња игара. Оно што је мање интуитивно за кориснике да разумеју је АИ (вештачка интелигенција), а посебно, технике машинског учења које апликације и услуге све више усвајају, као што је вештачка неурална мреже. Куалцомм је остварио огромну добит у перформансама АИ радног оптерећења са Снапдрагон 855 захваљујући побољшањима у рачунарству, а посебно захваљујући обновљеном Хекагон 690 ДСП-у. Састали смо са Геријем Бротманом, шефом стратегије вештачке интелигенције и машинског учења и планирања производа у компанији Куалцомм, и Зиадом Асгаром, потпредседником Планирање Снапдрагон мапе пута и АИ, КСР, конкурентска стратегија компаније Куалцомм, да бисте сазнали више о побољшањима која је Куалцомм направио у АИ радним оптерећењима.
Марио Серраферо: "Дакле, нови ДСП. Прошле године сам вас питао о стратегији напада у односу на то како је Куалцомм гурао, промовисао, пласирао и комуницирао посебно ДСП и ХВКС. У то време, као АИ блок, још увек је био релативно нов за већину читалаца и потрошача. Зато се питамо како сте видели да се ово развијало од тада са даљом промоцијом 845."
Гари Бротман: „Прво и најважније, када смо то почели да радимо са 820, он је још увек био веома усредсређен на ЦПУ и ГПУ, и користио је ДСП и могућности векторске обраде за то су заиста настале као резултат тога где Гугл покушава да крене са ТенсорФлов-ом и 8-битним матх. Дакле, ту смо заиста протегнули ноге у ДСП-у, или рецимо векторским процесорима. С обзиром на зрелост векторског процесора који имамо у Хекагон-у и начин на који смо успели да унапредимо ту мапу пута тако брзо у наредна два генерације, и случајеви употребе које смо видели, а које су у то време основне мреже класификације биле прилично једноставне са не много хефт. Они могу добро да раде са 8-битном математиком. Наменски акцелератор, чак и прошле године, представљао је ризик за у основи додељивање подручја нечему што се можда неће навикнути. Спој за случајеве употребе, и то је било шта од ваше стандардне једне камере, супер резолуције или сегментације у реалном времену. Ове ствари се дешавају у неким случајевима, истовремено, захтев за бар неким нивоом наменског убрзања који можете да оградите и још увек читате циклусе на векторском процесору или чак на ГПУ-у. Било је право време.
То је свакако нешто што смо морали да планирамо много раније него када смо разговарали прошли пут, али мислим да су сви присутни овај посао се клади да знају тачно или приближно тачно колика ће бити та оптерећења. Која врста прецизности би требала бити неопходна и да ли сте урадили или нисте издвојили довољно прорачуна да бисте задовољили тај спој случајева употребе који долазе. Прилично смо промишљени у томе – Куалцомм је увек био усредсређен на случајеве употребе – и нисмо желели да покренемо ризик од наменског убрзања које се не би користило јер би могло бити застарело у последњем циклус. Видимо довољно у смислу опште конволуције да наменски акцелератор може да уради фантастичан посао. Опет, ослобађање циклуса на другом месту. У смислу стратегије коју имамо са овим новим акцелератором: Посвећен је, то је нова архитектура. То није хексагон дериват. Али ако размишљате о мрежи данас, постоје одређене функције нелинеарности које не раде добро на неким наменским убрзањима -"
Марио Серраферо: "Да, сигмоид, РеЛУ -"
Гари Бротман: „Тачно, Софтмак. И морате их убацити негде другде, или у ЦПУ. Али у нашем случају, начин на који смо то некако осмислили испод хаубе, ДСП је заправо контрола. Он одређује где се мрежа покреће и где се крећу слојеви и може одлучити да ли постоје одређене ствари које би требало да раде на ДСП-у као резервни у односу на рад на тензор процесору. Тако да нам је то упаривање заправо имало много смисла. Али то не умањује наша уверења и нашу стратегију коју свако примарно језгро у нашем СоЦ-у има улогу, тако да оптимизујемо у целости, али још увек постоји много варијабилности и то ће Настави."
Марио Серраферо: „Још једна тема о којој желимо да разговарамо су случајеви употребе. Као што сте рекли, Куалцомм је веома фокусиран на случајеве употребе, видели смо да је вештачка интелигенција постала мобилна у три главне области: препознавање говора, предвиђање секвенце као са стринговима и куцањем, и очигледно компјутерски вид као што су АИ филтери, [и објекат препознавање]. Компјутерски вид је експлодирао, сада га видите свуда. Видео сам са препознавањем говора, свако има свог АИ асистента, свако има свог помоћника. Сада, све то може да се уради на ивици са малим кашњењем и савршеном безбедношћу. Али шта је следеће за случајеве коришћења машинског учења, и да ли ће све те случајеве коришћења развити велике компаније у свету – сви Снапцхатови на свету, Фацебоок-ови тамо? Како видите то кретање?"
Гари Бротман: „Мислим да не могу да укажем на убиствену употребу. Али могућности омогућавају већу сложеност рачунања и у случају визије, улазна резолуција може бити већа. Не радите на сликама ниске резолуције да бисте направили боке. Раније је била дискусија у другом интервјуу који смо имали око 4К стриминга као примера. Нећу да предвиђам да је то могуће, али програмери са којима радимо, било да се ради о великим компанијама као што је Гоогле или наша партнери за развој софтвера који заправо граде алгоритме који покрећу многе од ових мобилних функција, они то само желе гурај више. Они желе да иду даље. Ако постоји нешто што бих видео у погледу наредних корака, вероватно би то било мање о томе шта се дешава изнад линије или на нивоу апликације, и више о томе шта се дешава у систему као што је побољшање начина на који производ ради, управљање напајањем, па чак и у процесу камере, а не само на врху то. Споменули сте аудио и колико кључних речи ћете подржати или да ли бисте могли да урадите поништавање буке на уређају. Кључна реч је интересантна јер није лако изградити библиотеку – ограничена вам је меморија. Дакле, и даље ће постојати равнотежа између онога што је локално и онога што ће се догодити у облаку."
Зиад Асгхар: „Могу мало да додам. Дакле, данас су барем два домена у којима се доста развија аудио и слика. Видимо да има много случајева употребе. Џек је говорио о томе из перспективе камере, имали смо АИ мотор где можете да искористите много тога за случајеве употребе слика. Неки од оних који су данас приказани. А онда, ако погледате звук, нисмо толико причали о томе, али смо заправо додали неке аудио могућности и аудио блоку. У могућности смо да урадимо бољу гласовну активацију у бучним окружењима. У могућности смо да урадимо боље поништавање буке [у снимању]. Све те способности се у основи већ дешавају. Постоје партнери које је Гери показао данас за ИСП-а, има много више оних који долазе. Тако да мислим да су то две димензије на које смо данас више фокусирани."
Гари Бротман: „А онда следећи корак – нећу да предвиђам када ће се ово десити – да ли сада има довољно израчунавања где учење на уређају и експериментисање око стварног учења на уређају ће се вероватно десити у следећем циклус."
Марио Серраферо: „Ово је вероватно тема о којој је забавније разговарати, а то је чињеница да се Куалцомм држи Хекагон ДСП назива и ХВКС-а док се друге компаније одлучују за „неуралне“ тако и тако. Како Куалцомм види ову неслагање и ове различите стратегије и приступе углавном са маркетинг, али можемо мало касније да пређемо на хетерогено израчунавање у односу на специфичне блок битове као добро."
Гари Бротман: „Пошто Хекагон већ има изграђен капитал у ДСП-у, неко би одмах тежио ка томе да помисли да само проширујемо нашу ДСП стратегију. Заправо на бренду, ако погледате сва три процесора, ваш скалар, ваш вектор, а сада и ваш наменски тензорски акцелератор, нису сви ДСП. Хекагон је заиста бренд вишег нивоа него само ДСП. Постоји неколико ДСП-ова. Мислим да је на маркетиншка питања вероватно мало теже одговорити јер је сваки регион другачији. Кина је веома усредсређена на НПУ јер је то надимак који је уведен прошле године, а чини се да је заживео. Не бих рекао да је то функционисало негде другде широм света. Гугл има тензорски процесор и чини се да тензор резонује."
Марио Серраферо: "Многи људи имају своја различита имена."
Гари Бротман: „На крају, све се своди на оно што ОЕМ жели да уради. Ако је то важно њиховим клијентима, онда је на њима да схвате како могу да искористе ту способност обраде и да је разликују у смислу могућности. Наш мотор, и мислим да би велики део могућности обраде које имамо, и даље би био веома векторски и тензорско-центричан у смислу целокупног микса. Сама наменска обрада, начин на који ради множење матрице, то је иста врста наменског процесора који би [користио] НПУ. Маркетиншко питање је занимљиво, а заборавио сам, шта је био Китов одговор?"
Зиад Асгхар: „Његов одговор је био, 'можете то назвати како год желите, да бисте могли да продате више производа.'
Гари Бротман: „То је било прилично то; то је било тачно, био је то врло груб одговор."
Зиад Асгхар: „Мислим да је Гери то стварно добро покрио. Неки од људи који користе тај надимак као термин на начин који скоро наводи или имплицира да га ограничава само на тај блок. Али оно што видимо је да цео овај хетерогени приступ могућности да се користи ЦПУ, или ГПУ, или хексагон тензор вектор, даје вам различите компромисе у читавом спектру прецизности снаге и перформанси, а то је оно што вам треба данас. Зато што не знамо која апликација захтева који степен прецизности, шта захтева трајне перформансе или шта не захтева. Зато верујемо да је то потпуно, свеукупно решење јер тако добијате најбоље искуство"
Гари Бротман: „И то се никада није променило ни у једном од наших разговора, чак ни са наменским акцелератором. То је додатак, није замена."
Марио Серраферо: „Да, мислим да је Кит прошле године рекао, 'где има рачунара, биће АИ.' А сада има више рачунања."
Гари Бротман: "Више рачунара у сваком блоку, то је тачно."
Марио Серраферо: „НПошто смо већ на овој теми, чули смо многа поређења са „мистериозним“ 7нм конкурентом на Андроиду. Да, још увек немамо појма ко је то." (изговорено у шали)
Гари Бротман: "Немам појма." (изговорено у шали)
Марио Серраферо: „Али, да ли бисте могли да нам кажете ова поређења? Како су мерене? Која упозорења вреди размотрити? Неки други коментари које можда нисте имали времена да проширите у слајдовима или у питањима и одговорима? Знам да је тешко измерити [и комуницирати] због разних модела, па мислим да је занимљива тема коју треба проширити како би људи знали зашто их није тако лако направити поређења“.
Гари Бротман: „Заправо је прилично једноставно. Даћу вам врло једноставан одговор на једну специфичну метрику; у јануару ћемо радити више бенчмаркинга. Причаћемо више о различитим мрежама које се користе за мерење бројева на којима се заснивамо, а то би био стандардни Инцептион в3. Одатле добијамо тај учинак и наше разумевање о томе где је конкуренција рангирана. Али у смислу оног који је најавио и који је изашао са производима на тржишту, ту долазе 2к и 3к од—па, 3к је било против онога што смо имали у 845, док је 2к њихова мера учинка и релативно стање перформанси нашима“.
Зиад Асгхар: „Имате доступне уређаје, можете их набавити и сами обавити неке од тих тестирања. Али мислим да је једина ствар од чега бих се чувао, то је нека врста Дивљег запада упоредне вештачке интелигенције. Неки људи користе неке веома уопштене термине или мешавине мрежа које би им могле користити на одређени начин или не. „Да ли ће се то добро ускладити са модалним оптерећењем?“ није нешто што људи узимају у обзир. Неки од стандарда који лебде раде много више од тога, а ми смо веома близу тако да смо знам да постоје људи због којих се та мерила померају на овај или онај начин у зависности од тога шта фаворизује њих. Зато је много више о стварним случајевима употребе. Такође је много више о најбољим перформансама у класи за тај случај употребе, а затим о томе да се то најбрже уради. Мислим да су то сви фактори на које гледамо. Али мислим да ће постати боље, да ће се приближити. Тренутно постоји низ различитих опција. Мислим да ћете имати одређена мерила која ће имати више смисла. Данас, можда бисте могли да тврдите да је Инцептион в3 релативно бољи у овом тренутку."
Гари Бротман: „Што се тиче мрежа, има их неколико. Ту су РесНет, ВГГ, мреже за сегментацију, мреже супер резолуције — сирове перформансе са којима можете да их мерите. Поента коју треба узети у обзир у погледу мерила као што су компаније или ентитети који раде бенцхмаркинг АИ, а они имају мешавине прецизности, мрежа и формула које су променљиве, толико су променљиве да се резултати мењају из недеље у недељу. Ту је заиста Дивљи запад, а ми се држимо једне руке. Не стављамо своје опкладе нигде, јер постоји толико варијабилности када је у питању стварни учинак неких од ових мрежа који се користе у случајевима употребе, уверени смо да смо још увек тамо на врху у погледу перформанси у односу на конкуренција. Требало би да кажем не рангирање, већ удвостручење о коме смо причали, сирови учинак."
Марио Серраферо: „Једна од тема за које смо заинтересовани као сајт пре свега за програмере је демократизација машинског учења. Очигледно, имамо библиотеке отвореног кода које су одличне, сви нуде и ове невероватне СДК-ове, а има и доста образовања. А сада је Андроид НН доступан и Гоогле је управо изашао МЛ Кит што поједностављује процес. Само позовите АПИ, унесите га својим уносом, они користе обучени модел, не морате да бринете о томе, не морате да размишљате о томе, не морате да знате статистику или векторски рачун. Како видите да је предео еволуирао у том погледу тако да буде приступачнији, поједностављујући АПИ, поједностављивање документације, пакета за развој софтвера и промовисање укључивања програмера трећих страна, не само великих компаније?"
Гари Бротман: „Смешно је када се заправо фокусирамо на велике компаније, помажемо и мањим програмерима. Почели смо са више власничког стека када је у питању програмирање за Снапдрагон, посебно за покретање АИ. Али током времена, иу последњих неколико генерација, додали смо више алата. Покушавамо да успоставимо равнотежу између апстракције на високом нивоу и лакоће коришћења и приступа нижег нивоа, за који је неко потребан да будемо много паметнији, посебно када је у питању рад са неким од наших власничких језгара као што су векторски процесор или НПУ. Видимо да се развија са становишта демократизације. Имамо основне грађевне блокове као што су Хекагон и Куалцомм математичке библиотеке, али можда АПИ мало вишег нивоа који апстрахује барем део тог тешког дизања, али даје довољно флексибилности програмеру да може да користи сопствене прилагођене оператере или да може мало да подеси у погледу перформанси на нижим ниво. Тако да ће портфолио наставити да укључује више алата, а свакако ствари као што је НН АПИ где је Оник пример за могућност у основи реците „ево шта програмирате, у чему изражавате своју мрежу.“ Све док то хардвер подржава, ви сте Добро.
Као што сам поменуо у нашој презентацији, ми смо одговорни за више оперативних система. Постоји Виндовс, постоји Линук, постоји Андроид, тако да се не ради само о Андроиду. Када погледамо ово, ако ћемо да направимо неку врсту АПИ-ја који ће бити СоЦ, цросс-СоЦ, или са више платформи са становишта ОС-а, морамо да погледамо и видимо како да пронађемо заједничко у ономе што градимо под хоод. Стек са библиотекама и подршком за оператере и могућност укључивања у НН АПИ или Виндовс МЛ, као пример. Али свакако, отишли смо од клатна овде где нико заиста не зна шта да ради, нпр. буквално, не знајући. „Не знам који оквир да користим. Да ли да користим ТенсорФлов или да користим Цаффе или Торцх?“ И не знајући шта да урадите да бисте оптимизовали на нижем нивоу. Дакле, сви су задовољни позивом АПИ-ја. Сада, у року од само неколико година, лако је ићи дубље. Дакле, алати су ту, било да су уобичајени алати отвореног кода, или чак у портфељу какав ми нудимо или конкуренти, ти алати постају све лакше доступни и лакши за употребу."
Куалцомм-ов АИ Енгине и подржани АИ оквири, оперативни системи, екосистеми, функције и уређаји. Извор: Куалцомм.
Марио Серраферо: „Кад већ говоримо о заједницама програмера. Последњи пут када смо споменули једну од најзрелијих заједница које имамо је заједница игара, а Куалцомм је прилично добро уклопљен у то. Сада то видимо више него икада са партнерствима са моторима за игре који се промовишу и пласирају на тржиште. Дакле, разговарали смо о томе у контексту вештачке интелигенције и како се она тамо појављује."
Мисхаал Рахман: „Говорили сте о томе како желите да уложите више у наредних 12 месеци. Ово се десило када смо последњи пут били овде."
Марио Серраферо: „Конкретно у заједници програмера игара, на неки начин се шири на то и оно што видимо данас.“
Гари Бротман: „Не сећам се конкретног коментара о улагању у гејминг заједницу, али ако погледате категорију коју смо видели како вози потреба за наменским убрзањем, а играње је компонента овога, али то није нужно примарни случај употребе – ВР као пример. У богатом, импресивном ВР искуству, свако језгро се у основи користи. Радите графичку обраду на ГПУ-у, визуелну обраду на векторском процесору и потребу узмите једну или више мрежа и покрените их одвојено на наменском акцелератору без бриге о истовремености утицај. То је један од разлога који нас је навео на стазу наменског убрзања. Немам пуно информација о томе како се АИ данас користи у играма. Има пуно посла са агентима — развој агената који ће се борити против њих или вас научити."
Марио Серраферо: „Као традиционални АИ у играма.
Гари Бротман: "Потпуно тачно. Али више заснован на неуронским мрежама."
Марио Серраферо: "Да, не Минимакс."
Гари Бротман: "Део Зиадове одговорности је и управљање КСР стратегијом."
Зиад Асгхар: „Што се тиче КСР-а, ако погледате данас, лансирали смо нове уређаје који су све-у-једном ХМД-ови са пуним омогућеним 6ДОФ. Уређаји као што је Оцулус Куест који су заправо лансирани са Снапдрагон 835, тако да почињемо да долазимо до веома добре тачке у смислу стварног искориштавања пуне способности КСР уређаја. У прошлости, неки уређаји нису заиста пружали то нетакнуто искуство јер неки људи нису извукли најбоље искуство из тога. Мислим да КСР сада ради одлично. Оно на шта такође гледамо у будућности док се комбинује са 5Г, је да вам омогућава да сада можете да користите ваш уређај који је заправо много мобилнији што значи да можете замислити да заправо ходате по а улица. А онда имати везу као што је 5Г значи да као демо који је Гери показао за Гоогле Ленс. Сада замислите да ако носите неку врсту Гоогле наочара или нешто слично и да сте у могућности да унесете информације све према ономе што гледате својим очима, сада имате случај употребе који би заиста могао бити веома неодољив. Мислим да је ту дугорочна инвестиција о којој говорите, у том правцу иде.
Али тренутно, осећамо да смо у веома добром стању у погледу КСР-а и свих различитих компанија које су лансирале КСР. Оцулус Го је такође заснован на Снапдрагону 820, тако да мислим да почињемо да долазимо до веома добре тачке када га људи узимају и раде много ствари са њим. И следећа фаза као што сам споменуо је да почнемо да уводимо 5Г конекцију што ћемо урадити, а затим и даље то наравно АР и неке ствари које ће чак захтевати много више у погледу перформанси, али ограничене на снага. А то ће бити изузетно изазовно, и мислим да је, уз оно о чему смо данас разговарали, Куалцомм вероватно најбољи у погледу било којег од ових случајева употребе у смислу снаге. Ако погледате графику, ако упоредите било ког од конкурената, видећете да је наш учинак по јединици снаге најбољи у класи. И као последица тога, термика, трајне перформансе су оно што је важно у КСР-у, и у том погледу смо заиста испред - то је разлог зашто нас људи користе за КСР."
Оцулус Го покреће мобилна платформа Куалцомм Снапдрагон 821.
Марио Серраферо: „Од прошле године, видели смо да је Хекагон 685 ДСП коначно достигао премиум средњи опсег са 710 и одговарајући средњи опсег са 670 и 675. Дакле, сада добијамо Хекагон Вецтор Ектенсионс који се пробијају низводно, док други конкуренти то не раде баш са својим јединицама за неуронску обраду. Како видите да се прошири домет ових искустава, и желео сам да питам да ли сте у прошлости видели да разлике у перформансама у АИ уопште чине разлику? Зато што смо још увек у раном усвајању АИ."
Зиад Асгхар: „Гледам укупну мапу пута. Ако тражите нетакнуте најбоље перформансе у класи, то ће бити у премиум нивоу. Оно што радимо је да селективно узимамо неке од могућности Хексагона и спуштамо их ниже. Први АИ мотор, или први Хексагон, покренут је са Снапдрагоном 820. Тако смо га свели на Снапдрагон 660 и на 670, а 710 га такође има. Дакле, наш план је да видимо како се то пробија у будућа искуства.
Као АИ мотор, имамо основне старе компоненте: ЦПУ, ГПУ, Хексагон тензор, Хексагон вектор и скалар. Оно што радимо је да селективно уносимо делове тога даље у мапу пута јер видимо да се те способности спуштају и улазе у слушалице нижег нивоа. Видећете заправо, како идемо даље у години. видећете да ћемо учинити више од тога. Лансирали смо Снапдрагон 675 на 4Г/5Г самиту. Разговарали смо о томе да долази са 675, а оно што ћете видети је да ови случајеви употребе постају све више преовлађујући, као што смо показали са АрцСофтом и свим оним другим момцима данас, ми ћемо заправо донети ове могућности ниже. У доњем нивоу ћете моћи да покренете тај случај употребе, али да бисте могли да добијете прави профил снаге као ја о чему смо раније говорили, ако желите да имате ту трајну перформансу, желите да дође до тог одређеног блока ниже. Дакле, опет, најбоље перформансе у класи ће бити на врху, али како се спуштате ниже доћи ће до велике деградације или градације…“
Марио Серраферо: "Могло би се рећи." (говори се у шали)
Зиад Асгхар: "Да тачно. То је начин на који радимо са другим технологијама такође на мапи пута и АИ се неће много разликовати у том смислу. Вероватно је једна разлика, можда одакле долазите, јер се вероватно брже спушта кроз друге технологије које смо унели у мапу пута, тако да бих се сложио са тим запажањем са."
Ако сте заинтересовани да сазнате више о вештачкој интелигенцији на мобилним платформама компаније Куалцомм, препоручујемо вам да прочитате наш прошлогодишњи интервју са Геријем Бротманом. Можете почети са Део 1 нашег интервјуа или идите на део 2.
Све графике приказане у овом интервјуу потичу из презентације Герија Бротмана током Снапдрагон Тецх самита. Можете погледати слајдове овде.