Qualcommov Hexagon 685 DSP je snaga strojnog učenja

Snapdragon 845 - najnoviji sustav na čipu u Qualcommovoj obitelji Snapdragon - moćan je procesor. Može se pohvaliti brzim CPU jezgrama, trećom generacijom Spectra procesora signala slike (ISP) i arhitekturom koja je 30 posto energetski učinkovitija od prethodne generacije. No njegova vjerojatno najimpresivnija komponenta je koprocesor -- Hexagon 685 DSP -- koji je posebno napravljen za umjetnu inteligenciju i strojno učenje.

Što čini Qualcommov Hexagon 685 DSP uspješnim?

"Vektorska matematika je temelj dubokog učenja." - Travis Lanier, viši direktor upravljanja proizvodima u Qualcommu

Da bismo razumjeli što Hexagon DSP čini tako jedinstvenim, pomaže znati da AI pokreće vrsta inženjerskih fakulteta s matematičkim fakultetima koji su blisko upoznati. Strojno učenje uključuje računanje s velikim vektorima, što predstavlja izazov za procesore pametnih telefona, tableta i osobnih računala. Čipovima opće namjene teško je brzo i učinkovito izračunati algoritme poput stohastičkog gradijentnog spuštanja -- vrste algoritama koji su u srži aplikacija koje pokreće AI. Qualcommov Hexagon DSP djelomično je uveden kako bi to riješio: izvrstan je u rukovanju slikovnim i senzorskim podacima, posebice fotografijom.

Ali Hexagon DSP sposoban je za puno više od uljepšavanja selfija. Uključeni HVX konteksti (više o njima kasnije) daju mu prednost i procesora opće namjene i jezgri s fiksnom funkcijom; Hexagon 685 DSP je nevjerojatno učinkovit u izračunavanju matematike koja stoji iza strojnog učenja na uređaju, ali zadržava fleksibilnost programirljivijih procesora.

AI čipovi poput Hexagon 685 DSP, koji se ponekad nazivaju "jedinice za neuronsku obradu", "neuralni motori" ili "jezgre za strojno učenje" posebno su skrojeni za matematičke algoritme umjetne inteligencije potrebe. Mnogo su čvršći u dizajnu od tradicionalnih CPU-a i sadrže posebne upute i aranžmane (u slučaju Hexagon 685 DSP-a, gore spomenuta HVX arhitektura) koji ubrzavaju određene skalarne i vektorske operacije, koje postaju uočljive u velikim razmjerima provedbe.

Hexagon 685 DSP procesora Snapdragon 845 može obraditi tisuće bitova vektorskih jedinica po ciklusu obrade, u usporedbi sa stotinama bitova po ciklusu prosječne CPU jezgre. To je prema dizajnu. S četiri paralelne skalarne niti za operacije s vrlo dugom instrukcijskom riječi (VLIW) i više HVX konteksta, DSP je sposoban žonglirati s više izvršnih jedinica na jednoj instrukciji i proći cijeli broj i decimalu s fiksnom točkom operacije.

Umjesto da gura performanse kroz sirove MHz, dizajn Hexagona 685 cilja na visoke razine rada po ciklusu pri smanjenoj brzini takta. Uključuje hardversko višenitnost koja dobro funkcionira za VLIW, budući da višenitnost skriva latencije cjevovoda i omogućuje bolje korištenje VLIW paketa. Višenitnost DSP-a znači da može servisirati višestruke sesije rasterećenja -- tj., istodobne aplikacije za audio, kameru, računalni vid, i tako dalje -- i istovremeno ubrzavaju razne zadatke, sprječavajući aplikacije da se moraju boriti za njih vrijeme izvršavanja.

Ali to nisu jedine prednosti Hexagon DSP-a. Njegova arhitektura skupa instrukcija (ISA) ima poboljšanu učinkovitost u odnosu na tradicionalni VLIW zahvaljujući poboljšan kontrolni kod i koristi pametne trikove za oporavak performansi nakon mirovanja i zastoja niti. Također implementira kružno raspoređivanje niti s nultom latencijom, što znači da DSP niti obrađuju nove upute odmah nakon završetka prethodnog paketa podataka.

Ništa od ovoga nije novo, da bude jasno. Qualcomm je predstavio 'prvu generaciju' (ili pravi) Hexagon DSP -- Hexagon 680 ili QDSP6 v6 -- uz Snapdragon 820 2015., a nakon Hexagona 680 uslijedio je uvijek tako malo poboljšani Heksagon 682. Ali najnovija generacija najsofisticiranija je dosad i pruža do tri puta veću ukupnu izvedbu od DSP-a Snapdragon 835.

To je velikim dijelom zahvaljujući HVX-u, koji je vrlo dobro radio za obradu slike (mislite na proširenu stvarnost, računalni vid, video i slike). HVX registri DSP-a mogu se kontrolirati s bilo koja dva skalarna registra, a HVX jedinice i skalarne jedinice mogu se koristiti istovremeno, što rezultira značajnim poboljšanjima performansi i konkurentnosti.

Evo Qualcommovo objašnjenje:

“Recimo da obrađujete na mobilnom CPU-u u načinu kontrolnog koda i prebacite se na računalni način rada na koprocesoru. Ako trebate bilo kakav kontrolni kod, morate stati i vratiti se s koprocesora na glavni CPU. Uz Hexagon, i procesor kontrolnog koda na DSP-u i procesor računalnog koda na HVX-u mogu raditi u isto vrijeme za čvrsto spajanje kontrolnog i računalnog koda. To omogućuje DSP-u da uzme rezultat HVX izračuna i upotrijebi ga u odluci o kontrolnom kodu u sljedećem taktu.”

HVX nudi još jednu veliku prednost u obradi senzora slike. Snapdragon uređaji s Hexagon 685 DSP-om mogu izravno prenositi podatke sa slikovnog senzora u lokalnu memoriju DSP-a (L2 Cache), zaobilazeći DDR memorijski kontroler uređaja. To naravno smanjuje latenciju, ali također produljuje trajanje baterije -- Snapdragon procesor dizajniran je za mirovanje tijekom cijele operacije.

Posebno je optimiziran za 16-bitne mreže s pomičnim zarezom, a kontrolira ga Qualcommov softver za strojno učenje: Snapdragon Neural Processing Engine.

“Shvatili smo to vrlo ozbiljno”, rekao je glasnogovornik Qualcomma. "Radimo s partnerima posljednje tri godine kako bismo ih natjerali da iskoriste [...] naš silicij za AI i slike."

Ti partneri uključuju Google, koji je koristio Hexagon DSP dio za obradu slike za pokretanje Pixela i Pixela 2's HDR+ algoritam, na primjer. Iako je Google također predstavio vlastiti Pixel Core, vrijedi napomenuti da su uređaji s omogućenim Hexagon 685 DSP-om one koje ostvaruju najbolje rezultate s poznatim priključkom Google Camera, dijelom zbog (kako smo potvrdili) HVX-a iskorištenje. Facebook, drugi partner, blisko je surađivao s Qualcommom kako bi ubrzao Messengerove filtere i efekte kamere u stvarnom vremenu.

Oppo je optimizirao svoju tehnologiju otključavanja licem za Hexagon 685 DSP, a Lenovo je oko toga razvio svoju značajku otkrivanja znamenitosti.

Jedan od razloga za bogatu podršku platforme je njezina jednostavnost. Qualcommov opsežni Hexagon SDK podržava jezik Halide za obradu slike visokih performansi i nema potrebe brinuti o okvirima za obuku strojnog učenja -- implementacija modela je u većini slučajeva jednostavna kao upućivanje API poziva slučajeva.

“Mi se [...] ne natječemo s onima poput IBM-a i Nvidije [u umjetnoj inteligenciji], ali imamo područja koja programeri mogu iskoristiti -- i već imaju,” rekao je Qualcomm za XDA Developers.

Heksagon vs. natjecanje

Hexagon 685 DSP procesora Snapdragon 845 dolazi dok sve veći broj proizvođača originalne opreme (OEM) traži vlastita AI rješenja za mobilne uređaje i uređaje. Huaweijevih Kirin 970 -- sustav-na-čipu unutar Mate 10 i Mate 10 Pro -- ima "neuralnu procesorsku jedinicu" (NPU) koja navodno može prepoznati više od 2000 slika u sekundi uz samo 1/50 potrošnje energije prosječnog CPU-a pametnog telefona. A Apple A11 Bionic sustav na čipu u iPhone 8, iPhone 8 Plus i iPhone X ima "Neural Engine" koji izvodi modeliranje lica u stvarnom vremenu i do 600 milijardi operacija u sekundi.

Ali Qualcomm kaže da Hexagon-ov platformski agnosticizam daje prednost. Za razliku od Applea i Huaweija, koji uglavnom tjeraju programere na korištenje vlasničkih API-ja, Qualcomm je od samog početka nastojao podržati neke od najpopularnijih okvira otvorenog koda. Na primjer, radila je s Googleom na optimizaciji TensorFlow, Googleova platforma za strojno učenje, za Hexagon 685 DSP -- Qualcomm kaže da radi do osam puta brže i 25 puta energetski učinkovitije nego na uređajima koji nisu Hexagon.

Na Qualcommovoj DSP arhitekturi, Googleovoj GoogLeNet Inception Deep Neural Network -- algoritam strojnog učenja osmišljen za procjenu kvalitete sustava za otkrivanje i klasifikaciju objekata -- demonstrirana poboljšanja u demo prikazivanju jedna aplikacija za prepoznavanje slike koju pokreće TensorFlow na dva pametna telefona: jednom koji pokreće aplikaciju na CPU-u, a drugom koji je pokreće na Qualcommovom Hexagonu DSP. Aplikacija za pametne telefone ubrzana DSP-om snimila je više slika u sekundi, brže identificirala objekte i imala veće povjerenje u svoj zaključak o tome što je objekt nego aplikacija koja radi samo na CPU-u.

Google također koristi Hexagon 685 DSP kako bi ubrzao Project Tango, svoju platformu proširene stvarnosti za pametne telefone. Lenovo Phab 2 Pro, Asusov ZenFone AR i drugi uređaji s Tango IR modulom za mjerenje dubine i kamerama za praćenje slike koriste prednosti Qualcommovih Arhitektura heterogene obrade, koja delegira zadatke obrade između Hexagon 685 DSP-a Snapdragon čipseta, središta senzora i signala slike procesor (ISP). Rezultat je "manje od 10 posto" opterećenja CPU-a sustava na čipu, prema Qualcommu.

"Koliko znamo, mi smo jedini mobilni momci koji optimiziraju performanse i energetsku učinkovitost", rekao je glasnogovornik Qualcomma.

Naravno, konkurenti također rade na proširenju svoje sfere utjecaja i poticanju podrške programera na svojim platformama. Neuralni čip Kirin 970 pokrenut je s podrškom za TensorFlow i Caffe (Facebookov otvoreni API okvir) uz Huawei Kirin API-je, sa TensorFlow Lite i Caffe2 integracija na putu kasnije ove godine. Huawei je surađivao s Microsoftom na optimizaciji svog AI-pokretanog Prevoditelja za Mate 10.

Ali Qualcomm ima još jednu prednost: doseg. Proizvođač čipova držao je 42 posto tržišta čipova za pametne telefone u prvoj polovici 2017., a slijede ga Apple i MediaTek sa po 18 posto, prema Strategy Analyticsu. Dovoljno je reći da se još ne trese u čizmama.

A Qualcomm predviđa da će samo rasti. Proizvođač čipova predviđa prihod od 160 milijardi dolara do 2025. s AI softverskim tehnologijama poput računalnog vida i vidi tržište pametnih telefona -- za koje se očekuje da će doseći 8,6 milijardi isporučenih jedinica do 2021. -- kao najveće platforma.

Uz Hexagon 685 DSP i druga "tercijarna" poboljšanja koja se kontinuirano probijaju nizvodno do srednjeg opsega hardvera, Qualcomm čipovima također je lakše prenijeti strojno učenje na uređaju na sve vrste uređaja u bliskoj budućnosti. budućnost. Oni također nude praktičan SDK za programere (nema potrebe petljati s DSP asemblerskim jezikom) da iskoriste prednosti Hexagon 685 DSP i HVX u svojim aplikacijama i uslugama.

"Postoji potreba za ovim namjenskim procesorskim jedinicama za neuralnu obradu, ali je također trebate proširiti, tako da možete podržati okvire [otvorenog koda]", rekao je glasnogovornik Qualcomma. "Ako ne stvorite taj ekosustav, nema načina [...] da programeri mogu stvarati na njemu."