A Qualcomm Hexagon 685 DSP egy gépi tanulási erőmű

A Snapdragon 845 – a Qualcomm Snapdragon családjának legújabb chip-rendszere – a processzorok egyik ereje. Gyors CPU-magokkal, harmadik generációs Spectra képjel-processzorral (ISP) és az előző generációnál 30 százalékkal energiatakarékosabb architektúrával büszkélkedhet. De vitathatatlanul a leglenyűgözőbb alkatrésze egy társprocesszor – a Hexagon 685 DSP –, amelyet a mesterséges intelligenciára és a gépi tanulásra szabtak.

Mi teszi a Qualcomm Hexagon 685 DSP-jét?

"A vektoros matematika a mély tanulás alapja." - Travis Lanier, a Qualcomm termékmenedzsmentért felelős vezető igazgatója

Ahhoz, hogy megértsük, mitől olyan egyedi a Hexagon DSP, érdemes tudni, hogy az AI-t az a fajta matematikai főiskolai mérnöki szakok vezérlik, amelyeket jól ismernek. A gépi tanulás nagy vektorokkal történő számítást foglal magában, ami kihívást jelent az okostelefonok, táblagépek és PC-processzorok számára. Az általános célú chipek nehezen tudják gyorsan és hatékonyan kiszámítani az olyan algoritmusokat, mint a sztochasztikus gradiens süllyedés – az olyan típusú algoritmusok, amelyek a mesterséges intelligenciával hajtott alkalmazások magját képezik. A Qualcomm Hexagon DSP-jét részben ennek megoldására vezették be: nagyszerűen kezeli a kép- és érzékelőadatokat, különösen a fényképezést.

De a Hexagon DSP sokkal többre képes, mint a szelfik feldobására. A mellékelt HVX kontextusok (erről később bővebben) mind az általános célú processzorok, mind a rögzített funkciójú magok előnyét biztosítják; A Hexagon 685 DSP hihetetlenül hatékony a matematikai számítások terén az eszközön történő gépi tanulás mögött, de megőrzi a jobban programozható processzorok rugalmasságát.

Az olyan mesterséges intelligencia chipek, mint a Hexagon 685 DSP, amelyeket néha „neurális feldolgozóegységeknek” is neveznek, A „neurális motorok” vagy „gépi tanulási magok” kifejezetten az AI-algoritmusok matematikai jellemzőihez vannak szabva. igények. Sokkal merevebb kialakításúak, mint a hagyományos CPU-k, és speciális utasításokat és elrendezéseket tartalmaznak (a Hexagon 685 DSP esetében, a fent említett HVX architektúra), amelyek felgyorsítanak bizonyos skaláris és vektoros műveleteket, amelyek nagy léptékben észrevehetővé válnak. megvalósítások.

A Snapdragon 845 Hexagon 685 DSP-je több ezer bites vektoregységet képes kezelni feldolgozási ciklusonként, szemben az átlagos CPU-mag ciklusonkénti több száz bitjével. Ez a tervezés. Négy párhuzamos skaláris szál a Very Long Instruction Word (VLIW) műveletekhez és több HVX kontextus, a DSP képes több végrehajtási egységgel zsonglőrködni egyetlen utasításon, és egész számokat és fixpontos tizedesjegyeket tartalmaz tevékenységek.

Ahelyett, hogy a teljesítményt a nyers MHz-en keresztül tolná ki, a Hexagon 685 tervezése a ciklusonkénti magas szintű munkavégzést célozza csökkentett órajel mellett. Tartalmazza a hardveres többszálú megoldást, amely jól működik a VLIW-hez, mivel a többszálú feldolgozás elrejti a csővezeték késéseket, amely lehetővé teszi a VLIW-csomagok jobb kihasználását. A DSP többszálas kialakítása azt jelenti, hogy több offload-munkamenetet is képes kiszolgálni – azaz egyidejű alkalmazásokat hanghoz, kamerához, számítógépes látás és így tovább -- és egyidejűleg felgyorsíthat különböző feladatokat, megakadályozva, hogy az alkalmazásoknak meg kell küzdeniük végrehajtási idő.

De nem ezek a Hexagon DSP egyetlen erősségei. Az utasításkészlet architektúrája (ISA) jobb hatékonysággal büszkélkedhet a hagyományos VLIW-hez képest, köszönhetően továbbfejlesztett vezérlőkód, és okos trükköket alkalmaz az üresjárati és leállási teljesítmény helyreállítására szálak. Ezenkívül nulla késleltetésű, kör-robin szálütemezést valósít meg, ami azt jelenti, hogy a DSP szálai az előző adatcsomag befejezése után azonnal feldolgozzák az új utasításokat.

Mindez nem új, hogy világos legyen. A Qualcomm bemutatta az „első generációs” (vagy megfelelő) Hexagon DSP-t – a Hexagon 680-at vagy a QDSP6 v6-ot – 2015-ben a Snapdragon 820 mellett, a Hexagon 680-at pedig az egyre enyhén továbbfejlesztett követte Hatszög 682. De a legújabb generáció az eddigi legkifinomultabb, és akár háromszor akkora teljesítményt nyújt, mint a Snapdragon 835 DSP-je.

Ez nagyrészt a HVX-nek köszönhető, amely nagyon jól működött a képfeldolgozásban (gondoljunk csak a kiterjesztett valóságra, a számítógépes látásra, a videóra és a képekre). A DSP HVX regiszterei bármelyik két skalárregiszterrel vezérelhetők, és a HVX egységek és a skalár egységek egyidejűleg használhatók, ami jelentős teljesítménynövekedést és párhuzamosságot eredményez.

Íme Qualcomm magyarázata:

„Tegyük fel, hogy a mobil CPU-n vezérlőkód módban dolgozol, és a társprocesszoron átváltasz számítási módba. Ha bármilyen vezérlőkódra van szüksége, meg kell állnia, és vissza kell térnie a társprocesszorból a fő CPU-hoz. A Hexagon segítségével a DSP vezérlőkód-processzora és a HVX-en lévő számítási kódfeldolgozó egyidejűleg futhat a vezérlés és a számítási kód szoros összekapcsolása érdekében. Ez lehetővé teszi a DSP számára, hogy a HVX-számítás eredményét felvegye, és felhasználja azt a következő órajelciklusban a vezérlőkód-döntéshez.”

A HVX egy másik nagy előnyt biztosít a képérzékelő feldolgozásban. A Hexagon 685 DSP-vel rendelkező Snapdragon eszközök közvetlenül a képérzékelőből tudnak adatfolyamot továbbítani a DSP helyi memóriájába (L2 Cache), megkerülve az eszköz DDR memóriavezérlőjét. Ez természetesen csökkenti a késleltetést, de javítja az akkumulátor élettartamát is – a Snapdragon processzort úgy tervezték, hogy a művelet teljes időtartama alatt üresjáratban legyen.

Kifejezetten 16 bites lebegőpontos hálózatokhoz van optimalizálva, és a Qualcomm gépi tanulási szoftvere, a Snapdragon Neural Processing Engine vezérli.

"Nagyon komolyan vettük" - mondta a Qualcomm szóvivője. „Az elmúlt három évben azon dolgoztunk partnereinkkel, hogy felhasználják [...] a mi szilíciumunkat mesterséges intelligenciához és képalkotáshoz.”

E partnerek közé tartozik a Google, amely például a Hexagon DSP képfeldolgozó részét használta a Pixel és a Pixel 2 HDR+ algoritmusának működtetésére. Bár a Google bemutatta saját Pixel Core-ját is, érdemes megjegyezni, hogy a Hexagon 685 DSP-képes eszközök a amelyek a legjobb eredményeket a híres Google Camera porttal érik el, részben a HVX miatt (amint azt megerősítettük). hasznosítás. A Facebook, egy másik partner, szorosan együttműködött a Qualcommmal, hogy felgyorsítsa a Messenger valós idejű kameraszűrőit és effektusait.

Az Oppo arcfeloldó technológiáját a Hexagon 685 DSP-hez optimalizálta, a Lenovo pedig e köré fejlesztette ki a Landmark Detection funkciót.

A platform bőséges támogatásának egyik oka az egyszerűsége. A Qualcomm kiterjedt Hexagon SDK támogatja a Halide nyelvet a nagy teljesítményű képfeldolgozás érdekében, és erre nincs szükség aggódni a gépi tanulási képzési keretrendszerek miatt – egy modell megvalósítása a legtöbb esetben olyan egyszerű, mint egy API-hívás esetek.

„Nem versenyzünk [...] az olyanokkal, mint az IBM és az Nvidia [az AI-ban], de vannak olyan területeink, amelyeket a fejlesztők kiaknázhatnak – és már vannak is” – mondta Qualcomm az XDA Developersnek.

Hatszög vs. a verseny

A Snapdragon 845 Hexagon 685 DSP-je az eredeti berendezések gyártóinak (OEM) egyre nagyobb számban érkezik, akik saját mobil és eszközön lévő mesterséges intelligencia megoldásokat keresnek. Huawei Kirin 970 -- a chipen belüli rendszer Társ 10 és Mate 10 Pro - van egy „neurális feldolgozó egységgel” (NPU), amely állítólag több mint 2000 képet képes felismerni másodpercenként, egy átlagos okostelefon CPU energiafogyasztásának mindössze 1/50-ével. Az iPhone 8, iPhone 8 Plus és iPhone X chip-alapú Apple A11 Bionic rendszere pedig egy „neurális motorral” rendelkezik, amely valós idejű arcmodellezést és akár 600 milliárd műveletet végez másodpercenként.

A Qualcomm azonban azt mondja, hogy a Hexagon platform agnoszticizmusa előnyt jelent. Ellentétben az Apple-lel és a Huawei-vel, amelyek nagyrészt szabadalmaztatott API-k használatára kényszerítik a fejlesztőket, a Qualcomm a kezdetektől fogva a legnépszerűbb nyílt forráskódú keretrendszerek támogatására törekedett. Például együttműködött a Google-lal az optimalizálásban TensorFlow, a Google gépi tanulási platformja a Hexagon 685 DSP-hez -- A Qualcomm szerint akár nyolcszor gyorsabban és 25-ször energiahatékonyabban működik, mint a nem Hexagon eszközökön.

A Qualcomm DSP architektúráján a Google GoogLeNet Inception Deep Neural Network -- egy gépi tanulási algoritmus, amelyet az objektumészlelési és osztályozási rendszerek minőségének felmérésére terveztek -- egy bemutató bemutatja a sikereket egy TensorFlow-alapú képfelismerő alkalmazás két okostelefonon: az egyik a CPU-n, a másik pedig a Qualcomm Hexagonon futtatja. DSP. A DSP-gyorsítású okostelefon-alkalmazás több képet készített másodpercenként, gyorsabban azonosította az objektumokat, és jobban bízott abban, hogy mi az objektum, mint a csak CPU-t használó alkalmazás.

A Google a Hexagon 685 DSP-t is használja a Project Tango, az okostelefonokhoz készült kiterjesztett valóság platformjának felgyorsítására. A Lenovo Phab 2 Pro, az Asus ZenFone AR és a Tango mélységérzékelő IR moduljával és képkövető kameráival rendelkező egyéb eszközök kihasználják a Qualcomm előnyeit. Heterogeneous Processing Architecture, amely a Snapdragon lapkakészlet Hexagon 685 DSP-je, az érzékelő hub és a képjel között delegálja a feldolgozási feladatokat processzor (ISP). A Qualcomm szerint az eredmény „kevesebb, mint 10 százalék” többletterhelést jelent a rendszer-chip CPU-jában.

„Amennyire tudjuk, mi vagyunk az egyetlen mobil srácok, akik a teljesítményre és az energiahatékonyságra optimalizálnak” – mondta a Qualcomm szóvivője.

Természetesen a versenytársak azon is dolgoznak, hogy kiterjesszék befolyási körüket, és előmozdítsák a fejlesztők támogatását platformjaikon. A Kirin 970 neurális chipje a TensorFlow és a Caffe (a Facebook nyílt API-keretrendszere) a Huawei Kirin API-jain kívül a TensorFlow Lite és Caffe2 az integráció az év végén. A Huawei pedig a Microsofttal együttműködve optimalizálta mesterségesintelligencia-alapú fordítóját a Mate 10-hez.

De a Qualcommnak van egy másik előnye is: Reach. A Strategy Analytics szerint a chipgyártó 2017 első felében az okostelefonok chipek piacának 42 százalékát birtokolta, ezt követi az Apple és a MediaTek 18 százalékkal. Elég az hozzá, hogy még nem remeg a csizmájában.

A Qualcomm pedig azt jósolja, hogy ez csak növekedni fog. A chipgyártó 160 milliárd dolláros bevételt tervez 2025-re olyan mesterséges intelligencia szoftvertechnológiákkal, mint a számítógépes látás, és az okostelefonok piacát – amely várhatóan 2021-re eléri a 8,6 milliárd darabot – a legnagyobbnak tartja felület.

A Hexagon 685 DSP és más „harmadlagos” fejlesztések folyamatosan eljutnak a középkategóriáig hardver, a Qualcomm chipek könnyebben hozzák az eszközön lévő gépi tanulást mindenféle eszközhöz a közelben jövő. Emellett egy praktikus SDK-t is kínálnak a fejlesztőknek (nem kell a DSP assembly nyelvével babrálni), hogy alkalmazásaikban és szolgáltatásaikban kihasználhassák a Hexagon 685 DSP és HVX előnyeit.

„Szükség van ezekre a dedikált feldolgozóegységekre a neurális feldolgozáshoz, de ki is kell bővíteni, hogy támogatni tudja a [nyílt forráskódú] keretrendszereket” – mondta a Qualcomm szóvivője. „Ha nem te hozod létre ezt az ökoszisztémát, akkor a fejlesztők semmiképpen sem alkothatnak rajta.”