Qualcommi Hexagon 685 DSP on masinõppe jõujaam

Snapdragon 845 – Qualcommi Snapdragoni perekonna uusim süsteem-kiibil – on protsessori jõuallikas. Sellel on kiired protsessori tuumad, kolmanda põlvkonna Spectra pildisignaaliprotsessor (ISP) ja arhitektuur, mis on eelmise põlvkonnaga võrreldes 30 protsenti energiasäästlikum. Kuid vaieldamatult on selle kõige muljetavaldavam komponent kaasprotsessor – Hexagon 685 DSP –, mis on kohandatud tehisintellekti ja masinõppe jaoks.

Mis paneb Qualcommi Hexagon 685 DSP-le tiksuma?

"Vektormatemaatika on sügava õppimise alus." - Travis Lanier, Qualcommi tootehalduse vanemdirektor

Selleks, et mõista, mis teeb Hexagon DSP nii ainulaadseks, on kasulik teada, et tehisintellekti juhib selline matemaatikakolledži inseneriteaduse erialadele, millega tuttavad on. Masinõpe hõlmab suurte vektoritega arvutamist, mis on nutitelefonide, tahvelarvutite ja personaalarvutite protsessoritele väljakutseks. Üldotstarbelistel kiipidel on raske kiiresti ja tõhusalt arvutada algoritme, nagu stohhastiline gradient laskumine – sellised algoritmid, mis on AI-toega rakenduste tuumaks. Qualcommi Hexagon DSP võeti osaliselt kasutusele selle lahendamiseks: see on suurepärane piltide ja sensoriandmete käsitlemisel, eriti fotograafias.

Kuid Hexagon DSP on võimeline palju enamaks kui selfide kaunistamiseks. Kaasasolevad HVX-i kontekstid (nendest lähemalt hiljem) annavad sellele eelise nii üldotstarbeliste protsessorite kui ka fikseeritud funktsiooniga tuumade puhul; Hexagon 685 DSP on seadmesisese masinõppe matemaatika arvutamisel tohutult tõhus, kuid säilitab programmeeritavamate protsessorite paindlikkuse.

AI-kiibid nagu Hexagon 685 DSP, mida mõnikord nimetatakse "närvitöötlusüksusteks", "närvimootorid" või "masinõppe tuumad" on kohandatud spetsiaalselt tehisintellekti algoritmide matemaatikale. vajadustele. Need on disainilt palju jäigemad kui traditsioonilised CPU-d ning sisaldavad erijuhiseid ja -korraldusi (Hexagon 685 DSP puhul, eelnimetatud HVX arhitektuur), mis kiirendavad teatud skalaar- ja vektoroperatsioone, mis muutuvad märgatavaks suuremahulistes teostused.

Snapdragon 845 Hexagon 685 DSP suudab töötlemistsükli kohta töödelda tuhandeid vektorühikute bitte, võrreldes keskmise protsessori tuuma sadade bittidega tsükli kohta. See on disaini järgi. Nelja paralleelse skalaarlõimega VLIW (Very Long Instruction Word) operatsioonide ja mitme HVX-konteksti jaoks on DSP võimeline žongleerima mitme täitmisüksusega ühe käsuga ning läbima täisarvu ja fikseeritud koma kümnendkoha operatsioonid.

Selle asemel, et suruda jõudlust läbi töötlemata MHz, on Hexagon 685 disaini eesmärk kõrge töötase tsükli kohta madalamal taktsagedusel. See sisaldab riistvaralist mitme lõimega töötamist, mis töötab hästi VLIW-i jaoks, kuna mitme keermega peidab konveieri latentsusajad, mis võimaldavad VLIW-pakette paremini kasutada. DSP mitme lõimega ühendamine tähendab, et see suudab teenindada mitut mahalaadimisseanssi, st samaaegseid rakendusi heli, kaamera, arvutinägemine ja nii edasi – ja kiirendada samaaegselt erinevaid toiminguid, takistades rakendustel võitlemast täitmise aeg.

Kuid need pole Hexagon DSP ainsad tugevused. Selle juhiskomplekti arhitektuur (ISA) on tänu traditsioonilisele VLIW-le parema tõhususega täiustatud juhtkood ja see kasutab nutikaid nippe jõudluse taastamiseks jõudeolekust ja seiskumisest niidid. Samuti rakendab see null-latentsusega ümar-robin lõime ajastamist, mis tähendab, et DSP lõimed töötlevad uusi juhiseid kohe pärast eelmise andmepaketi lõpetamist.

Selguse huvides pole see kõik uus. Qualcomm tutvustas "esimese põlvkonna" (või õiget) Hexagon DSP - Hexagon 680 või QDSP6 v6 - 2015. aastal Snapdragon 820 kõrval ja Hexagon 680-le järgnes üha nii veidi täiustatud Kuusnurk 682. Kuid uusim põlvkond on seni kõige keerukam ja pakub kuni kolm korda paremat üldist jõudlust kui Snapdragon 835 DSP.

See on suuresti tänu HVX-ile, mis töötas pilditöötlusel väga hästi (mõelge liitreaalsusele, arvutinägemisele, videole ja piltidele). DSP HVX-registreid saab juhtida mis tahes kahe skalaarregistri abil ning HVX-i ja skalaarühikuid saab kasutada samaaegselt, mille tulemuseks on oluline jõudluse kasv ja samaaegsus.

Siin on Qualcommi selgitus:

"Ütleme, et töötlete mobiilse CPU-ga juhtkoodirežiimis ja lülitute kaasprotsessoris arvutusrežiimi. Kui vajate juhtkoodi, peate peatuma ja naasma kaasprotsessorist põhiprotsessorisse. Hexagoniga saavad nii DSP juhtkoodiprotsessor kui ka HVX-i arvutuskoodiprotsessor töötada samaaegselt, et tagada juht- ja arvutuskoodi tihe sidumine. See võimaldab DSP-l võtta HVX-arvutuse tulemuse ja kasutada seda järgmises taktitsüklis juhtkoodi otsustamisel.

HVX annab pildianduri töötlemisel veel ühe suure eelise. Hexagon 685 DSP-ga Snapdragoni seadmed saavad voogesitada andmeid otse pildiandurilt DSP kohalikku mällu (L2 vahemälu), jättes mööda seadme DDR-mälukontrollerist. See vähendab loomulikult latentsust, kuid pikendab ka aku kasutusaega – Snapdragoni protsessor on loodud kogu töö ajal jõudeolekuks.

See on spetsiaalselt optimeeritud 16-bitiste ujukomavõrkude jaoks ja seda juhib Qualcommi masinõppetarkvara: Snapdragon Neural Processing Engine.

"Oleme [võtnud] seda väga tõsiselt," ütles Qualcommi pressiesindaja. "Oleme viimased kolm aastat koostööd teinud partneritega, et nad saaksid kasutada [...] meie räni tehisintellekti ja pildistamise jaoks."

Nende partnerite hulka kuulub Google, kes kasutas näiteks Pixeli ja Pixel 2 HDR+ algoritmi toiteks Hexagon DSP pilditöötlusosa. Kuigi Google on tutvustanud ka oma Pixel Core'i, väärib märkimist, et Hexagon 685 DSP-toega seadmed on need, mis näevad kuulsa Google'i kaamera pordiga parimaid tulemusi, osaliselt (nagu oleme kinnitanud) HVX kasutamine. Teine partner Facebook tegi tihedat koostööd Qualcommiga, et kiirendada Messengeri reaalajas kaamerafiltreid ja efekte.

Oppo optimeeris oma näo avamise tehnoloogia Hexagon 685 DSP jaoks ja Lenovo arendas selle ümber oma maamärkide tuvastamise funktsiooni.

Üks platvormi rikkaliku toe põhjus on selle lihtsus. Qualcommi ulatuslik Hexagon SDK toetab suure jõudlusega pilditöötluse jaoks Halide keelt ja seda pole vaja muretsema masinõppe koolitusraamistike pärast – mudeli juurutamine on enamikus sama lihtne kui API-kutse tegemine juhtudel.

"Me ei konkureeri sellistega nagu IBM ja Nvidia [AI-s], kuid meil on valdkondi, mida arendajad saavad kasutada – ja juba on," ütles Qualcomm XDA Developersile.

Kuusnurk vs. võistlus

Snapdragon 845 Hexagon 685 DSP on saadaval, kuna üha suurem arv originaalseadmete tootjaid (OEM) otsib oma mobiilseid ja seadmesiseseid AI-lahendusi. Huawei oma Kirin 970 -- kiibi sees olev süsteem Kaaslane 10 ja Mate 10 Pro -- sellel on "närvitöötlusseade" (NPU), mis suudab väidetavalt tuvastada rohkem kui 2000 pilti sekundis, vaid 1/50 keskmise nutitelefoni CPU energiatarbimisest. Ja iPhone 8, iPhone 8 Plus ja iPhone X kiibil oleval Apple A11 Bionic süsteemil on närvimootor, mis teostab näo reaalajas modelleerimist ja kuni 600 miljardit toimingut sekundis.

Kuid Qualcomm ütleb, et Hexagoni platvormi agnostilisus annab sellele eelise. Erinevalt Apple'ist ja Huaweist, mis sunnivad arendajaid suures osas kasutama patenteeritud API-sid, püüdis Qualcomm juba algusest peale toetada mõnda kõige populaarsemat avatud lähtekoodiga raamistikku. Näiteks töötas see optimeerimisel koos Google'iga TensorFlow, Google'i masinõppeplatvorm Hexagon 685 DSP jaoks – Qualcommi sõnul töötab see kuni kaheksa korda kiiremini ja 25 korda energiasäästlikumalt kui mitte-Hexagoni seadmetes.

Qualcommi DSP arhitektuuri puhul Google'i oma GoogLeNet Inception Deep Neural Network -- masinõppe algoritm, mis on loodud objektide tuvastamise ja klassifitseerimise süsteemide kvaliteedi hindamiseks. üks TensorFlow-toega pildituvastusrakendus kahel nutitelefonil: üks, mis käivitab rakendust protsessoris ja teine, mis käivitab seda Qualcommi kuusnurgas DSP. DSP-kiirendusega nutitelefonirakendus jäädvustas rohkem pilte sekundis, tuvastas objektid kiiremini ja omas suuremat kindlustunnet oma järelduses objekti kohta kui ainult protsessoriga rakendus.

Google kasutab nutitelefonidele mõeldud liitreaalsuse platvormi Project Tango kiirendamiseks ka Hexagon 685 DSP-d. Lenovo Phab 2 Pro, Asuse ZenFone AR ja muud Tango sügavustundliku IR-mooduli ja pildijälgimiskaameratega seadmed kasutavad Qualcommi eeliseid. Heterogeenne töötlemisarhitektuur, mis delegeerib töötlemisülesanded Snapdragoni kiibistiku Hexagon 685 DSP, anduri jaoturi ja pildisignaali vahel protsessor (ISP). Tulemuseks on Qualcommi andmetel kiibi süsteemi protsessorile alla 10 protsendi.

"Meile teadaolevalt oleme ainsad mobiilsed tüübid, kes optimeerivad jõudlust ja energiatõhusust," ütles Qualcommi pressiesindaja.

Loomulikult töötavad konkurendid ka selle nimel, et laiendada oma mõjusfääri ja edendada arendajate tuge oma platvormidel. Kirin 970 närvikiip käivitati koos TensorFlow ja Kohvik (Facebooki avatud API raamistik) lisaks Huawei Kirin API-dele koos TensorFlow Lite ja Kohv 2 integratsioon selle aasta lõpus. Ja Huawei töötas koos Microsoftiga, et optimeerida oma AI-toega tõlkijat Mate 10 jaoks.

Kuid Qualcommil on veel üks eelis: Reach. Strategy Analyticsi andmetel kuulus kiibitootjale 2017. aasta esimesel poolel 42 protsenti nutitelefonide kiipide turust, millele järgnesid Apple ja MediaTek kumbki 18 protsendiga. Piisab, kui öelda, et see ei värise veel saabastes.

Ja Qualcomm ennustab, et see ainult kasvab. Kiibitootja prognoosib 2025. aastaks 160 miljardi dollari suurust tulu AI tarkvaratehnoloogiatega, nagu arvutinägemine ja näeb nutitelefonide turgu, mis eeldatavasti jõuab 2021. aastaks tarnitud 8,6 miljardi ühikuni, suurimana platvorm.

Hexagon 685 DSP ja muud "tertsiaarsed" täiustused liiguvad pidevalt allavoolu keskvahemikku riistvara, on Qualcommi kiipide jaoks ka lihtsam viia seadmesisene masinõpe kõikvõimalikesse lähedal asuvatesse seadmetesse tulevik. Samuti pakuvad nad arendajatele käepärast SDK-d (pole vaja DSP montaažikeelega askeldada), et kasutada oma rakendustes ja teenustes ära Hexagon 685 DSP ja HVX.

"Neuraalse töötlemise jaoks on vaja neid spetsiaalseid töötlemisüksusi, kuid peate seda ka laiendama, et saaksite toetada [avatud lähtekoodiga] raamistikke," ütles Qualcommi pressiesindaja. "Kui te seda ökosüsteemi ei loo, ei saa [...] arendajad seda kuidagi luua."