Qualcommin Snapdragon 845 sisältää tehokkaan koneoppimissirun. Sitä kutsutaan Hexagon 685 DSP: ksi, ja se on merkittävä askel eteenpäin tekoälylaitteistossa.
Snapdragon 845 - uusin järjestelmä-siru Qualcommin Snapdragon-perheessä - on prosessorin voimanpesä. Siinä on nopeat CPU-ytimet, kolmannen sukupolven Spectra-kuvasignaaliprosessori (ISP) ja arkkitehtuuri, joka on 30 prosenttia tehokkaampi kuin edellisessä sukupolvessa. Mutta luultavasti sen vaikuttavin komponentti on apuprosessori - Hexagon 685 DSP -, joka on räätälöity tekoälyä ja koneoppimista varten.
Mikä saa Qualcommin Hexagon 685 DSP: n tikkimään?
"Vektorimatiikka on syvän oppimisen perusta." - Travis Lanier, Qualcommin tuotehallinnan johtaja
Ymmärtääksesi, mikä tekee Hexagon DSP: stä niin ainutlaatuisen, on hyvä tietää, että tekoälyä ohjaa sellainen matematiikan korkeakoulutekniikan pääaineopiskelijat, jotka ovat hyvin tuttuja. Koneoppimiseen liittyy laskenta suurilla vektoreilla, mikä on haaste älypuhelimien, tablettien ja PC-prosessoreille. Yleiskäyttöisten sirujen on vaikea laskea algoritmeja, kuten stokastisen gradientin laskeutumista – sellaisia algoritmeja, jotka ovat tekoälypohjaisten sovellusten ytimessä – nopeasti ja tehokkaasti. Qualcommin Hexagon DSP esiteltiin osittain tämän ratkaisemiseksi: Se on loistava käsittelemään kuva- ja anturidataa, erityisesti valokuvausta.
Mutta Hexagon DSP pystyy tekemään paljon muutakin kuin viimeistelemään selfieitä. Mukana olevat HVX-kontekstit (niistä lisää myöhemmin) antavat sille edun sekä yleiskäyttöisistä prosessoreista että kiinteän toiminnan ytimistä; Hexagon 685 DSP on äärimmäisen tehokas laskea matematiikkaa laitteessa tapahtuvan koneoppimisen takana, mutta säilyttää ohjelmoitavampien prosessorien joustavuuden.
AI-sirut, kuten Hexagon 685 DSP, joita joskus kutsutaan "hermoprosessointiyksiköiksi", "hermomoottorit" tai "koneoppimisytimet" on räätälöity erityisesti tekoälyalgoritmien matemaattisiin tarpeisiin. Ne ovat rakenteeltaan paljon jäykempiä kuin perinteiset prosessorit ja sisältävät erityisiä ohjeita ja järjestelyjä (Hexagon 685 DSP: n tapauksessa edellä mainittu HVX-arkkitehtuuri), jotka nopeuttavat tiettyjä skalaari- ja vektorioperaatioita, jotka tulevat havaittaviksi suuressa mittakaavassa toteutukset.
Snapdragon 845:n Hexagon 685 DSP pystyy käsittelemään tuhansia bittejä vektoriyksiköitä prosessointijaksoa kohden verrattuna keskimääräisen CPU-ytimen satoihin bitteihin sykliä kohden. Se on suunnittelusta. Neljällä rinnakkaisella skalaarisäikeellä VLIW (Very Long Instruction Word) -operaatioita ja useita HVX-konteksteja varten DSP on pystyy jongleeraamaan useita suoritusyksiköitä yhdellä käskyllä ja räjähtämään kokonaislukujen ja kiinteän pisteen desimaalien läpi toiminnot.
Hexagon 685:n suunnittelun tavoitteena on korkean työskentelyn taso sykliä kohden pienemmällä kellotaajuudella sen sijaan, että se nostaisi suorituskykyä raaka MHz: n kautta. Se sisältää laitteiston monisäikeisyyden, joka toimii hyvin VLIW: lle, koska monisäikeisyys piilottaa liukuhihnan latenssit mahdollistaa VLIW-pakettien paremman hyödyntämisen. DSP: n monisäikeisyys tarkoittaa, että se voi palvella useita offload-istuntoja – eli samanaikaisia sovelluksia äänen, kameran, tietokonenäön ja niin edelleen -- ja nopeuttaa eri tehtäviä samanaikaisesti, estäen sovelluksia joutumasta taistelemaan suoritusaika.
Mutta nämä eivät ole Hexagon DSP: n ainoita vahvuuksia. Sen ohjesarjaarkkitehtuuri (ISA) tarjoaa paremman tehokkuuden perinteiseen VLIW: hen verrattuna parannettu ohjauskoodi, ja se käyttää älykkäitä temppuja suorituskyvyn palauttamiseksi tyhjäkäynnistä ja pysähtyneisyydestä langat. Se toteuttaa myös nollalatenssin round-robin-säikeen ajoituksen, mikä tarkoittaa, että DSP: n säikeet käsittelevät uudet käskyt välittömästi edellisen datapaketin valmistuttua.
Selvyyden vuoksi mikään näistä ei ole uutta. Qualcomm esitteli "ensimmäisen sukupolven" (tai oikean) Hexagon DSP - Hexagon 680:n tai QDSP6 v6:n - Snapdragon 820:n rinnalla vuonna 2015, ja Hexagon 680:tä seurasi aina niin vähän parannettu Kuusikulmio 682. Mutta uusin sukupolvi on tähän mennessä kehittynein, ja se tarjoaa jopa kolme kertaa Snapdragon 835:n DSP: n kokonaissuorituskyvyn.
Tämä johtuu suurelta osin HVX: stä, joka toimi erittäin hyvin kuvankäsittelyssä (ajatellen lisättyä todellisuutta, tietokonenäköä, videoita ja kuvia). DSP: n HVX-rekistereitä voidaan ohjata millä tahansa kahdella skalaarirekisterillä, ja HVX-yksiköitä ja skalaariyksiköitä voidaan käyttää samanaikaisesti, mikä johtaa merkittäviin suorituskyvyn parannuksiin ja samanaikaisuuteen.
Tässä Qualcommin selitys:
"Sanotaan, että käsittelet mobiilisuorittimella ohjauskooditilassa ja vaihdat apuprosessorin laskentatilaan. Jos tarvitset ohjauskoodia, sinun on pysähdyttävä ja palattava apuprosessorista pääsuorittimeen. Hexagonin avulla sekä DSP: n ohjauskoodiprosessori että HVX: n laskennallinen koodiprosessori voivat toimia samanaikaisesti ohjaus- ja laskentakoodin tiiviissä kytkennässä. Näin DSP voi ottaa HVX-laskennan tuloksen ja käyttää sitä ohjauskoodipäätöksessä seuraavassa kellojaksossa.
HVX tarjoaa toisen suuren edun kuvakennon käsittelyssä. Hexagon 685 DSP: llä varustetut Snapdragon-laitteet voivat suoratoistaa tietoja suoraan kuvantamisanturista DSP: n paikalliseen muistiin (L2-välimuisti) ohittaen laitteen DDR-muistiohjaimen. Tämä vähentää tietysti viivettä, mutta myös parantaa akun käyttöikää - Snapdragon-prosessori on suunniteltu toimimaan tyhjäkäynnillä koko toiminnan ajan.
Se on erityisesti optimoitu 16-bittisille liukulukuverkoille, ja sitä ohjaa Qualcommin koneoppimisohjelmisto: Snapdragon Neural Processing Engine.
"Olemme [ottaneet] sen erittäin vakavasti", Qualcommin tiedottaja sanoi. "Olemme työskennelleet kumppaneiden kanssa viimeiset kolme vuotta, jotta he voisivat hyödyntää [...] piitämme tekoälyssä ja kuvantamisessa."
Näitä kumppaneita ovat muun muassa Google, joka käytti Hexagon DSP: n kuvankäsittelyosaa esimerkiksi Pixelin ja Pixel 2:n HDR+-algoritmin tehostamiseen. Vaikka Google on esitellyt myös oman Pixel Coren, on syytä huomata, että Hexagon 685 DSP -yhteensopivat laitteet ovat ne, jotka saavat parhaat tulokset kuuluisalla Google-kameraportilla, osittain (kuten olemme vahvistaneet) HVX: n käyttö. Facebook, toinen kumppani, teki tiivistä yhteistyötä Qualcommin kanssa nopeuttaakseen Messengerin reaaliaikaisia kamerasuodattimia ja tehosteita.
Oppo optimoi kasvojen avausteknologiansa Hexagon 685 DSP: lle, ja Lenovo kehitti Landmark Detection -ominaisuuden sen ympärille.
Yksi syy alustan runsaaseen tukeen on sen yksinkertaisuus. Qualcommin laaja Hexagon SDK tukee Halide-kieltä tehokkaaseen kuvankäsittelyyn, eikä sitä tarvita. murehtia koneoppimiskoulutuskehyksiä – mallin käyttöönotto on useimmissa tapauksissa yhtä helppoa kuin API-kutsu tapauksia.
"Emme [...] kilpaile IBM: n ja Nvidian kaltaisten kanssa [AI], mutta meillä on alueita, joita kehittäjät voivat hyödyntää - ja jo on", Qualcomm kertoi XDA Developersille.
Kuusikulmio vs. kilpailu
Snapdragon 845:n Hexagon 685 DSP tulee, kun yhä useammat alkuperäiset laitevalmistajat (OEM) etsivät omia mobiili- ja laitteiden tekoälyratkaisujaan. Huawein Kirin 970 -- sirun sisällä oleva järjestelmä Kaveri 10 ja Mate 10 Pro -- Siinä on "hermoprosessointiyksikkö" (NPU), jonka kerrotaan tunnistavan yli 2 000 kuvaa sekunnissa vain 1/50:sella keskimääräisen älypuhelimen suorittimen virrankulutuksesta. Ja iPhone 8:n, iPhone 8 Plus: n ja iPhone X: n Apple A11 Bionic -järjestelmäpiirissä on "hermomoottori", joka suorittaa reaaliaikaisen kasvojen mallinnuksen ja jopa 600 miljardia toimintoa sekunnissa.
Mutta Qualcomm sanoo, että Hexagonin alustan agnostismi antaa sille etua. Toisin kuin Apple ja Huawei, jotka suurelta osin pakottavat kehittäjät käyttämään omia sovellusliittymiä, Qualcomm pyrki alusta alkaen tukemaan joitakin suosituimmista avoimen lähdekoodin kehyksistä. Se esimerkiksi työskenteli Googlen kanssa optimoinnissa TensorFlow, Googlen koneoppimisalusta Hexagon 685 DSP: lle – Qualcomm sanoo, että se toimii jopa kahdeksan kertaa nopeammin ja 25 kertaa tehokkaammin kuin muissa kuin Hexagon-laitteissa.
Qualcommin DSP-arkkitehtuurissa Googlen GoogLeNet Inception Deep Neural Network -- koneoppimisalgoritmi, joka on suunniteltu arvioimaan objektien tunnistus- ja luokitusjärjestelmien laatua -- osoitti etuja esittelyssä yksi TensorFlow-käyttöinen kuvantunnistussovellus kahdessa älypuhelimessa: toinen, joka käyttää sovellusta CPU: ssa ja toinen, joka käyttää sitä Qualcommin Hexagonissa DSP. DSP-kiihdytetty älypuhelinsovellus otti enemmän kuvia sekunnissa, identifioi kohteet nopeammin ja luotti johtopäätökseensä siitä, mikä kohde oli, kuin pelkkä CPU-sovellus.
Google käyttää myös Hexagon 685 DSP: tä nopeuttaakseen Project Tangoa, sen älypuhelimille tarkoitettua lisätyn todellisuuden alustaa. Lenovon Phab 2 Pro, Asuksen ZenFone AR ja muut laitteet, joissa on Tangon syvyyttä tunnistava IR-moduuli ja kuvanseurantakamerat hyödyntävät Qualcommin ominaisuuksia. Heterogeeninen käsittelyarkkitehtuuri, joka delegoi käsittelytehtävät Snapdragon-piirisarjan Hexagon 685 DSP: n, anturin keskittimen ja kuvasignaalin kesken. prosessori (ISP). Tuloksena on "alle 10 prosentin" ylimääräinen järjestelmä-sirun CPU: n Qualcommin mukaan.
"Sikäli kuin tiedämme, olemme ainoat liikkuvat kaverit, jotka optimoivat suorituskykyä ja tehokkuutta", Qualcommin tiedottaja sanoi.
Tietenkin myös kilpailijat pyrkivät laajentamaan vaikutuspiiriään ja edistämään kehittäjien tukea alustoillaan. Kirin 970:n hermosiru julkaistiin tukemalla TensorFlow- ja Kahvi (Facebookin avoin API-kehys) Huawein Kirin-sovellusliittymien lisäksi TensorFlow Lite ja Kahvi 2 integraatio tulossa myöhemmin tänä vuonna. Ja Huawei teki yhteistyötä Microsoftin kanssa optimoidakseen tekoälyllä toimivan kääntäjän Mate 10:lle.
Mutta Qualcommilla on toinen etu: Reach. Strategy Analyticsin mukaan siruvalmistaja hallitsi 42 prosenttia älypuhelinten sirumarkkinoista vuoden 2017 ensimmäisellä puoliskolla, jota seurasivat Apple ja MediaTek kumpikin 18 prosentilla. Riittää, kun sanon, se ei vielä tärise saappaissaan.
Ja Qualcomm ennustaa, että se vain kasvaa. Siruvalmistaja ennustaa 160 miljardin dollarin tuloja vuoteen 2025 mennessä tekoälyohjelmistotekniikoiden, kuten tietokonenäön, ja näkee älypuhelinmarkkinoiden – joiden odotetaan nousevan 8,6 miljardiin yksikköön vuoteen 2021 mennessä – suurimpana alusta.
Hexagon 685 DSP ja muut "tertiääriset" parannukset tekevät jatkuvasti tiensä alavirtaan keskialueelle laitteisto, Qualcomm-sirujen on myös helpompi tuoda laitteen koneoppiminen kaikenlaisiin lähistöllä oleviin laitteisiin. tulevaisuutta. Ne tarjoavat myös kätevän SDK: n kehittäjille (ei tarvitse pelleillä DSP: n kokoonpanokieltä), jotta he voivat hyödyntää Hexagon 685 DSP: tä ja HVX: ää sovelluksissaan ja palveluissaan.
"Näitä omistettuja prosessointiyksiköitä tarvitaan hermokäsittelyyn, mutta sinun on myös laajennettava sitä, jotta voit tukea [avoimen lähdekoodin] kehyksiä", Qualcommin tiedottaja sanoi. "Jos et luo tuota ekosysteemiä, [...] kehittäjät eivät voi luoda sitä mitenkään."