Hexagon 685 DSP de la Qualcomm este o putere de învățare automată

Snapdragon 845 de la Qualcomm are în interior un cip puternic de învățare automată. Se numește Hexagon 685 DSP și este un pas major înainte în hardware-ul AI.

Snapdragon 845 - cel mai nou sistem pe cip din familia Snapdragon a Qualcomm - este o putere a procesoarelor. Se mândrește cu nuclee CPU rapide, un procesor de semnal de imagine Spectra de a treia generație (ISP) și o arhitectură care este cu 30% mai eficientă din punct de vedere energetic decât generația anterioară. Dar, fără îndoială, componenta sa cea mai impresionantă este un co-procesor -- Hexagon 685 DSP -- care este adaptat pentru inteligența artificială și învățarea automată.

Ce anume face ca Hexagon 685 DSP de la Qualcomm să funcționeze?

Arhitectura Hexagon DSP în Snapdragon 835. Sursa: Qualcomm

„Matematica vectorială este fundamentul învățării profunde.” - Travis Lanier, Senior Director of Product Management la Qualcomm

Pentru a înțelege ce face Hexagon DSP atât de unic, este util să știți că AI este condusă de genul de inginerie de matematică cu care sunt familiarizați în mod intim. Învățarea automată implică calcularea cu vectori mari, ceea ce reprezintă o provocare pentru procesoarele smartphone, tabletă și PC. Este greu pentru cipurile de uz general să calculeze rapid și eficient algoritmi precum coborârea gradientului stocastic - tipurile de algoritmi care sunt la baza aplicațiilor bazate pe inteligență artificială. Hexagon DSP de la Qualcomm a fost introdus parțial pentru a rezolva acest lucru: este excelent la manipularea datelor de imagine și senzori, în special de fotografie.

Dar Hexagon DSP este capabil de mult mai mult decât să înfrunte selfie-uri. Contextele HVX incluse (mai multe despre cele mai târziu) îi oferă avantajul atât al procesoarelor de uz general, cât și al nucleelor ​​cu funcție fixă; Hexagon 685 DSP are o eficiență extraordinară în calcularea calculelor din spatele învățării automate pe dispozitiv, dar păstrând flexibilitatea procesoarelor mai programabile.

Cipurile AI precum Hexagon 685 DSP, care sunt uneori denumite „unități de procesare neuronală”, „motoarele neuronale” sau „nucleele de învățare automată” sunt adaptate în mod special pentru algoritmii AI. are nevoie. Au un design mult mai rigid decât un procesor tradițional și conțin instrucțiuni și aranjamente speciale (în cazul Hexagon 685 DSP, arhitectura HVX menționată mai sus) care accelerează anumite operații scalare și vectoriale, care devin vizibile la scară largă. implementari.

Hexagon 685 DSP al lui Snapdragon 845 poate gestiona mii de biți de unități vectoriale pe ciclu de procesare, în comparație cu sutele de biți pe ciclu mediu al procesorului. Asta prin design. Cu patru fire scalare paralele pentru operații Very Long Instruction Word (VLIW) și mai multe contexte HVX, DSP-ul este capabil să jongleze cu mai multe unități de execuție pe o singură instrucțiune și să strălucească prin zecimale întregi și cu virgulă fixă operațiuni.

În loc să împingă performanța prin MHz brut, designul Hexagon 685 urmărește niveluri ridicate de lucru pe ciclu la o viteză de ceas redusă. Include multi-threading hardware care funcționează bine pentru VLIW, deoarece multi-threading ascunde latențele pipelinei permit o mai bună utilizare a pachetelor VLIW. Multi-threading-ul DSP înseamnă că poate deservi mai multe sesiuni de descărcare -- și anume, aplicații concurente pentru audio, cameră, viziune computerizată și așa mai departe -- și accelerează diferite sarcini simultan, prevenind aplicațiile să fie nevoite să lupte pentru timpul de execuție.

Sursa: Qualcomm

Dar acestea nu sunt singurele puncte forte ale Hexagon DSP. Arhitectura sa de set de instrucțiuni (ISA) se mândrește cu o eficiență îmbunătățită față de VLIW tradițională datorită cod de control îmbunătățit și folosește trucuri inteligente pentru a recupera performanța din inactiv și blocat fire. De asemenea, implementează programarea thread-urilor round-robin cu latență zero, ceea ce înseamnă că firele DSP procesează instrucțiuni noi imediat după finalizarea pachetului de date anterior.

Sursa: Qualcomm

Nimic din toate acestea nu este nou, ca să fie clar. Qualcomm a introdus Hexagon DSP de „prima generație” (sau propriu-zis) -- Hexagon 680 sau QDSP6 v6 -- alături de Snapdragon 820 în 2015, iar Hexagon 680 a fost urmat de cea mai puțin îmbunătățită Hexagonul 682. Dar cea mai recentă generație este cea mai sofisticată de până acum și oferă performanțe de până la trei ori mai mari decât DSP-ului Snapdragon 835.

Acest lucru se datorează în mare parte HVX, care a funcționat foarte bine pentru procesarea imaginilor (gândiți-vă la realitate augmentată, viziune computerizată, video și imagini). Registrele HVX ale DSP pot fi controlate de oricare dintre registrele scalare, iar unitățile HVX și unitățile scalare pot fi utilizate simultan, rezultând câștiguri substanțiale de performanță și concurență.

Iată Explicația Qualcomm:

„Să presupunem că procesați pe CPU mobil în modul cod de control și treceți la modul de calcul pe coprocesor. Dacă aveți nevoie de vreun cod de control, trebuie să vă opriți și să vă întoarceți de la coprocesor la CPU principal. Cu Hexagon, atât procesorul de cod de control de pe DSP, cât și procesorul de cod de calcul de pe HVX pot rula în același timp pentru o cuplare strânsă a codului de control și de calcul. Acest lucru permite DSP-ului să ia rezultatul unui calcul HVX și să-l folosească într-o decizie a codului de control în următorul ciclu de ceas.”

HVX oferă un alt mare avantaj în procesarea senzorului de imagine. Dispozitivele Snapdragon cu Hexagon 685 DSP pot transmite date direct de la senzorul de imagine către memoria locală a DSP-ului (L2 Cache), ocolind controlerul de memorie DDR al dispozitivului. Acest lucru reduce latența, desigur, dar îmbunătățește și durata de viață a bateriei - procesorul Snapdragon este proiectat să rămână inactiv pe tot parcursul operațiunii.

Este optimizat special pentru rețele în virgulă mobilă pe 16 biți și controlat de software-ul de învățare automată de la Qualcomm: Snapdragon Neural Processing Engine.

„L-am [luat] foarte în serios”, a spus un purtător de cuvânt al Qualcomm. „Am lucrat cu parteneri în ultimii trei ani pentru ca aceștia să utilizeze [...] siliciul nostru pentru AI și imagistică.”

Acești parteneri includ Google, care a folosit partea de procesare a imaginii a Hexagon DSP pentru a alimenta algoritmul HDR+ al Pixel și Pixel 2, de exemplu. În timp ce Google și-a introdus și propriul Pixel Core, merită remarcat faptul că dispozitivele compatibile cu Hexagon 685 DSP sunt cele care văd cele mai bune rezultate cu faimosul port Google Camera, în parte datorită (după cum am confirmat) HVX utilizare. Facebook, un alt partener, a lucrat îndeaproape cu Qualcomm pentru a accelera filtrele și efectele în timp real ale camerei Messenger.

Oppo și-a optimizat tehnologia de deblocare facială pentru Hexagon 685 DSP, iar Lenovo a dezvoltat caracteristica Landmark Detection în jurul acestuia.

Un motiv pentru bogăția de suport a platformei este simplitatea acesteia. Extensitatea SDK Hexagon de la Qualcomm acceptă limbajul Halide pentru procesarea imaginilor de înaltă performanță și nu este nevoie să vă faceți griji cu privire la cadrele de instruire pentru învățarea automată -- în majoritatea cazurilor, implementarea unui model este la fel de simplă ca și efectuarea unui apel API cazuri.

„Nu [...] concurăm cu IBM și Nvidia [în inteligență artificială], dar avem domenii pe care dezvoltatorii le pot accesa – și le au deja”, a spus Qualcomm pentru XDA Developers.

Hexagon vs. competitia

Hexagon 685 DSP al lui Snapdragon 845 vine în timp ce un număr tot mai mare de producători de echipamente originale (OEM) urmăresc propriile soluții AI mobile și pe dispozitiv. ale lui Huawei Kirin 970 -- sistemul pe cip din interiorul Mate 10 și Mate 10 Pro -- are o „unitate de procesare neuronală” (NPU) care poate recunoaște mai mult de 2.000 de imagini pe secundă la doar 1/50 din consumul de energie al unui procesor mediu de smartphone. Iar sistemul Apple A11 Bionic pe cip din iPhone 8, iPhone 8 Plus și iPhone X are un „motor neuronal” care realizează modelarea facială în timp real și până la 600 de miliarde de operații pe secundă.

Dar Qualcomm spune că agnosticismul platformei Hexagon îi oferă un avantaj. Spre deosebire de Apple și Huawei, care forțează în mare măsură dezvoltatorii să folosească API-uri proprietare, Qualcomm a căutat să sprijine unele dintre cele mai populare framework-uri open-source încă de la început. De exemplu, a lucrat cu Google pentru a optimiza TensorFlow, platforma de învățare automată a Google, pentru Hexagon 685 DSP -- Qualcomm spune că rulează de până la opt ori mai rapid și de 25 de ori mai eficient din punct de vedere energetic decât pe dispozitivele non-Hexagon.

Sursa: Qualcomm

Pe arhitectura DSP a Qualcomm, cea a Google GoogLeNet Inception Deep Neural Network -- un algoritm de învățare automată conceput pentru a evalua calitatea sistemelor de detectare și clasificare a obiectelor -- câștiguri demonstrate într-o demonstrație care arată o aplicație de recunoaștere a imaginii alimentată de TensorFlow pe două smartphone-uri: una care rulează aplicația pe CPU și cealaltă care o rulează pe Hexagonul Qualcomm DSP. Aplicația pentru smartphone accelerată cu DSP a capturat mai multe imagini pe secundă, a identificat obiectele mai rapid și a avut mai multă încredere în concluzia sa cu privire la obiectul decât aplicația numai pentru procesor.

De asemenea, Google folosește Hexagon 685 DSP pentru a accelera Project Tango, platforma sa de realitate augmentată pentru smartphone-uri. Phab 2 Pro de la Lenovo, ZenFone AR de la Asus și alte dispozitive cu modul IR de detectare a adâncimii Tango și camere de urmărire a imaginii profită de Qualcomm Arhitectură de procesare heterogenă, care deleagă sarcini de procesare între chipset-ul Snapdragon Hexagon 685 DSP, hubul senzorului și semnalul de imagine procesor (ISP). Rezultatul este o suprasarcină „mai puțin de 10 la sută” pe procesorul sistemului pe cip, conform Qualcomm.

„Din câte știm, suntem singurii bărbați mobili care [sunt] optimizări pentru performanță și eficiență energetică”, a spus un purtător de cuvânt al Qualcomm.

Desigur, concurenții lucrează și pentru a-și extinde sfera de influență și pentru a promova sprijinul dezvoltatorilor pe platformele lor. Cipul neuronal Kirin 970 a fost lansat cu suport pentru TensorFlow și cafea (cadru API deschis al Facebook) pe lângă API-urile Kirin de la Huawei, cu TensorFlow Lite și Cafeaua2 integrare pe drum la sfârșitul acestui an. Și Huawei a colaborat cu Microsoft pentru a-și optimiza Translatorul alimentat de inteligență artificială pentru Mate 10.

Dar Qualcomm are un alt avantaj: Reach. Producătorul de cipuri deținea 42% din piața de cipuri pentru smartphone-uri în prima jumătate a anului 2017, urmată de Apple și MediaTek cu 18% fiecare, potrivit Strategy Analytics. Este suficient să spunem că încă nu tremură în cizme.

Și Qualcomm prezice că va crește doar. Producătorul de cipuri proiectează venituri de 160 de miliarde de dolari până în 2025 cu tehnologii software AI precum viziunea computerizată și consideră piața smartphone-urilor -- care se așteaptă să atingă 8,6 miliarde de unități livrate până în 2021 -- ca fiind cea mai mare platformă.

Cu Hexagon 685 DSP și alte îmbunătățiri „terțiare” care își fac în mod continuu drum în aval spre gama medie hardware, este, de asemenea, mai ușor pentru cipurile Qualcomm să aducă învățarea automată pe dispozitiv la tot felul de dispozitive din apropiere. viitor. De asemenea, oferă un SDK la îndemână pentru dezvoltatori (nu este nevoie să se joace cu limbajul de asamblare DSP) pentru a profita de Hexagon 685 DSP și HVX în aplicațiile și serviciile lor.

„Este nevoie de aceste unități de procesare dedicate pentru procesarea neuronală, dar trebuie și să o extindeți, astfel încât să puteți susține cadre [open source]”, a spus un purtător de cuvânt al Qualcomm. „Dacă nu creezi acel ecosistem, nu există nicio modalitate de [...] dezvoltatorii să creeze pe el.”