Snapdragon 845 od Qualcommu obsahuje výkonný čip strojového učenia. Volá sa Hexagon 685 DSP a je to veľký krok vpred v hardvéri AI.
Snapdragon 845 – najnovší systém na čipe z rodiny Snapdragon od Qualcommu – je výkonným procesorom. Môže sa pochváliť rýchlymi jadrami CPU, procesorom obrazového signálu Spectra tretej generácie (ISP) a architektúrou, ktorá je o 30 percent energeticky efektívnejšia ako predchádzajúca generácia. Ale pravdepodobne jeho najpôsobivejším komponentom je koprocesor – Hexagon 685 DSP – ktorý je ušitý na mieru pre umelú inteligenciu a strojové učenie.
Čo robí Qualcomm Hexagon 685 DSP kliešťom?
"Vektorová matematika je základom hlbokého učenia." - Travis Lanier, vrchný riaditeľ produktového manažmentu spoločnosti Qualcomm
Aby sme pochopili, čo robí Hexagon DSP tak jedinečným, je užitočné vedieť, že AI je poháňaná typom inžinierskych odborov matematických vysokých škôl, ktoré dôverne poznajú. Strojové učenie zahŕňa výpočty s veľkými vektormi, čo predstavuje výzvu pre procesory smartfónov, tabletov a počítačov. Pre čipy na všeobecné použitie je ťažké rýchlo a efektívne počítať algoritmy, ako je stochastický gradientový zostup – druhy algoritmov, ktoré sú jadrom aplikácií poháňaných AI. Qualcomm Hexagon DSP bol predstavený čiastočne preto, aby to vyriešil: Je skvelý pri manipulácii s obrazovými a senzorovými dátami, najmä pri fotografovaní.
Hexagon DSP je však schopný oveľa viac ako len vytvárať selfie. Zahrnuté kontexty HVX (viac o nich neskôr) mu dávajú výhodu univerzálnych procesorov aj jadier s pevnou funkciou; Hexagon 685 DSP je úžasne efektívny pri výpočte matematiky za strojovým učením na zariadení, ale zachováva si flexibilitu viac programovateľných procesorov.
Čipy AI ako Hexagon 685 DSP, ktoré sa niekedy označujú ako „jednotky neurálneho spracovania“, „neurónové motory“ alebo „jadrá strojového učenia“ sú prispôsobené špeciálne pre matematické algoritmy AI potreby. Majú oveľa pevnejší dizajn ako tradičné CPU a obsahujú špeciálne pokyny a usporiadania (v prípade Hexagon 685 DSP, vyššie spomínaná architektúra HVX), ktoré urýchľujú určité skalárne a vektorové operácie, ktoré sa stávajú viditeľnými vo veľkom meradle implementácií.
Hexagon 685 DSP Snapdragon 845 dokáže spracovať tisíce bitov vektorových jednotiek na cyklus spracovania v porovnaní so stovkami bitov za cyklus priemerného jadra CPU. To je zámerne. So štyrmi paralelnými skalárnymi vláknami pre operácie s veľmi dlhými inštrukciami (VLIW) a viacerými kontextami HVX je DSP schopný žonglovať s viacerými vykonávacími jednotkami na jednej inštrukcii a prechádzať cez celé číslo a desatinnú čiarku operácií.
Dizajn Hexagon 685 sa namiesto presadzovania výkonu cez surové MHz zameriava na vysokú úroveň práce na cyklus pri zníženej rýchlosti hodín. Zahŕňa hardvérové multi-threading, ktorý funguje dobre pre VLIW, pretože multi-threading skrýva latencie pipeline umožňujúce lepšie využitie paketov VLIW. Viacvláknové spracovanie DSP znamená, že dokáže obsluhovať viacero relácií znižovania záťaže – t. j. súbežné aplikácie pre zvuk, fotoaparát, počítačové videnie a tak ďalej -- a súčasne urýchľujú rôzne úlohy, čím bránia aplikáciám bojovať čas vykonania.
Ale to nie sú jediné silné stránky Hexagon DSP. Jeho architektúra inštrukčnej sady (ISA) sa môže pochváliť vyššou účinnosťou oproti tradičnému VLIW vďaka vylepšený riadiaci kód a využíva chytré triky na obnovenie výkonu z nečinnosti a zastavenia vlákna. Implementuje tiež plánovanie vlákien typu round-robin s nulovou latenciou, čo znamená, že vlákna procesora číslicových signálov spracovávajú nové inštrukcie ihneď po dokončení predchádzajúceho dátového paketu.
Nič z toho nie je nové, aby bolo jasné. Qualcomm predstavil „prvú generáciu“ (alebo správny) Hexagon DSP – Hexagon 680 alebo QDSP6 v6 – po boku Snapdragonu 820 v roku 2015 a po Hexagone 680 nasledoval stále mierne vylepšený Šesťuholník 682. Najnovšia generácia je však zatiaľ najsofistikovanejšia a poskytuje až trojnásobok celkového výkonu DSP Snapdragonu 835.
Je to z veľkej časti vďaka HVX, ktoré fungovalo veľmi dobre na spracovanie obrazu (napríklad rozšírená realita, počítačové videnie, video a obrázky). Registre HVX DSP môžu byť ovládané akýmikoľvek dvoma skalárnymi registrami a jednotky HVX a skalárne jednotky môžu byť použité súčasne, čo vedie k výraznému zvýšeniu výkonu a súbežnosti.
Tu je Vysvetlenie Qualcommu:
„Povedzme, že spracovávate na mobilnom CPU v režime riadiaceho kódu a prepnete sa do výpočtového režimu na koprocesore. Ak potrebujete nejaký riadiaci kód, musíte zastaviť a vrátiť sa z koprocesora do hlavného CPU. S Hexagonom môžu procesor riadiaceho kódu na DSP aj procesor výpočtového kódu na HVX bežať súčasne, čím sa dosiahne tesné prepojenie riadiaceho a výpočtového kódu. To umožňuje DSP vziať výsledok výpočtu HVX a použiť ho pri rozhodovaní o riadiacom kóde v nasledujúcom taktovom cykle.
HVX poskytuje ďalšiu veľkú výhodu v spracovaní obrazového snímača. Zariadenia Snapdragon s Hexagon 685 DSP môžu prenášať údaje priamo zo zobrazovacieho snímača do lokálnej pamäte DSP (L2 Cache), čím obchádzajú radič pamäte DDR zariadenia. To samozrejme znižuje latenciu, ale tiež zlepšuje výdrž batérie - procesor Snapdragon je navrhnutý tak, aby bežal počas celej operácie na nečinnosť.
Je špeciálne optimalizovaný pre 16-bitové siete s pohyblivou rádovou čiarkou a ovládaný softvérom strojového učenia Qualcomm: Snapdragon Neural Processing Engine.
"Vzali sme to veľmi vážne," povedal hovorca Qualcommu. „Posledné tri roky sme spolupracovali s partnermi, aby využili [...] náš kremík pre AI a zobrazovanie.“
Medzi týchto partnerov patrí spoločnosť Google, ktorá použila časť na spracovanie obrazu Hexagon DSP napríklad na napájanie algoritmu HDR+ pre Pixel a Pixel 2. Aj keď Google predstavil svoje vlastné Pixel Core, stojí za zmienku, že zariadenia s podporou Hexagon 685 DSP sú tie, ktoré dosahujú najlepšie výsledky so známym portom Google Camera, čiastočne kvôli (ako sme potvrdili) HVX využitie. Facebook, ďalší partner, úzko spolupracoval so spoločnosťou Qualcomm na zrýchlení filtrov a efektov kamier v reálnom čase v Messengeri.
Oppo optimalizovalo svoju technológiu odomykania tvárou pre Hexagon 685 DSP a Lenovo okolo nej vyvinulo funkciu Landmark Detection.
Jedným z dôvodov bohatej podpory platformy je jej jednoduchosť. Rozsiahla súprava Hexagon SDK od Qualcommu podporuje jazyk Halide pre vysokovýkonné spracovanie obrazu a nie je potrebné starať sa o tréningové rámce strojového učenia – implementácia modelu je vo väčšine prípadov taká jednoduchá ako volanie API prípady.
„Nesúťažíme [...] s firmami ako IBM a Nvidia [v AI], ale máme oblasti, do ktorých môžu vývojári zasiahnuť – a už majú,“ povedal Qualcomm pre XDA Developers.
Šesťuholník vs. súťaž
Hexagon 685 DSP modelu Snapdragon 845 prichádza v čase, keď čoraz väčší počet výrobcov originálneho vybavenia (OEM) využíva vlastné riešenia AI pre mobilné zariadenia a zariadenia. od spoločnosti Huawei Kirin 970 -- systém na čipe vo vnútri Kamarát 10 a Mate 10 Pro - má „neurónovú procesorovú jednotku“ (NPU), ktorá údajne dokáže rozpoznať viac ako 2 000 obrázkov za sekundu pri iba 1/50 spotrebe energie priemerného CPU smartfónu. A systém Apple A11 Bionic na čipe v zariadeniach iPhone 8, iPhone 8 Plus a iPhone X má „neurálny motor“, ktorý vykonáva modelovanie tváre v reálnom čase a až 600 miliárd operácií za sekundu.
Qualcomm však hovorí, že agnosticizmus platformy Hexagon mu dáva výhodu. Na rozdiel od spoločností Apple a Huawei, ktoré do značnej miery nútia vývojárov používať proprietárne API, Qualcomm sa už od začiatku snažil podporovať niektoré z najpopulárnejších rámcov s otvoreným zdrojovým kódom. Na optimalizácii spolupracoval napríklad s Google TensorFlow, platforma strojového učenia od Googlu, pre Hexagon 685 DSP – Qualcomm hovorí, že beží až osemkrát rýchlejšie a 25-krát efektívnejšie ako na zariadeniach iných výrobcov.
Na architektúre DSP spoločnosti Qualcomm, spoločnosti Google Počiatok GoogleLeNet hlboká neurónová sieť -- Algoritmus strojového učenia navrhnutý na hodnotenie kvality systémov detekcie a klasifikácie objektov -- demonštroval výhody v ukážke jedna aplikácia na rozpoznávanie obrázkov s podporou TensorFlow na dvoch smartfónoch: jedna, ktorá spúšťa aplikáciu na CPU a druhá, ktorá ju spúšťa na Qualcomm's Hexagon DSP. Aplikácia pre smartfóny s akceleráciou DSP zachytila viac obrázkov za sekundu, rýchlejšie identifikovala objekty a mala väčšiu dôveru vo svoj záver o tom, aký objekt je, ako aplikácia iba pre CPU.
Google tiež používa Hexagon 685 DSP na zrýchlenie Project Tango, svojej platformy rozšírenej reality pre smartfóny. Lenovo Phab 2 Pro, Asus ZenFone AR a ďalšie zariadenia s IR modulom Tango s hĺbkovým snímaním a kamerami na sledovanie obrazu využívajú výhody technológie Qualcomm. Heterogeneous Processing Architecture, ktorá deleguje úlohy spracovania medzi Hexagon 685 DSP čipsetu Snapdragon, senzorový rozbočovač a obrazový signál. procesor (ISP). Výsledkom je „menej ako 10 percent“ režijných nákladov na CPU systému na čipe, podľa Qualcomm.
„Pokiaľ vieme, sme jediní mobilní ľudia, ktorí optimalizujú výkon a energetickú účinnosť,“ povedal hovorca Qualcommu.
Samozrejme, konkurenti tiež pracujú na rozšírení svojej sféry vplyvu a podpore vývojárov na svojich platformách. Neurónový čip Kirin 970 bol spustený s podporou TensorFlow a Caffe (otvorený rámec API na Facebooku) okrem rozhraní Kirin API od spoločnosti Huawei, s TensorFlow Lite a Caffe2 integrácia na ceste koncom tohto roka. Huawei spolupracoval so spoločnosťou Microsoft na optimalizácii svojho prekladača poháňaného AI pre Mate 10.
Qualcomm má však ďalšiu výhodu: Reach. Podľa Strategy Analytics mal výrobca čipov v prvom polroku 2017 42 percent trhu s čipmi pre smartfóny, po ňom nasledovali Apple a MediaTek s 18 percentami. Stačí povedať, že sa ešte netrasie v čižmách.
A Qualcomm predpovedá, že bude len rásť. Výrobca čipov predpokladá do roku 2025 príjmy vo výške 160 miliárd dolárov so softvérovými technológiami AI, ako je počítačové videnie a považuje trh so smartfónmi – ktorý by mal do roku 2021 dosiahnuť 8,6 miliardy kusov predaných – za najväčší plošina.
S Hexagon 685 DSP a ďalšími „terciárnymi“ vylepšeniami, ktoré sa neustále presadzujú smerom nadol až po stredný rozsah hardvéru, je tiež pre čipy Qualcomm jednoduchšie priniesť strojové učenie na zariadení do všetkých druhov zariadení v blízkosti budúcnosti. Ponúkajú tiež praktickú súpravu SDK pre vývojárov (nie je potrebné sa zaoberať jazykom montáže DSP), aby mohli využívať výhody Hexagon 685 DSP a HVX vo svojich aplikáciách a službách.
„Tieto špecializované jednotky spracovania sú potrebné na neurónové spracovanie, ale musíte ich tiež rozšíriť, aby ste mohli podporovať rámce [open source],“ povedal hovorca Qualcommu. „Ak nevytvoríte tento ekosystém, nie je možné, aby [...] vývojári na ňom vytvorili.“