Snapdragon 845 od Qualcommu obsahuje výkonný čip strojového učení. Jmenuje se Hexagon 685 DSP a je to velký krok vpřed v hardwaru AI.
Snapdragon 845 – nejnovější systém na čipu v rodině Qualcomm Snapdragon – je výkonný procesor. Může se pochlubit rychlými jádry CPU, procesorem obrazového signálu Spectra třetí generace (ISP) a architekturou, která je o 30 procent energeticky účinnější než předchozí generace. Jeho nejpůsobivější součástí je ale pravděpodobně koprocesor – Hexagon 685 DSP – který je šitý na míru pro umělou inteligenci a strojové učení.
Co dělá Qualcomm Hexagon 685 DSP klíště?
"Vektorová matematika je základem hlubokého učení." - Travis Lanier, vrchní ředitel produktového managementu společnosti Qualcomm
Abychom pochopili, v čem je Hexagon DSP tak jedinečný, pomůže nám vědět, že umělou inteligenci pohání ten typ inženýrů na vysokých školách, které jsou důvěrně známé. Strojové učení zahrnuje výpočty s velkými vektory, což představuje výzvu pro procesory smartphonů, tabletů a počítačů. Pro univerzální čipy je těžké rychle a efektivně vypočítat algoritmy, jako je stochastický gradientní sestup – druhy algoritmů, které jsou jádrem aplikací založených na umělé inteligenci. Qualcomm Hexagon DSP byl představen částečně proto, aby to vyřešil: Je skvělý při práci s obrazovými a senzorovými daty, zejména s fotografiemi.
Hexagon DSP je však schopen mnohem více než jen vytvářet selfie. Zahrnuté kontexty HVX (více o nich později) mu dávají výhodu jak univerzálních procesorů, tak jader s pevnou funkcí; Hexagon 685 DSP je úžasně efektivní při výpočtu matematiky za strojovým učením na zařízení, ale zachovává si flexibilitu více programovatelných procesorů.
AI čipy jako Hexagon 685 DSP, které jsou někdy označovány jako „neuronové procesorové jednotky“, „neuronové motory“ nebo „jádra strojového učení“ jsou přizpůsobeny speciálně pro matematické algoritmy AI potřeby. Mají mnohem pevnější konstrukci než tradiční CPU a obsahují speciální instrukce a uspořádání (v případě Hexagon 685 DSP, výše zmíněná architektura HVX), které urychlují určité skalární a vektorové operace, které se stávají patrnými ve velkém měřítku implementací.
Hexagon 685 DSP procesoru Snapdragon 845 dokáže zpracovat tisíce bitů vektorových jednotek na cyklus zpracování ve srovnání se stovkami bitů na cyklus průměrného jádra CPU. To je záměrně. Díky čtyřem paralelním skalárním vláknům pro operace s velmi dlouhým instrukčním slovem (VLIW) a více kontexty HVX je DSP schopný žonglovat s více prováděcími jednotkami na jedné instrukci a procházet celými čísly a desetinnými místy operace.
Design Hexagon 685 se spíše než prosazování výkonu přes nezpracované MHz zaměřuje na vysokou úroveň práce na cyklus při sníženém taktu. Zahrnuje hardwarové multi-threading, které funguje dobře pro VLIW, protože multi-threading skrývá latence potrubí a umožňuje lepší využití paketů VLIW. Vícevláknové zpracování DSP znamená, že může obsluhovat více relací odlehčení – tj. souběžné aplikace pro zvuk, fotoaparát, počítačové vidění a tak dále -- a souběžně zrychlují různé úkoly a brání aplikacím, aby o ně musely bojovat doba provedení.
Ale to nejsou jediné silné stránky Hexagon DSP. Jeho architektura instrukční sady (ISA) se může pochlubit vylepšenou účinností oproti tradičnímu VLIW díky vylepšený řídicí kód a využívá chytré triky k obnovení výkonu z nečinnosti a zastavení vlákna. Implementuje také plánování vláken typu round-robin s nulovou latencí, což znamená, že vlákna DSP zpracovávají nové instrukce ihned po dokončení předchozího datového paketu.
Nic z toho není nové, aby bylo jasno. Qualcomm představil „první generaci“ (nebo správný) Hexagon DSP – Hexagon 680 nebo QDSP6 v6 – vedle Snapdragonu 820 v roce 2015 a Hexagon 680 byl následován stále mírně vylepšeným Hexagon 682. Ale nejnovější generace je zatím nejpropracovanější a poskytuje až trojnásobek celkového výkonu DSP Snapdragonu 835.
To je z velké části díky HVX, které fungovalo velmi dobře pro zpracování obrazu (vzpomeňte si na rozšířenou realitu, počítačové vidění, video a obrázky). Registry HVX DSP lze ovládat libovolnými dvěma skalárními registry a jednotky HVX a skalární jednotky lze používat současně, což vede k podstatnému zvýšení výkonu a souběžnosti.
Zde je Vysvětlení společnosti Qualcomm:
„Řekněme, že zpracováváte na mobilním CPU v režimu řídicího kódu a přepnete do výpočetního režimu na koprocesoru. Pokud potřebujete nějaký řídicí kód, musíte se zastavit a vrátit se z koprocesoru do hlavního CPU. S Hexagonem mohou procesor řídicího kódu na DSP i procesor výpočetního kódu na HVX běžet současně, aby bylo zajištěno těsné propojení řídicího a výpočetního kódu. To umožňuje DSP vzít výsledek výpočtu HVX a použít jej při rozhodování o řídicím kódu v příštím hodinovém cyklu.
HVX poskytuje další velkou výhodu ve zpracování obrazového snímače. Zařízení Snapdragon s Hexagon 685 DSP mohou streamovat data přímo ze zobrazovacího senzoru do místní paměti DSP (L2 Cache), čímž obcházejí řadič paměti DDR zařízení. To samozřejmě snižuje latenci, ale také zlepšuje výdrž baterie – procesor Snapdragon je navržen tak, aby byl po celou dobu provozu nečinný.
Je speciálně optimalizován pro 16bitové sítě s pohyblivou řádovou čárkou a je řízen softwarem strojového učení Qualcomm: Snapdragon Neural Processing Engine.
"Vzali jsme to velmi vážně," řekl mluvčí Qualcommu. „Poslední tři roky jsme spolupracovali s partnery, aby využili [...] náš křemík pro umělou inteligenci a zobrazování.“
Mezi tyto partnery patří Google, který použil část pro zpracování obrazu Hexagon DSP například k napájení algoritmu HDR+ Pixelu a Pixelu 2. I když Google představil své vlastní Pixel Core, stojí za zmínku, že zařízení s podporou Hexagon 685 DSP jsou ty, které dosahují nejlepších výsledků se slavným portem Google Camera, částečně kvůli (jak jsme potvrdili) HVX využití. Facebook, další partner, úzce spolupracoval s Qualcomm na zrychlení filtrů a efektů fotoaparátu v reálném čase v Messengeru.
Společnost Oppo optimalizovala svou technologii odemykání obličejem pro Hexagon 685 DSP a Lenovo kolem ní vyvinulo funkci Landmark Detection.
Jedním z důvodů bohaté podpory platformy je její jednoduchost. Rozsáhlá sada Hexagon SDK společnosti Qualcomm podporuje jazyk Halide pro vysoce výkonné zpracování obrazu a není potřeba starat se o tréninkové rámce strojového učení – implementace modelu je ve většině případů stejně jednoduchá jako volání API případy.
„Nesoutěžíme [...] s IBM a Nvidia [v AI], ale máme oblasti, do kterých mohou vývojáři sáhnout – a již mají,“ řekl Qualcomm XDA Developers.
Hexagon vs. konkurence
Hexagon 685 DSP Snapdragonu 845 přichází s tím, jak stále větší počet výrobců originálního vybavení (OEM) využívá vlastní řešení AI pro mobilní zařízení a zařízení. od společnosti Huawei Kirin 970 -- systém na čipu uvnitř Kamarád 10 a Mate 10 Pro - má „neurální procesorovou jednotku“ (NPU), která údajně dokáže rozpoznat více než 2 000 snímků za sekundu při pouhé 1/50 spotřebě energie průměrného CPU smartphonu. A systém Apple A11 Bionic na čipu v iPhone 8, iPhone 8 Plus a iPhone X má „Neural Engine“, který provádí modelování obličeje v reálném čase a až 600 miliard operací za sekundu.
Ale Qualcomm říká, že agnosticismus platformy Hexagon mu dává výhodu. Na rozdíl od Applu a Huawei, které do značné míry nutí vývojáře používat proprietární API, se Qualcomm snažil podporovat některé z nejpopulárnějších open-source frameworků hned od začátku. Na optimalizaci spolupracoval například s Googlem TensorFlow, platforma pro strojové učení od Googlu, pro Hexagon 685 DSP – Qualcomm říká, že běží až osmkrát rychleji a 25krát efektivněji než na zařízeních jiných výrobců než Hexagon.
Na architektuře DSP společnosti Qualcomm, společnosti Google GoogleLeNet Počátek hluboké neuronové sítě -- Algoritmus strojového učení navržený pro hodnocení kvality systémů detekce a klasifikace objektů -- demonstroval úspěchy v demo ukázce jedna aplikace pro rozpoznávání obrazu využívající technologii TensorFlow na dvou chytrých telefonech: jedna, která spouští aplikaci na CPU, a druhá, která ji spouští na Qualcomm's Hexagon DSP. Aplikace pro chytré telefony s akcelerací DSP zachytila více snímků za sekundu, identifikovala objekty rychleji a měla větší důvěru ve svůj závěr o tom, jaký objekt je, než aplikace pouze pro CPU.
Google také používá Hexagon 685 DSP k urychlení Project Tango, své platformy pro rozšířenou realitu pro chytré telefony. Lenovo Phab 2 Pro, Asus ZenFone AR a další zařízení s IR modulem Tango pro hloubkové snímání a kamerami pro sledování obrazu využívají výhody Qualcomm. Heterogeneous Processing Architecture, která deleguje úlohy zpracování mezi Hexagon 685 DSP čipové sady Snapdragon, senzorový rozbočovač a obrazový signál procesor (ISP). Výsledkem je „méně než 10 procent“ režie na CPU systému na čipu, podle Qualcommu.
"Pokud víme, jsme jediní mobilní lidé, kteří optimalizují výkon a energetickou účinnost," řekl mluvčí Qualcommu.
Konkurenti samozřejmě také pracují na rozšíření své sféry vlivu a podpoře vývojářů na svých platformách. Neuronový čip Kirin 970 byl spuštěn s podporou TensorFlow a Caffe (otevřený rámec API na Facebooku) kromě rozhraní Kirin API společnosti Huawei, s TensorFlow Lite a Caffe2 integrace na cestě koncem tohoto roku. A Huawei spolupracoval s Microsoftem na optimalizaci svého překladače s umělou inteligencí pro Mate 10.
Qualcomm má ale ještě jednu výhodu: Reach. Výrobce čipů ovládal 42 procent trhu čipů pro chytré telefony v první polovině roku 2017, následován společnostmi Apple a MediaTek s 18 procenty, podle Strategy Analytics. Stačí říct, že se ještě netřese v botách.
A Qualcomm předpovídá, že bude jen růst. Výrobce čipů předpokládá do roku 2025 příjmy ve výši 160 miliard dolarů se softwarovými technologiemi AI, jako je počítačové vidění a považuje trh smartphonů – který by měl do roku 2021 dosáhnout 8,6 miliardy prodaných kusů – jako největší plošina.
Díky Hexagon 685 DSP a dalším „terciárním“ vylepšením se neustále prosazují po proudu až do střední třídy hardwaru, je také pro čipy Qualcomm snazší přinášet strojové učení na zařízení do všech druhů zařízení v blízkém okolí. budoucnost. Nabízejí také praktickou sadu SDK pro vývojáře (nemusí se pohrávat s jazykem assembleru DSP), aby mohli využívat výhody Hexagon 685 DSP a HVX ve svých aplikacích a službách.
„Je potřeba těchto vyhrazených procesorových jednotek pro neurální zpracování, ale také je potřebujete rozšířit, abyste mohli podporovat rámce [open source],“ řekl mluvčí Qualcommu. "Pokud nevytvoříte tento ekosystém, neexistuje způsob, jak [...] vývojáři na něm mohou vytvářet."