Snapdragon 845 від Qualcomm містить потужний чіп машинного навчання. Він називається Hexagon 685 DSP, і це великий крок вперед у апаратному забезпеченні ШІ.
Snapdragon 845 — найновіша система-на-чіпі в сімействі Snapdragon від Qualcomm — є потужним процесором. Він може похвалитися швидкісними ядрами центрального процесора, процесором сигналів зображення Spectra третього покоління (ISP) і архітектурою, яка на 30 відсотків енергоефективніша, ніж попереднє покоління. Але, мабуть, найбільш вражаючим компонентом є співпроцесор — Hexagon 685 DSP — спеціально створений для штучного інтелекту та машинного навчання.
Що робить Qualcomm Hexagon 685 DSP?
«Векторна математика є основою глибокого навчання». - Тревіс Ланьє, старший директор із управління продуктами Qualcomm
Щоб зрозуміти, що робить Hexagon DSP таким унікальним, корисно знати, що штучний інтелект керує математичними фахами інженерних коледжів, з якими вони добре знайомі. Машинне навчання передбачає обчислення з великими векторами, що створює виклик для процесорів смартфонів, планшетів і ПК. Мікросхемам загального призначення важко швидко й ефективно обчислювати такі алгоритми, як стохастичний градієнтний спуск — різновиди алгоритмів, які є ядром додатків на основі ШІ. Qualcomm Hexagon DSP був представлений частково для вирішення цієї проблеми: він чудово працює з зображеннями та даними датчиків, особливо фотографії.
Але Hexagon DSP здатний на набагато більше, ніж просто прикрашати селфі. Включені контексти HVX (докладніше про них пізніше) дають йому перевагу як перед процесорами загального призначення, так і перед ядрами з фіксованими функціями; Hexagon 685 DSP надзвичайно ефективний у обчисленні математики, що лежить в основі машинного навчання на пристрої, але зберігає гнучкість більш програмованих процесорів.
Мікросхеми штучного інтелекту, такі як Hexagon 685 DSP, які іноді називають «нейронними процесорами», «нейронні двигуни» або «ядра машинного навчання» розроблені спеціально для математичних алгоритмів штучного інтелекту. потреби. Вони набагато жорсткіші за дизайном, ніж традиційні процесори, і містять спеціальні інструкції та домовленості (у випадку Hexagon 685 DSP, вищезгадана архітектура HVX), які прискорюють певні скалярні та векторні операції, які стають помітними у великих масштабах реалізації.
Процесор Hexagon 685 DSP процесора Snapdragon 845 може обробляти тисячі біт векторних одиниць за цикл обробки, порівняно з сотнями біт середнього ядра ЦП за цикл. Це задумом. Завдяки чотирьом паралельним скалярним потокам для операцій з дуже довгим інструкційним словом (VLIW) і кількома контекстами HVX DSP є здатний жонглювати декількома виконавчими одиницями за однією інструкцією та швидко виконувати цілі числа та десяткові дроби з фіксованою комою операції.
Замість того, щоб підвищувати продуктивність через чисті МГц, конструкція Hexagon 685 спрямована на високий рівень роботи за цикл при зниженій тактовій частоті. Він включає апаратну багатопотоковість, яка добре працює для VLIW, оскільки багатопотоковість приховує затримки конвеєра, що дозволяє краще використовувати пакети VLIW. Багатопотоковість DSP означає, що він може обслуговувати кілька сеансів розвантаження, тобто одночасні програми для аудіо, камери, комп’ютерний зір тощо – і одночасно прискорювати різні завдання, запобігаючи боротьбі за програми час виконання.
Але це не єдині переваги Hexagon DSP. Його архітектура набору інструкцій (ISA) має кращу ефективність порівняно з традиційним VLIW завдяки покращений керуючий код, і він використовує розумні прийоми для відновлення продуктивності після простою та зупинки нитки. Він також реалізує циклічне планування потоків із нульовою затримкою, тобто потоки DSP обробляють нові інструкції одразу після завершення попереднього пакета даних.
Щоб було зрозуміло, нічого з цього не є новим. Qualcomm представила «перше покоління» (або власне) Hexagon DSP -- Hexagon 680 або QDSP6 v6 -- поряд із Snapdragon 820 у 2015 році, а за Hexagon 680 послідував дещо покращений Шестикутник 682. Але останнє покоління є найдосконалішим і забезпечує в три рази загальну продуктивність DSP Snapdragon 835.
Багато в чому завдяки HVX, який дуже добре працював для обробки зображень (доповненої реальності, комп’ютерного зору, відео та зображень). Регістрами HVX DSP можна керувати будь-якими двома скалярними регістрами, і блоки HVX і скалярні блоки можна використовувати одночасно, що призводить до значного підвищення продуктивності та паралельності.
Ось Пояснення Qualcomm:
«Скажімо, ви обробляєте на мобільному ЦП у режимі керуючого коду та перемикаєтесь у режим обчислення на співпроцесорі. Якщо вам потрібен будь-який керуючий код, ви повинні зупинитися і повернутися від співпроцесора до основного ЦП. За допомогою Hexagon одночасно можуть працювати як процесор керуючого коду на DSP, так і процесор обчислювального коду на HVX для тісного зв’язку керуючого та обчислювального коду. Це дозволяє DSP отримувати результат обчислення HVX і використовувати його в керуючому коді в наступному такті».
HVX надає ще одну велику перевагу в обробці датчика зображення. Пристрої Snapdragon із Hexagon 685 DSP можуть передавати дані безпосередньо з датчика зображення в локальну пам’ять DSP (кеш L2), минаючи контролер пам’яті DDR пристрою. Звичайно, це зменшує затримку, але також збільшує термін служби батареї — процесор Snapdragon розроблений для простою протягом усієї операції.
Він спеціально оптимізований для 16-розрядних мереж з плаваючою комою та керується програмним забезпеченням машинного навчання Qualcomm: Snapdragon Neural Processing Engine.
«Ми [поставилися] до цього дуже серйозно», — сказав представник Qualcomm. «Ми працюємо з партнерами протягом останніх трьох років, щоб вони використовували [...] наш кремній для ШІ та зображень».
Ці партнери включають Google, який використовував частину обробки зображень Hexagon DSP, наприклад, для забезпечення алгоритму HDR+ Pixel і Pixel 2. Хоча Google також представила свій власний Pixel Core, варто зазначити, що пристрої з підтримкою Hexagon 685 DSP є ті, які дають найкращі результати зі знаменитим портом Google Camera, частково через (як ми підтвердили) HVX використання. Facebook, ще один партнер, тісно співпрацював із Qualcomm, щоб прискорити роботу фільтрів і ефектів камери Messenger у реальному часі.
Oppo оптимізувала свою технологію розпізнавання обличчя для Hexagon 685 DSP, а Lenovo розробила на її основі функцію визначення орієнтирів.
Однією з причин великої підтримки платформи є її простота. Широкий пакет Hexagon SDK від Qualcomm підтримує мову Halide для високопродуктивної обробки зображень, і в цьому немає потреби турбуватися про навчальні рамки машинного навчання – реалізація моделі здебільшого така ж проста, як виклик API випадків.
«Ми не [...] конкуруємо з такими компаніями, як IBM і Nvidia [у сфері штучного інтелекту], але у нас є сфери, до яких розробники можуть залучитися – і вже є», – сказав Qualcomm XDA Developers.
Шестикутник vs. змагання
Процесор процесора Hexagon 685 DSP процесора Snapdragon 845 з’являється в той момент, коли все більше виробників оригінального обладнання (OEM) намагаються розробити власні рішення ШІ для мобільних пристроїв і пристроїв. Huawei Kirin 970 -- система-на-чіпі всередині Mate 10 і Mate 10 Pro -- має «блок нейронної обробки» (NPU), який, як повідомляється, може розпізнавати понад 2000 зображень на секунду лише за 1/50 енергоспоживання середнього процесора смартфона. А система на чіпі Apple A11 Bionic в iPhone 8, iPhone 8 Plus і iPhone X має «Neural Engine», який виконує моделювання обличчя в реальному часі та виконує до 600 мільярдів операцій за секунду.
Але Qualcomm каже, що агностицизм платформи Hexagon дає йому перевагу. На відміну від Apple і Huawei, які здебільшого змушують розробників використовувати пропрієтарні API, Qualcomm прагнув підтримувати деякі з найпопулярніших фреймворків з відкритим кодом із самого початку. Наприклад, він співпрацював з Google для оптимізації TensorFlow, платформи машинного навчання Google, для Hexagon 685 DSP – Qualcomm каже, що він працює у вісім разів швидше та в 25 разів енергоефективніше, ніж на пристроях, які не є Hexagon.
На архітектурі DSP Qualcomm, Google Глибока нейронна мережа початку GoogLeNet -- алгоритм машинного навчання, розроблений для оцінки якості систем виявлення та класифікації об'єктів -- демонструє переваги в демонстраційному показі один додаток для розпізнавання зображень на базі TensorFlow на двох смартфонах: один запускає програму на ЦП, а інший – на Hexagon від Qualcomm. DSP. Додаток для смартфона з DSP-прискоренням робив більше зображень за секунду, швидше ідентифікував об’єкти та мав більшу впевненість у своєму висновку щодо того, що це за об’єкт, ніж додаток, що працює лише з процесором.
Google також використовує Hexagon 685 DSP для прискорення Project Tango, своєї платформи доповненої реальності для смартфонів. Phab 2 Pro від Lenovo, ZenFone AR від Asus та інші пристрої з інфрачервоним модулем із визначенням глибини Tango та камерами відстеження зображення використовують переваги Qualcomm. Гетерогенна архітектура обробки, яка делегує завдання обробки між процесором Hexagon 685 DSP чіпсета Snapdragon, концентратором датчика та сигналом зображення процесор (ISP). Результатом є «менше 10 відсотків» накладних витрат на ЦП системи-на-чіпі, згідно з Qualcomm.
«Наскільки нам відомо, ми єдині мобільні хлопці, які оптимізують продуктивність і енергоефективність», — сказав представник Qualcomm.
Звичайно, конкуренти також працюють над розширенням сфери свого впливу та сприянням підтримці розробників на своїх платформах. Випущений нейронний чіп Kirin 970 із підтримкою TensorFlow і Кафе (відкрита платформа API Facebook) на додаток до API Kirin від Huawei, з TensorFlow Lite і Кафе 2 інтеграція на шляху до кінця цього року. Крім того, Huawei працювала з Microsoft, щоб оптимізувати свій перекладач на основі штучного інтелекту для Mate 10.
Але Qualcomm має ще одну перевагу: охоплення. За даними Strategy Analytics, виробник чіпів займав 42 відсотки ринку чіпів для смартфонів у першій половині 2017 року, за ним йшли Apple і MediaTek з 18 відсотками кожна. Досить сказати, що він ще не трясеться в чоботях.
І Qualcomm прогнозує, що він лише зростатиме. Виробник мікросхем прогнозує 160 мільярдів доларів доходу до 2025 року завдяки програмним технологіям ШІ, таким як комп’ютерне бачення та розглядає ринок смартфонів, який, як очікується, досягне 8,6 мільярдів одиниць, проданих до 2021 року, як найбільший платформа.
З Hexagon 685 DSP та іншими «третинними» вдосконаленнями, які постійно просуваються вниз за течією до середнього діапазону апаратного забезпечення, чіпам Qualcomm також легше запроваджувати машинне навчання на всіх пристроях найближчим часом. майбутнє. Вони також пропонують зручний SDK для розробників (не потрібно возитися з мовою асемблера DSP), щоб скористатися перевагами Hexagon 685 DSP і HVX у своїх програмах і службах.
«Є потреба в цих спеціалізованих процесорах для нейронної обробки, але вам також потрібно розширити їх, щоб ви могли підтримувати фреймворки [з відкритим кодом]», — сказав представник Qualcomm. «Якщо ви не створите таку екосистему, [...] розробники не зможуть створювати на ній».