Snapdragon 845 от Qualcomm содержит мощный чип машинного обучения. Он называется Hexagon 685 DSP и является большим шагом вперед в области аппаратного обеспечения искусственного интеллекта.
Snapdragon 845 — новейшая система на кристалле семейства Snapdragon компании Qualcomm — представляет собой мощный процессор. Он может похвастаться быстрыми ядрами ЦП, процессором сигналов изображения Spectra третьего поколения (ISP) и архитектурой, которая на 30 процентов более энергоэффективна, чем предыдущее поколение. Но, пожалуй, его самым впечатляющим компонентом является сопроцессор Hexagon 685 DSP, специально созданный для искусственного интеллекта и машинного обучения.
Что же отличает процессор Qualcomm Hexagon 685 DSP?
«Векторная математика — основа глубокого обучения». - Трэвис Ланье, старший директор по управлению продуктами Qualcomm
Чтобы понять, что делает Hexagon DSP таким уникальным, полезно знать, что ИИ управляется теми специалистами математических колледжей, с которыми хорошо знакомы инженеры. Машинное обучение включает в себя вычисления с большими векторами, что представляет собой проблему для процессоров смартфонов, планшетов и ПК. Чипам общего назначения сложно быстро и эффективно вычислять такие алгоритмы, как стохастический градиентный спуск — те виды алгоритмов, которые лежат в основе приложений на базе искусственного интеллекта. Частично для решения этой проблемы был представлен процессор Qualcomm Hexagon DSP: он отлично справляется с обработкой данных изображений и датчиков, особенно фотографий.
Но Hexagon DSP способен на гораздо большее, чем просто украсить селфи. Включенные контексты HVX (подробнее о них позже) дают ему преимущество как процессоров общего назначения, так и ядер с фиксированными функциями; Hexagon 685 DSP невероятно эффективен при выполнении математических вычислений, лежащих в основе машинного обучения на устройстве, но сохраняет гибкость более программируемых процессоров.
Чипы искусственного интеллекта, такие как Hexagon 685 DSP, которые иногда называют «нейронными процессорами», «Нейронные двигатели» или «ядра машинного обучения» специально адаптированы к математическим задачам алгоритмов ИИ. потребности. Они имеют гораздо более жесткую конструкцию, чем традиционные ЦП, и содержат специальные инструкции и механизмы (в случае Hexagon 685 DSP вышеупомянутая архитектура HVX), которые ускоряют некоторые скалярные и векторные операции, которые становятся заметными в крупномасштабных реализации.
Процессор Hexagon 685 DSP процессора Snapdragon 845 может обрабатывать тысячи бит векторных единиц за цикл обработки, по сравнению с сотнями битов ядра среднего процессора за цикл. Это задумано. Благодаря четырем параллельным скалярным потокам для операций с очень длинными командами (VLIW) и множеству контекстов HVX, DSP способен манипулировать несколькими исполнительными блоками в одной инструкции и быстро обрабатывать целые и десятичные числа с фиксированной запятой операции.
Вместо того, чтобы повышать производительность за счет необработанных МГц, конструкция Hexagon 685 нацелена на высокий уровень работы за такт при пониженной тактовой частоте. Он включает в себя аппаратную многопоточность, которая хорошо работает для VLIW, поскольку многопоточность скрывает задержки конвейера и позволяет лучше использовать пакеты VLIW. Многопоточность DSP означает, что он может обслуживать несколько сеансов разгрузки, то есть одновременные приложения для аудио, камеры, компьютерное зрение и т. д., а также одновременно ускорять различные задачи, избавляя приложения от необходимости бороться за время исполнения.
Но это не единственные сильные стороны Hexagon DSP. Его архитектура набора команд (ISA) может похвастаться повышенной эффективностью по сравнению с традиционным VLIW благодаря улучшенный управляющий код, в котором используются хитрые приемы для восстановления производительности после простоя и остановок. потоки. Он также реализует циклическое планирование потоков с нулевой задержкой, что означает, что потоки DSP обрабатывают новые инструкции сразу после завершения предыдущего пакета данных.
Все это не ново, чтобы было ясно. Qualcomm представила Hexagon DSP «первого поколения» (или собственно) — Hexagon 680, или QDSP6 v6. наряду со Snapdragon 820 в 2015 году, а за Hexagon 680 последовал немного улучшенный Шестиугольник 682. Но последнее поколение является самым сложным и обеспечивает в три раза большую общую производительность DSP Snapdragon 835.
Во многом это благодаря HVX, который очень хорошо работал при обработке изображений (например, дополненная реальность, компьютерное зрение, видео и изображения). Регистры HVX DSP могут управляться любыми двумя скалярными регистрами, а блоки HVX и скалярные блоки могут использоваться одновременно, что приводит к существенному увеличению производительности и параллелизма.
Вот Объяснение Qualcomm:
«Предположим, вы выполняете обработку на мобильном процессоре в режиме управляющего кода и переключаетесь в вычислительный режим на сопроцессоре. Если вам нужен какой-либо управляющий код, вам придется остановиться и вернуться от сопроцессора к основному процессору. При использовании Hexagon и процессор управляющего кода на DSP, и процессор вычислительного кода на HVX могут работать одновременно, обеспечивая тесную связь управляющего и вычислительного кода. Это позволяет DSP взять результат вычисления HVX и использовать его при принятии решения по управляющему коду в следующем тактовом цикле».
HVX дает еще одно большое преимущество при обработке изображений датчиком. Устройства Snapdragon с процессором Hexagon 685 DSP могут передавать данные напрямую от датчика изображения в локальную память DSP (кэш L2), минуя контроллер памяти DDR устройства. Это, конечно, уменьшает задержку, но также увеличивает время автономной работы — процессор Snapdragon предназначен для работы в режиме ожидания на протяжении всей операции.
Он специально оптимизирован для 16-битных сетей с плавающей запятой и управляется программным обеспечением машинного обучения Qualcomm: Snapdragon Neural Processing Engine.
«Мы отнеслись к этому очень серьезно», — сказал представитель Qualcomm. «Последние три года мы работали с партнерами, чтобы они использовали [...] наш кремний для искусственного интеллекта и обработки изображений».
В число этих партнеров входит Google, который, например, использовал часть обработки изображений Hexagon DSP для работы алгоритма HDR+ в Pixel и Pixel 2. Хотя Google также представила собственное Pixel Core, стоит отметить, что устройства с поддержкой Hexagon 685 DSP являются те, которые видят лучшие результаты со знаменитым портом Google Camera, отчасти (как мы подтвердили) из-за HVX использование. Facebook, еще один партнер, тесно сотрудничал с Qualcomm для ускорения работы фильтров и эффектов камеры Messenger в реальном времени.
Oppo оптимизировала свою технологию разблокировки по лицу для Hexagon 685 DSP, а Lenovo разработала на ее основе функцию обнаружения ориентиров.
Одной из причин богатой поддержки платформы является ее простота. Обширный Hexagon SDK от Qualcomm поддерживает язык Halide для высокопроизводительной обработки изображений, и в этом нет необходимости. беспокоиться о средах обучения машинному обучению — в большинстве случаев реализовать модель так же просто, как сделать вызов API. случаи.
«Мы не [...] конкурируем с такими компаниями, как IBM и Nvidia [в области искусственного интеллекта], но у нас есть области, к которым разработчики могут подключиться — и они уже есть», — сказал Qualcomm XDA Developers.
Шестиугольник против. конкурс
Процессор Hexagon 685 DSP Snapdragon 845 появляется в связи с тем, что все больше производителей оригинального оборудования (OEM) разрабатывают собственные решения искусственного интеллекта для мобильных устройств и устройств. Huawei Кирин 970 -- система-на-кристалле внутри Мат 10 и Мате 10 Про — имеет «нейронный процессор» (NPU), который, как сообщается, может распознавать более 2000 изображений в секунду при энергопотреблении всего в 1/50 от среднего процессора смартфона. А встроенная система Apple A11 Bionic в iPhone 8, iPhone 8 Plus и iPhone X оснащена «Neural Engine», который выполняет моделирование лица в реальном времени и выполняет до 600 миллиардов операций в секунду.
Но Qualcomm утверждает, что агностицизм платформы Hexagon дает ей преимущество. В отличие от Apple и Huawei, которые в основном заставляют разработчиков использовать проприетарные API, Qualcomm с самого начала стремилась поддерживать некоторые из самых популярных платформ с открытым исходным кодом. Например, он работал с Google над оптимизацией Тензорфлоу, платформа машинного обучения Google, для Hexagon 685 DSP. Qualcomm заявляет, что она работает в восемь раз быстрее и в 25 раз более энергоэффективно, чем на устройствах сторонних производителей.
На архитектуре DSP Qualcomm Google GoogLeNet Inception Глубокая нейронная сеть — алгоритм машинного обучения, предназначенный для оценки качества систем обнаружения и классификации объектов — продемонстрировал преимущества в демонстрационной демонстрации одно приложение для распознавания изображений на базе TensorFlow на двух смартфонах: один запускает приложение на процессоре, а другой — на процессоре Qualcomm Hexagon. ДСП. Приложение для смартфонов с DSP-ускорением захватывало больше изображений в секунду, быстрее идентифицировало объекты и имело большую уверенность в выводах о том, что это был за объект, чем приложение, работающее только на процессоре.
Google также использует Hexagon 685 DSP для ускорения Project Tango, своей платформы дополненной реальности для смартфонов. Lenovo Phab 2 Pro, Asus ZenFone AR и другие устройства с ИК-модулем Tango для определения глубины и камерами слежения за изображением используют преимущества Qualcomm. Архитектура гетерогенной обработки, которая делегирует задачи обработки между процессором Hexagon 685 DSP чипсета Snapdragon, концентратором датчиков и сигналом изображения. процессор (ISP). По данным Qualcomm, в результате нагрузка на ЦП системы-на-кристалле составляет «менее 10 процентов».
«Насколько нам известно, мы единственные мобильные разработчики, которые оптимизируют производительность и энергоэффективность», — сказал представитель Qualcomm.
Конечно, конкуренты также работают над расширением сферы своего влияния и усилением поддержки разработчиков на своих платформах. Нейронный чип Kirin 970 выпущен с поддержкой TensorFlow и Кафе (открытая платформа API Facebook) в дополнение к API Kirin от Huawei, с ТензорФлоу Лайт и Кафе2 интеграция начнется позднее в этом году. А Huawei работала с Microsoft над оптимизацией своего переводчика на базе искусственного интеллекта для Mate 10.
Но у Qualcomm есть еще одно преимущество: охват. По данным Strategy Analytics, в первой половине 2017 года производитель чипов занимал 42 процента рынка чипов для смартфонов, за ним следовали Apple и MediaTek с 18 процентами каждая. Достаточно сказать, что он пока не трясется в ботинках.
И Qualcomm прогнозирует, что он будет только расти. Производитель чипов прогнозирует, что к 2025 году доход от программных технологий искусственного интеллекта, таких как компьютерное зрение, составит 160 миллиардов долларов, а считает рынок смартфонов, объем поставок которого, как ожидается, достигнет 8,6 млрд единиц к 2021 году, крупнейшим Платформа.
Благодаря процессору Hexagon 685 DSP и другим «третичным» усовершенствованиям, постоянно продвигающимся вниз по течению и к среднему уровню. аппаратному обеспечению, чипам Qualcomm также будет проще внедрить машинное обучение на всех типах устройств ближайшего будущего. будущее. Они также предлагают удобный SDK для разработчиков (нет необходимости возиться с ассемблером DSP), позволяющий использовать преимущества Hexagon 685 DSP и HVX в своих приложениях и сервисах.
«Существует необходимость в этих выделенных процессорах для нейронной обработки, но вам также необходимо их расширить, чтобы вы могли поддерживать платформы с открытым исходным кодом», — сказал представитель Qualcomm. «Если вы не создадите эту экосистему, разработчики не смогут [...] создавать на ней что-то».