Интервью: Qualcomm об искусственном интеллекте и процессоре Hexagon 690 DSP Snapdragon 855

Когда Qualcomm представила свой новый Мобильная платформа Snapdragon 855, они рекламировали существенные улучшения во всех аспектах мобильных вычислений. Обычному пользователю легко понять Преимущества для конечного пользователя, связанные с улучшениями процессора и графического процессора который Qualcomm сделал в Snapdragon 855. Более высокая производительность процессора означает более быструю загрузку приложений, а более высокая производительность графического процессора означает более высокую частоту кадров в играх. Что менее интуитивно понятно пользователям, так это ИИ (искусственный интеллект), а именно: методы машинного обучения, которые все чаще применяют приложения и сервисы, такие как искусственные нейроны сети. Qualcomm добилась огромных успехов в производительности рабочих нагрузок искусственного интеллекта с помощью Snapdragon 855 благодаря улучшениям в вычислительной технике по всем направлениям, и особенно благодаря обновленному процессору Hexagon 690 DSP. Мы встретились с Гэри Бротманом, главой отдела стратегии искусственного интеллекта и машинного обучения и планирования продуктов Qualcomm, и Зиадом Асгаром, вице-президентом компании Qualcomm. Планирование дорожной карты Snapdragon и AI, XR, конкурентная стратегия Qualcomm, чтобы узнать больше об улучшениях, внесенных Qualcomm в рабочие нагрузки искусственного интеллекта.

---

Марио Серраферо: "Итак, новый ЦСП. В прошлом году я спрашивал вас о стратегии атаки в отношении того, как Qualcomm продвигала, продвигала, продавала и распространяла DSP и HVX, в частности. В то время, как блок ИИ, он все еще был относительно новым для большинства читателей и потребителей. Поэтому нам интересно, как вы видели, как это развивалось с тех пор с дальнейшим продвижением 845».

Гэри Бротман: «Прежде всего, когда мы начали делать это с 820, он все еще был в значительной степени ориентирован на процессор и графический процессор, а также использовал DSP и возможности векторной обработки для этого действительно появились в результате того, что Google пытается достичь с помощью TensorFlow и 8-битной математика. Вот где мы действительно размяли ноги в DSP, или, скажем, в векторных процессорах. Учитывая зрелость векторного процессора, который есть у нас в Hexagon, и то, как нам удалось так быстро продвинуться по этому плану в следующие два поколений и варианты использования, которые мы видели, которые в то время были довольно простыми и не содержали большого количества вес. Они могут нормально работать с 8-битной математикой. Специализированный ускоритель даже в прошлом году представлял собой риск, по сути, выделяя пространство для чего-то, к чему можно было не привыкнуть. Слияние вариантов использования: от стандартной одиночной камеры до суперразрешения или сегментации в реальном времени. В некоторых случаях эти вещи происходят одновременно с требованием иметь хотя бы некоторый уровень выделенного ускорения, которое вы можете отгородить и по-прежнему читать циклы векторного процессора или даже графического процессора. Это было подходящее время.

Это, конечно, то, что нам нужно было спланировать гораздо раньше, чем когда мы говорили в прошлый раз, но я думаю, что все в этот бизнес делает ставку на то, что они точно или почти точно знают, какими будут эти рабочие нагрузки. Какая точность должна быть необходима, и заложили ли вы в бюджет достаточно вычислений, чтобы удовлетворить грядущее стечение вариантов использования. Мы подходим к этому очень сознательно — компания Qualcomm всегда была ориентирована на варианты использования — и мы не хотели запускать риск наличия специального ускорения, которое не будет использоваться, поскольку оно могло устареть в последнее время. цикл. Мы видим достаточно только с точки зрения общей свертки, с которой специальный ускоритель может проделать фантастическую работу. Опять же, высвобождая циклы в другом месте. Что касается стратегии, которую мы придерживаемся в отношении этого нового ускорителя: он специализирован, это новая архитектура. Это не производная от Hexagon. Но если вы подумаете о сети сегодня, то увидите, что существуют определенные нелинейные функции, которые не очень хорошо работают при специальном ускорении...»

Марио Серраферо: «Ага, сигмовидная, РеЛУ…»

Гэри Бротман: "Именно, Софтмакс. И вам придется перенаправить их в другое место или в процессор. Но в нашем случае, поскольку мы как бы спроектировали это под капотом, DSP на самом деле является элементом управления. Он определяет, где проходит сеть и где проходят слои, и может решить, есть ли определенные вещи, которые следует запускать на DSP в качестве резерва, а не на тензорном процессоре. Так что это объединение действительно имело для нас большой смысл. Но это не умаляет наших убеждений и нашей стратегии, согласно которой каждое основное ядро ​​нашей SoC имеет роль, поэтому мы оптимизируем по всем направлениям, но все еще существует большая вариативность, и это будет продолжать."

Марио Серраферо: «Еще одна тема, о которой мы хотим поговорить, — это варианты использования. Как вы сказали, Qualcomm очень ориентирована на варианты использования. Мы видели, как ИИ пришел в мобильные устройства в трех основных областях: распознавание речи, предсказание последовательности, например, с помощью строк и набора текста, и, очевидно, компьютерное зрение, такое как фильтры AI, [и объект признание]. Компьютерное зрение взорвалось, и теперь вы видите его повсюду. Я видел, что с распознаванием речи у каждого есть свой помощник ИИ, у каждого есть свой помощник. Теперь все это можно делать на периферии с небольшой задержкой и полной безопасностью. Но что будет дальше со сценариями использования машинного обучения, и будут ли все эти варианты использования разрабатываться крупными компаниями мира — всеми Snapchats в мире, Facebookами? Как вы себе это представляете?»

Гэри Бротман: «Не думаю, что смогу указать на убийственный вариант использования. Но возможности допускают большую вычислительную сложность, а в случае со зрением входное разрешение может быть выше. Вы не работаете с изображениями с низким разрешением, чтобы создать боке. Ранее в другом интервью мы обсуждали, например, потоковую передачу 4K. Я не собираюсь предсказывать, что это возможно, но разработчики, с которыми мы работаем, будь то крупные компании, такие как Google, или наша партнеры по разработке программного обеспечения, которые на самом деле создают алгоритмы, которые управляют многими этими мобильными функциями, они просто хотят толкайте больше. Они хотят идти дальше. Если и есть что-то, что я хотел бы увидеть в плане следующих шагов, то, вероятно, это будет меньше о том, что происходит над строкой или на уровне приложения, а больше о том, что происходит в системе, например, об улучшении работы продукта, управлении питанием и даже в конвейере камеры, а не только поверх это. Вы упомянули звук и количество ключевых слов, которые вы собираетесь поддерживать, или возможность шумоподавления на устройстве. Ключевое слово интересно, потому что собрать библиотеку непросто — у вас ограничена память. Так что баланс между тем, что происходит локально, и тем, что будет происходить в облаке, по-прежнему будет существовать».

Зиад Асгар: «Могу немного добавить. Итак, по крайней мере, две области, в которых сегодня наблюдается значительный рост, — это аудио и изображения. Мы видим, что у него много вариантов использования. Джек говорил об этом с точки зрения камеры: у нас есть механизм искусственного интеллекта, который можно использовать во многом для сценариев использования изображений. Некоторые из тех, что были показаны сегодня. А если вы посмотрите на звук, то мы не особо об этом говорили, но на самом деле мы также добавили некоторые звуковые возможности в аудиоблок. Мы можем лучше выполнять голосовую активацию в более шумной обстановке. Мы можем улучшить шумоподавление [в изображениях]. Все эти способности, по сути, уже реализуются. Есть партнеры, которых Гэри показал сегодня для интернет-провайдера, их будет гораздо больше. Поэтому я думаю, что это два измерения, на которых мы сегодня больше сосредоточены».

Гэри Бротман: «И затем следующий шаг — я не собираюсь прогнозировать, когда это произойдет — достаточно ли сейчас вычислительных ресурсов, чтобы обучение на устройстве и экспериментирование с реальным обучением на устройстве, скорее всего, произойдет в следующем цикл."

Марио Серраферо: «Вероятно, эту тему интереснее обсуждать, и дело в том, что Qualcomm придерживается прозвища Hexagon DSP и HVX, в то время как другие компании выбирают «нейронные» технологии так или иначе. Как Qualcomm видит это несоответствие и эти разные стратегии и подходы, в основном маркетинг, но мы можем чуть позже поговорить о гетерогенных вычислениях и конкретных битах блоков, поскольку хорошо."

Гэри Бротман: «Поскольку у Hexagon уже есть собственный капитал в DSP, можно сразу же подумать, что мы просто расширяем нашу стратегию DSP. На самом деле, если вы посмотрите на все три процессора, ваш скаляр, ваш вектор, а теперь и ваш выделенный тензорный ускоритель, вы увидите, что не все они являются DSP. Hexagon действительно является брендом более высокого уровня, чем просто DSP. Существует несколько DSP. Я думаю, что на вопросы маркетинга ответить немного сложнее, потому что каждый регион индивидуален. Китай очень ориентирован на NPU, потому что это прозвище было введено в прошлом году и, похоже, оно прижилось. Я бы не сказал, что это сработало где-то еще в мире. У Google есть тензорный процессор, и тензор, похоже, резонирует».

Марио Серраферо: «У многих людей разные имена».

Гэри Бротман: «В конечном итоге все сводится к тому, что хочет сделать OEM-производитель. Если это важно для их клиентов, то им необходимо выяснить, как они могут использовать эти возможности обработки и дифференцировать их с точки зрения возможностей. Наш движок и, я думаю, большая часть имеющихся у нас вычислительных возможностей по-прежнему будут очень векторными и тензорно-ориентированными с точки зрения общего сочетания. Сама выделенная обработка, способ умножения матриц — это тот же тип выделенного процессора, который [использует] NPU. Маркетинговый вопрос интересный, и я забыл, каков был ответ Кита?»

Зиад Асгар: «Его ответ был: «Вы можете называть это как хотите, чтобы иметь возможность продавать больше продукции».

Гэри Бротман: «Вот и все; это было правильно, это был очень резкий ответ».

Зиад Асгар: «Я думаю, что Гэри очень хорошо это описал. Некоторые люди используют это прозвище как термин таким образом, что почти утверждает или подразумевает, что оно ограничивается только этим блоком. Но мы видим, что весь этот гетерогенный подход с возможностью использования ЦП, графического процессора или тензора шестиугольника вектор, дает вам различные компромиссы в целом спектре точности мощности и производительности, и это то, что вам нужно сегодня. Потому что мы не знаем, какое приложение требует какой степени точности, какое требует устойчивой производительности, а какое не требует ее. Поэтому мы считаем, что это полное, комплексное решение, потому что именно так вы получите наилучшие впечатления».

Гэри Бротман: «И это никогда не менялось ни в одном из наших разговоров, даже со специальным ускорителем. Это дополнение, а не замена».

Марио Серраферо: «Да, я думаю, именно Кит в прошлом году сказал: «Где есть вычисления, там будет ИИ». И теперь есть больше вычислений».

Гэри Бротман: «Больше вычислений в каждом блоке, это совершенно верно».

Марио Серраферо: "НРаз уж мы затронули эту тему, мы услышали много сравнений с «таинственным» 7-нм конкурентом на Android. Да, мы до сих пор понятия не имеем, кто это». (разговорный в шутку)

Гэри Бротман: "Без понятия." (говорил в шутку)

Марио Серраферо: «Но не могли бы вы рассказать нам об этих сравнениях? Как они измерялись? Какие предостережения стоит учитывать? Есть ли еще какие-нибудь комментарии, которые, возможно, у вас, ребята, не было времени раскрыть на слайдах или в разделе вопросов и ответов? Я знаю, что это сложно измерить [и сообщить] из-за разнообразия моделей, поэтому я думаю, что это интересная тема, которую стоит расширить, чтобы люди знали, почему это не так просто сделать сравнения».

Гэри Бротман: «На самом деле все очень просто. Я дам вам очень простой ответ по одному конкретному показателю; в январе мы собираемся провести больше сравнительного анализа. Мы поговорим подробнее о различных сетях, которые используются для измерения чисел, на которых мы основываемся, и это будет стандартная версия Inception v3. Отсюда мы получаем такие результаты и наше понимание того, какое место занимают конкуренты. Но что касается того, что анонсировало и выпустило продукты на рынок, то здесь появляются 2x и 3x. от… ну, 3x было по сравнению с тем, что было у нас в 845, а 2x — это их мера производительности и относительное состояние производительности к нашему».

Зиад Асгар: «У вас есть доступные устройства, вы можете приобрести их и провести некоторые испытания самостоятельно. Но я думаю, единственное, чего я хотел бы остерегаться, — это своего рода Дикий Запад сравнительного анализа ИИ. Некоторые люди используют очень общие термины или сочетания сетей, которые могут принести им определенную пользу или нет. «Будет ли это хорошо сочетаться с модальной рабочей нагрузкой?» это не то, что люди принимают во внимание. Некоторые из существующих тестов делают гораздо больше, и мы очень близки, поэтому мы знаю, что есть люди, которые так или иначе заставляют эти ориентиры колебаться в зависимости от того, что благоприятствует их. Вот почему здесь гораздо больше внимания уделяется реальным вариантам использования. Речь также идет о лучшей в своем классе производительности для этого варианта использования, а также о том, чтобы сделать это как можно быстрее. Я думаю, что это все факторы, на которые мы обращаем внимание. Но я думаю, что станет лучше, сойдётся. Сейчас существует множество различных вариантов. Я думаю, что у вас останутся определенные ориентиры, которые будут иметь больше смысла. Сегодня, возможно, вы могли бы утверждать, что Inception v3 относительно лучше на данный момент».

Гэри Бротман: «Что касается сетей, их несколько. Есть ResNet, VGG, сети сегментации, сети суперразрешения — чистая производительность, с помощью которой вы можете их измерить. Что следует вынести с точки зрения эталонных показателей, например, компании или организации, которые проводят бенчмаркинг ИИ, и они иметь смеси точности, сетей и формул, которые являются переменными, они настолько изменчивы, что результаты меняются еженедельно. Вот где настоящий Дикий Запад, и мы держимся на расстоянии вытянутой руки. Мы ни на что не делаем ставок, потому что фактическая производительность некоторых из этих сетей очень сильно варьируется. которые используются в сценариях использования, мы уверены, что по-прежнему определенно занимаем одно из первых мест с точки зрения производительности относительно соревнование. Я должен сказать не о рейтинге, а об удвоении, о котором мы говорили, о чистой производительности».

Марио Серраферо: «Одна из тем, которая интересна нам как сайту в первую очередь для разработчиков, — это демократизация машинного обучения. Очевидно, что у нас есть отличные библиотеки с открытым исходным кодом, все также предлагают эти замечательные SDK, и есть много образования. И теперь доступен Android NN, и Google только что выпустил его. ML-комплект что упрощает процесс. Вы просто вызываете API, передаете ему свои данные, они используют обученную модель, вам не о чем беспокоиться. вам не нужно об этом думать, вам не нужно знать никакой статистики или векторного исчисления. Как вы видите, что ландшафт изменился в этом отношении, сделав его более доступным, упростив API, упрощение документации, SDK и содействие привлечению сторонних разработчиков, а не только крупных компании?"

Гэри Бротман: «Забавно, когда мы на самом деле фокусируемся на крупных компаниях, это помогает и более мелким разработчикам. Мы начали с более собственного стека, когда дело дошло до программирования для Snapdragon, особенно для запуска искусственного интеллекта. Но со временем, за последние пару поколений, мы добавили больше инструментов. Мы пытаемся найти баланс между абстракцией высокого уровня и простотой использования и доступом на более низком уровне, для которого требуется кто-то быть гораздо более сообразительным, особенно когда дело касается некоторых наших собственных ядер, таких как векторный процессор или NPU. Мы видим, как оно развивается с точки зрения демократизации. У нас есть базовые строительные блоки, такие как математические библиотеки Hexagon и Qualcomm, но, возможно, API немного более высокого уровня, который абстрагирует хотя бы часть этой тяжелой работы. но дает разработчику достаточную гибкость, чтобы иметь возможность использовать свои собственные операторы или немного настроить производительность на более низких уровнях. уровень. Таким образом, портфолио будет продолжать включать в себя больше инструментов и, конечно же, такие вещи, как NN API, где Onyx является примером возможности по сути, скажите: «Вот что вы программируете, в чем вы выражаете свою сеть». Пока оборудование поддерживает это, вы хороший.

Как я упоминал в нашей презентации, мы несем ответственность за среду с несколькими ОС. Есть Windows, есть Linux, есть Android, так что дело не только в Android. Когда мы посмотрим на это, если мы собираемся создать какой-то API, который будет SoC, кросс-SoC или кроссплатформенность с точки зрения ОС, мы должны посмотреть и увидеть, как найти общее в том, что мы создаем под капюшон. Стек с библиотеками и поддержкой операторов, а также возможность подключения к NN API или Windows ML, например. Но, конечно, мы ушли от маятника, который находился здесь, где никто на самом деле не знает, что делать, например буквально, не зная. «Я не знаю, какую структуру использовать. Использую ли я TensorFlow или мне следует использовать Caffe или Torch?» И не зная, что делать, чтобы оптимизировать на нижнем уровне. Итак, все довольны вызовом API. Теперь, всего за пару лет, можно легко пойти глубже. Таким образом, инструменты есть, будь то обычные инструменты с открытым исходным кодом или даже в портфолио, которое мы предлагаем или предлагаем конкуренты, эти инструменты становятся все более доступными и простыми в использовании».

Марио Серраферо: «Кстати, о сообществах разработчиков. В прошлый раз мы упоминали одно из самых зрелых наших сообществ — игровое сообщество, и Qualcomm довольно хорошо в него вписана. Теперь мы видим это больше, чем когда-либо, благодаря партнерству с игровыми движками, которые продвигаются и продаются. Итак, мы говорили об этом в контексте ИИ и о том, как он там появляется».

Мишаал Рахман: «Вы говорили о том, что хотите инвестировать больше в течение следующих 12 месяцев. Это было тогда, когда мы были здесь в последний раз».

Марио Серраферо: «В частности, сообщество разработчиков игр, которое как бы расширяет эту тему и то, что мы видим сегодня».

Гэри Бротман: «Я не помню конкретного комментария об инвестициях в игровое сообщество, но если вы посмотрите на категорию, в которой мы видели движение необходимость специального ускорения, и игры являются его компонентом, но это не обязательно основной вариант использования — VR как пример. В насыщенной, захватывающей виртуальной реальности задействовано каждое ядро. Вы выполняете обработку графики на графическом процессоре, визуальную обработку на векторном процессоре, и вам необходимо возьмите одну или несколько сетей и запустите их отдельно на выделенном ускорителе, не беспокоясь о параллелизме. влияние. Это одна из причин, которая побудила нас пойти по пути целенаправленного ускорения. У меня не так уж много информации о том, как сегодня используется ИИ в играх. С агентами предстоит много работать — разрабатывать агентов, с которыми можно будет сражаться или обучать вас».

Марио Серраферо: «Как традиционный ИИ в играх».

Гэри Бротман: "Абсолютно верно. Но они больше основаны на нейронных сетях».

Марио Серраферо: «Да, не Минимакс».

Гэри Бротман: «Часть ответственности Зиада также заключается в разработке стратегии XR».

Зиад Асгар: «С точки зрения XR, если вы посмотрите на это сегодня, мы выпустили новые устройства, которые представляют собой универсальные шлемы виртуальной реальности с полной поддержкой 6DOF. Такие устройства, как Oculus Quest, которые были выпущены на базе Snapdragon 835, так что мы начинаем приближаться к очень хорошему моменту с точки зрения фактического использования всех возможностей устройств XR. В прошлом некоторые устройства на самом деле не давали такого первозданного опыта, потому что некоторые люди не получили от него максимального удовольствия. Я думаю, что у XR сейчас дела идут отлично. В будущем мы также ожидаем, что в сочетании с 5G это позволит вам теперь иметь возможность принимать ваше устройство на самом деле гораздо более мобильно, а это значит, что вы можете представить, что на самом деле идете по улица. А наличие такой связи, как 5G, означает, что демо Google Lens, которое показал Гэри. Теперь представьте, что если бы вы носили какие-то Google Glasses или что-то в этом роде, и вы действительно могли бы привнести всю информацию о том, на что вы смотрите своими глазами, теперь у вас есть вариант использования, который действительно может быть очень неотразимый. Я думаю, что именно в этом направлении и идут долгосрочные инвестиции, о которых вы говорите.

Но сейчас мы чувствуем, что находимся в очень хорошем состоянии с точки зрения XR и всех других компаний, которые начали использовать XR. Oculus Go также основан на Snapdragon 820, поэтому я думаю, что мы приближаемся к очень хорошему моменту, когда люди берут его и делают с ним много вещей. И следующим этапом, как я уже говорил, мы начнем внедрять возможности подключения 5G, что мы и сделаем, а затем и дальше. это, конечно, AR и некоторые вещи, которые даже потребуют гораздо большего с точки зрения производительности, но ограничены в власть. И это будет чрезвычайно сложно, и я думаю, что, учитывая то, о чем мы говорили сегодня, Qualcomm, вероятно, является лучшим с точки зрения мощности для реализации любого из этих вариантов использования. Если вы посмотрите на графику, если вы сравните кого-либо из конкурентов, вы увидите, что наша производительность на единицу мощности является лучшей в своем классе. И как следствие этого, термические условия и стабильная производительность — вот что важно в XR, и в этом отношении мы действительно впереди — именно по этой причине люди используют нас для XR».

Марио Серраферо: «Начиная с прошлого года мы видим, что Hexagon 685 DSP наконец-то вышел на рынок премиум-класса среднего класса с 710 и правильный средний диапазон с 670 и 675. Итак, теперь мы получаем расширения Hexagon Vector Extensions, тогда как другие конкуренты не совсем делают это со своими нейронными процессорами. Как вы видите расширение масштабов этого опыта, и я хотел спросить, видели ли вы в прошлом, чтобы различия в производительности ИИ вообще имели какое-то значение? Потому что мы все еще находимся на ранней стадии внедрения ИИ».

Зиад Асгар: «Я смотрю на общую дорожную карту. Если вы ищете безупречную лучшую в своем классе производительность, это будет премиум-уровень. Мы выборочно берем некоторые возможности Hexagon и уменьшаем их. Первый двигатель искусственного интеллекта, или первый Hexagon, был запущен на Snapdragon 820. Итак, мы перенесли эту функцию на Snapdragon 660 и на Snapdragon 670, и в 710 она тоже есть. Итак, наш план состоит в том, чтобы увидеть, как это отражается на предполагаемом опыте.

В качестве механизма искусственного интеллекта у нас есть базовые старые компоненты: процессор, графические процессоры, тензор шестиугольника, вектор шестиугольника и скаляр. Что мы делаем, так это выборочно переносим некоторые части этого в дорожную карту, поскольку мы видим, что эти способности снижаются и переходят в гарнитуры более низкого уровня. На самом деле вы увидите, как мы пойдем дальше в этом году. вот увидите, мы будем делать это чаще. Мы представили Snapdragon 675 на саммите 4G/5G. Мы говорили об этом с появлением 675, и вы увидите, что по мере того, как эти варианты использования становятся все более распространены, как мы показали сегодня с ArcSoft и всеми остальными ребятами, мы действительно добавим эти возможности ниже. На нижнем уровне вы сможете запустить этот вариант использования, но чтобы иметь возможность получить правильный профиль мощности, как я как говорилось ранее, если вы хотите иметь устойчивую производительность, вам нужно, чтобы этот конкретный блок появился ниже. Итак, опять же, лучшая в своем классе производительность будет наверху, но по мере того, как вы опускаетесь ниже, произойдет значительное ухудшение или градация…»

Марио Серраферо: «Можно сказать, градиентный спуск». (говорено в шутку)

Зиад Асгар: "Да, именно. Примерно так мы поступаем и с другими технологиями, включенными в дорожную карту, и ИИ в этом смысле не будет сильно отличаться. Вероятно, это одна разница, возможно, откуда вы родом, так как оно, вероятно, спускается быстрее. с помощью других технологий, которые мы включили в дорожную карту, так что я согласен с этим наблюдением с."

---

Если вы хотите узнать больше об искусственном интеллекте в мобильных платформах Qualcomm, мы рекомендуем прочитать прошлогоднее интервью с Гэри Бротманом. Вы можете начать с часть 1 нашего интервью или перейдите по ссылке часть 2.

Все графики, показанные в этом интервью, взяты из презентации Гэри Бротмана на Snapdragon Tech Summit. Вы можете просмотреть слайды здесь.