Джадд Хип из Qualcomm объясняет, как Qualcomm улучшает работу камер на телефонах Android с помощью новых функций своих интернет-провайдеров Spectra.
Американская компания Qualcomm, являющаяся производителем систем на кристалле (SoC), на которых работает большая часть смартфонов и носимых устройств в мире, несомненно, является одним из гигантов индустрии производителей чипов. Например, линейка SoC Snapdragon используется почти всеми крупными производителями устройств Android для флагманских, средних и бюджетных смартфонов. Qualcomm каждый год получает похвалы на ежегодном техническом саммите компании за достижения в области процессоров, графических процессоров и искусственного интеллекта, поскольку компания использует новые микроархитектуры процессоров ARM. и дополняет их ежегодными улучшениями своих графических процессоров. Однако его достижения в области камер не так заметны, поскольку они, как правило, остаются в тени. радар.
Однако это не означает, что работа Qualcomm над камерами смартфонов не важна. Напротив, интернет-провайдеры Spectra компании Qualcomm в ее процессорах Snapdragon SoC помогают сделать большую часть современных камер смартфонов возможными с увеличением вычислительная мощность, такие функции, как запись видео 8K, видео HDR10, поддержка высокомегапиксельных камер QCFA и многое, многое более. Qualcomm заявила, что Spectra 380 ISP в Snapdragon 855
был первым в мире CV-ISP, а также представила первые в мире функции записи видео 4K HDR, которые теперь дополнены записью видео 4K HDR10+ 2-го поколения. Spectra 480 ISP последнего поколения Snapdragon 865 обладает высокой производительностью — он может обрабатывать два гигапикселя в секунду, что на 40% больше, чем у его предшественника. Это интеллектуальная собственность (IP), которая отличает Qualcomm от конкурентов на рынке производителей мобильных чипов.В то время как Qualcomm объясняет большинство основных функций в своих пресс-релизах и описаниях продуктов, до сих пор у потребителей не было возможности узнать большую часть низкоуровневых деталей, которые делают эти вещи работа.
Вот почему мы в XDA Developers были рады принять предложение поговорить с Джаддом Хипом, старшим директором по управлению продуктами Qualcomm. В июне 2020 года мы с главным редактором XDA Мишаалем Рахманом взяли интервью у Джадда, чтобы узнать и увидеть, как Qualcomm продвигает амбиции в области фото- и видеозаписи со смартфонов. Мы говорили о таких темах, как обработка изображений с помощью искусственного интеллекта, многокадровое шумоподавление (MFNR), AV1, запись видео в формате Dolby Vision, объединение пикселей в камерах с высоким разрешением и многое другое. Давайте посмотрим на идеи Джадда по каждой теме по отдельности:
Рабочие нагрузки обработки изображений AI
Мишаал Рахман: Я начну с одного из тех, что были у Идриса, он интересный и который меня тоже заинтересовал. Итак, нам интересно, какие рабочие нагрузки обработки изображений с использованием искусственного интеллекта использует Qualcomm в интернет-провайдере Spectra и в какой степени они настраиваются производителями устройств?
Джадд Хип: Да, мы рассматриваем множество рабочих нагрузок ИИ и есть некоторые ИИ, которые могут работать в самом интернет-провайдере. как, например, наше следующее поколение 3A: автоматическая экспозиция, автоматический баланс белого и автофокус — это искусственный интеллект основанный на.
Но мы также рассмотрим несколько других рабочих нагрузок ИИ, которые будут выполняться вне интернет-провайдера, в одном из других вычислительных элементов. Итак, в частности, мы смотрим на такие вещи, как: у нас есть ядро шумоподавления на основе искусственного интеллекта, которое работает снаружи от интернет-провайдера, в части процессора AI Engine (AIE).
Кроме того, у нас есть такие вещи, как распознавание лиц, представляющее собой полноценный механизм глубокого обучения, который также работает в комплексе AIE, но, конечно, помогает камере. И есть другие вещи, над которыми мы работаем, помимо распознавания лиц и шумоподавления; мы также рассматриваем возможность автоматической корректировки снимков с использованием ИИ, который будет автоматически устанавливать параметров для каждой сцены на основе HDR-контента, мы обрабатывали тени, светлые участки, цвет и тому подобное. вещь.
Один из наших партнеров, Morpho, только что получил огромную награду за рабочую нагрузку в области искусственного интеллекта на саммите Embedded Vision Summit в этом году. Независимые партнеры-поставщики программного обеспечения также имеют множество действительно мощных алгоритмов на основе искусственного интеллекта, и они могут варьироваться от чего-то вроде плавной камеры. переход, как это делает Arcsoft (я упоминал об этом на последнем технологическом саммите Snapdragon, основанном на искусственном интеллекте), к семантической сегментации Morpho. двигатель. Решение Morpho — это механизм искусственного интеллекта, который понимает различные части сцены, например, ткань, кожа, небо, трава и т. д. здания и тому подобное, а затем интернет-провайдер может взять эту информацию и по-разному обработать эти пиксели для текстуры, шума и цвета для пример.
Заявление Qualcomm: Что касается машинного обучения и искусственного интеллекта, мы сегодня также не анонсируем никаких новых обновлений для функций распознавания лиц и «3A» (AE, AF и AWB). Однако, как сказал Джадд, мы намерены в будущем расширить возможности ML/AI для камеры, включая эти две функциональные области.
Анализ и контекст: Искусственный интеллект в смартфонах стал модным словом с тех пор, как в телефонах Android начали появляться первые нейронные процессоры (NPU) и функции, основанные на искусственном интеллекте. Однако это не означает, что сам ИИ бессмысленен. Напротив, у ИИ есть большой потенциал в мобильной сфере, до такой степени, что поставщики чипов и производители устройств пока только прикасаются к поверхности того, что возможно.
Благодаря ИИ камеры смартфонов стали лучше — иногда быстро, иногда мучительно медленно, но они добились своего. Камеры смартфонов преодолевают фундаментальные ограничения, такие как относительно меньшие по размеру сенсоры, фиксированные фокусные расстояния и более плохую оптику с умной вычислительной фотографией, основанной на машинном обучении (МЛ). Автоматическая экспозиция, шумоподавление, распознавание лиц и сегментация — это лишь некоторые из областей, в которых ИИ в фотографии на смартфонах смог оказать влияние. В ближайшие пять лет эти зарождающиеся области искусственного интеллекта, улучшающие различные аспекты фотографии, значительно повзрослеют.
Многокадровое шумоподавление
Идрис Патель: Qualcomm упоминает в качестве функции многокадровое шумоподавление. Я хотел бы узнать об этом более подробно, например, о том, как работает укладка изображений. Похоже ли это на то, что Google делает со своей технологией HDR+, или это совершенно другое?
Джадд Хип: Это похоже, но отличается. Представьте себе, что камера делает серию снимков и быстро снимает пять-семь кадров. Затем механизм ISP просматривает эти кадры и выбирает лучший (называемый «якорным кадром») для фокус и четкость, а затем он может выбрать 3-4 кадра по обе стороны от этого кадра, а затем усреднить их все вместе. Он пытается выбрать кадры, расположенные достаточно близко друг к другу, чтобы движение было минимальным.
И когда он останавливается на этих кадрах, он затем усредняет их, чтобы определить, что отличается, например, что является фактическими данными изображения, а что — данными шума. Итак, когда у вас есть все больше и больше информации из все большего и большего количества кадров, вы можете делать простые вещи, например смотреть на различия между кадрами. Различия, вероятно, представляют собой шум, тогда как то, что одинаково в кадрах, вероятно, представляет собой данные изображения.
Таким образом, мы можем выполнить объединение кадров в реальном времени, чтобы уменьшить шум. Теперь вы также можете делать то же самое с низким освещением и HDR, и это очень похоже на то, что, вероятно, делает Google. Мы не знакомы с их алгоритмом. Но они используют многокадровую технику для повышения чувствительности, чтобы вы могли лучше «видеть»; После того, как вы уменьшили минимальный уровень шума, теперь вы можете попробовать выполнить более локальное тональное отображение или добавить усиление к изображению без добавления дополнительного шума.
Вот как они справляются со слабым освещением, а также с HDR. Усовершенствования функции многокадрового шумоподавления будут реализованы от Qualcomm, включая приглушенное освещение и HDR. Но это то, что мы скоро представим.
Мишаал Рахман: Итак, вы упомянули о скором внедрении этой функции. Это похоже на обновление BSP для партнеров?
Джадд Хип: В наших продуктах следующего поколения, благодаря добавлению программного обеспечения, у нас будет возможность взаимодействовать - на самом деле это происходит прямо сейчас на следующем поколении. продукты поколения — прямо сейчас мы сотрудничаем с клиентами, чтобы использовать больше многокадровых технологий, помимо шумоподавления, но также обрабатывать HDR и слабую освещенность. ситуации. Он использует тот же базовый аппаратный механизм ISP, но мы добавляем больше программного обеспечения для обработки этих мультикадров и не только для снижения шума.
Так что это еще не реализовано, но мы сотрудничаем с некоторыми ключевыми ведущими клиентами по этим функциям.
Анализ и контекст: С каждым новым анонсом Snapdragon SoC таблица спецификаций Qualcomm включает характеристики, связанные с многокадровым шумоподавлением. Например, Snapdragon 865 с двумя 14-битными CV-ISP. поддерживает до гипотетической одиночной камеры с разрешением 200 МП (хотя производители датчиков камер, такие как Sony, Samsung и OmniVision, еще не выпустили ни одного датчика камеры для смартфонов с разрешением выше 108 МП). Однако когда дело доходит до поддержки одной камеры с MFNR, нулевой задержкой затвора (ZSL) и поддержкой 30 кадров в секунду, спецификация изменится на 64 МП, а для двух камер с одинаковыми характеристиками спецификация изменится на 25МП.
Многокадровое шумоподавление Qualcomm очень похоже на HDR+, но не совсем то же самое, как объяснил Джадд выше. В то время как HDR+ делает серию недодержанных экспозиций и усредняет их для получения наилучшего снимка, MFNR делает пять-семь обычных кадров. Не похоже, что MFNR от Qualcomm так же продвинут, как решение Google, поскольку HDR и слабая освещенность не упоминаются как конкретные приоритеты в текущем рабочий процесс для Spectra, в то время как HDR+ от Google одновременно нацелен на HDR, съемку при слабом освещении и шумоподавление, а Night Sight даже поднимает его на ступеньку выше. дальше. Тем не менее, отрадно узнать, что MFNR получает улучшения, и Qualcomm будет распространять эти улучшения для «некоторых ключевых клиентов». В будущем, возможно, нам не понадобятся неофициальные порты Google Camera, чтобы реализовать весь потенциал камер смартфонов, отличных от Google Android.
Супер разрешение для видео
Мишаал Рахман: Итак, кое-что, что я услышал на техническом саммите. На самом деле, я думаю, это было в интервью с Android-авторитет. Является ли то, что Qualcomm планирует распространить суперразрешение на видео в качестве программного решения для партнеров и, очевидно, это будет реализовано в обновлении. Мне интересно, есть ли у вас какие-либо обновления по этой функции, которыми вы могли бы поделиться.
Джадд Хип: Да, это функция, которую мы могли реализовать уже некоторое время, и она только сейчас внедряется. Я бы не сказал, что это обновление программного обеспечения, но я бы сказал, что это своего рода дополнительное преимущество существующей функции многокадровой съемки при слабом освещении. Мы сотрудничаем с некоторыми конкретными ведущими клиентами по этой функции. Так что да, суперразрешение видео — это что-то в другом поколении или около того, оно будет таким, какое мы есть. вызвать функцию плана записи, если она фактически встроена в базу программного кода для [] камера. Но сейчас речь идет скорее об уровне взаимодействия с конкретными клиентами для этой новой функции.
Анализ и контекст: Суперразрешение видео — это функция, которая до сих пор не отображалась в камерах смартфонов. Это настолько новая область, что об этом до сих пор пишут научные статьи. Использование многокадровых технологий для фотографии — это одно, а использование их для видео для повышения разрешения до более высокого разрешения — совсем другое дело. Qualcomm заявляет, что снова предоставляет эту функцию «некоторым ключевым клиентам», но на данный момент она не встроена в базу программного кода камеры. В будущем она может стать доступной для всех, но на данный момент конечные потребители еще даже не успели использовать эту функцию.
Высокомегапиксельные датчики Quad Bayer
Идрис Патель: Давайте поговорим о датчиках Quad Bayer. С 2019 года многие телефоны теперь имеют сенсоры на 48 МП, 64 МП, а теперь и на 108 МП. Это датчики Quad Bayer; на самом деле у вас нет истинного цветового разрешения 48, 64 или 108 МП. Я хотел спросить одно: чем отличается провайдер в плане обработки изображений для этих Quad Bayer или Nona? Датчики Байера (объединение пикселей 4-в-1 или 9-в-1) по сравнению с традиционными датчиками, которые не имеют пикселей. биннинг.
Джадд Хип: Да, поэтому, конечно, преимуществом этих четырехъядерных датчиков CFA (Quad Color Filter Array) является способность работать при ярком свете. их в полном разрешении, а затем интернет-провайдер может обработать их с разрешением 108 мегапикселей, 64 мегапикселя или любым другим. доступный.
Однако, как правило, в большинстве ситуаций освещения, например, в помещении или в темноте, вам приходится выполнять группировку, поскольку пиксели сенсора настолько малы, что вам приходится объединять пиксели, чтобы получить лучшую светочувствительность. Поэтому я бы сказал, что большую часть времени, особенно если вы снимаете видео или делаете снимки при слабом освещении, вы работаете в режиме группировки.
Теперь интернет-провайдер может обработать датчик любым способом. Вы можете посмотреть на датчик в бинированном режиме, и в этом случае это будет просто обычное изображение Байера, или он может посмотреть на него в режиме полного разрешения, в котором входящие данные будут четырехкратными CFA. И если он в этом режиме, провайдер конвертирует его в Байер.
Итак, мы делаем то, что мы называем «перемозаикой». Это выполняет некоторую интерполяцию четырехъядерного изображения CFA, чтобы оно снова выглядело как Байер в полном разрешении. Обычно это делается в программном обеспечении для моментальных снимков, хотя со временем мы собираемся добавить эту возможность и в аппаратное обеспечение для поддержки видео.
То, что сегодня находится в оборудовании интернет-провайдера, является биннингом. Таким образом, вы можете забиндить датчик, и вы можете заставить его решить, будет ли он выводить полное разрешение, четверть или 1/9 разрешения, или вы можете забиндить его у интернет-провайдера. На самом деле эту функцию мы добавили в Snapdragon 865. Таким образом, если вы подключаете интернет-провайдера, а затем запускаете датчик с полным разрешением, это дает интернет-провайдеру возможность одновременно иметь как изображение с полным разрешением, так и объединенное изображение. Таким образом, он может использовать меньшее разрешение или «сгруппированное» изображение для видео (видеокамера) и предварительного просмотра (видоискатель) и одновременно использовать изображение с полным разрешением для полноразмерного снимка.
Но опять же, это будет в случае яркого освещения. Но, по крайней мере, если вы подключите интернет-провайдера, у вас будет возможность обрабатывать как большие, так и маленькие изображения одновременно. в одно и то же время, и, следовательно, вы можете одновременно получать видео и снимок, вы также можете получить полное разрешение ЗСЛ; и все это без необходимости переключать датчик туда-сюда, что занимает значительное количество времени.
Это действительно хорошая функция. А как датчики Quad CFA и даже вы знаете, выходят датчики 9х и может даже больше, и по мере того как этих датчиков становится больше повсеместное распространение — мы все больше ищем возможности аппаратной обработки этих датчиков не только для группирования, но и для ремозаика.
Преимущество этого в том, что если вы делаете это аппаратно, а не программно, вы снижаете затраты. задержка для ваших клиентов и, следовательно, время между кадрами и скорость серийной съемки будут намного быстрее. Итак, по мере того, как мы продвигаемся вперед с новыми интернет-провайдерами и новыми чипами, вы начнете видеть гораздо больше того, что мы делаем для этих новых типов датчиков, встроенных в оборудование.
Анализ и контекст: Huawei была первой, кто использовал 40-мегапиксельный сенсор Quad Bayer с камерой. Хуавей П20 Про в 2018 году, а популярность датчиков Quad Bayer была настолько высока, что теперь она появилась даже на телефонах стоимостью 150 долларов на базе чипов Snapdragon/Exynos/MediaTek. В частности, мы видели, что индустрия смартфонов пришла к камерам с разрешением 48 МП и 64 МП как к лучшему, в то время как некоторые телефоны имеют разрешение до 108 МП. Датчики Quad Bayer и Nona Bayer не лишены недостатков, поскольку их полное разрешение имеет оговорки.
Однако по маркетинговым причинам 48-мегапиксельный сенсор звучит намного лучше, чем 12-мегапиксельный, даже если пользователь все равно большую часть времени делает фотографии с объединением пикселей в 12 мегапикселей. Датчик с разрешением 48 МП теоретически должен обеспечивать более качественные фотографии с бинированием пикселей 12 МП при слабом освещении, чем традиционный 12 МП. сенсор, но обработка изображений должна идти в ногу со временем, и, как я упоминаю ниже, для этого предстоит пройти долгий путь. случаться. Тем не менее, было интересно посмотреть, как Spectra ISP обрабатывает датчики Quad Bayer с повторной мозаикой. У этих датчиков большой потенциал, а также у таких телефонов, как OnePlus 8 Pro (в котором используется датчик Sony IMX689 Quad Bayer с большими пикселями). в настоящее время находятся на вершине камер смартфонов.
Распознавание лиц на основе машинного обучения
Мишаал Рахман: Думаю, ранее вы упомянули, что в Spectra 480 поддерживается распознавание лиц на основе машинного обучения. Это то, что я действительно слышал на техническом саммите. [Это] одно из улучшений 380-й модели 480-й; что это часть... в механизме видеоаналитики появился новый блок обнаружения объектов, который в будущем будет использоваться для пространственного распознавания.
Можете ли вы рассказать подробнее о том, насколько это улучшает распознавание лиц и какие потенциальные приложения, по вашему мнению, используют поставщики?
Джадд Хип: Да, вообще-то, вы правы в отношении блока встроенного компьютерного зрения, то есть блока «EVA», о котором мы говорили на Tech Summit. В нем есть общее ядро обнаружения объектов, которое мы используем, когда камера работает, мы используем его для обнаружения лиц. Методы в этом блоке являются более традиционными, поэтому распознавание объектов осуществляется традиционными методами. классификаторов, но, кроме того, у нас есть работающий программный движок, который фактически повышает точность этих блокировать.
Поэтому мы используем программное обеспечение на основе машинного обучения для фильтрации ложных срабатываний, поскольку оборудование может обнаружить больше объектов в виде лиц на сцене, а затем программное обеспечение машинного обучения говоря: «Хорошо, это лицо» или «Это действительно не лицо», и поэтому точность увеличивается на несколько процентных пунктов, запуская этот фильтр ML поверх аппаратное обеспечение.
Я много говорил о будущем. В будущем мы также планируем запустить полное распознавание лиц в ML или в режиме глубокого обучения в программном обеспечении. Особенно это будет справедливо на нижних уровнях, например, на уровне, где у нас нет аппаратного механизма EVA, мы начнем поэтапно внедрять глубокое обучение. в качестве обнаружения, которое работает в механизме искусственного интеллекта чипа, а затем, на верхних уровнях 700-800 уровней, у нас есть оборудование EVA для этого...
В целом я скажу, что мы будем больше двигаться к подходам машинного обучения для распознавания лиц, и это будет включать как программное обеспечение в среднесрочной перспективе, так и аппаратное обеспечение в более поздней перспективе. Я не собираюсь раскрывать, какие продукты будут его иметь, но, конечно, по мере того, как мы продвигаемся вперед в улучшении интернет-провайдера, мы наверняка будем добавлять все больше и больше аппаратных возможностей для машинного обучения.
Мишаал Рахман: Потрясающий. Что ж, я думаю, что это само собой разумеющееся, что вы двигаетесь в том направлении, где улучшения машинного обучения серии 800 опускаются на более низкий уровень, так что я думаю, что это, как правило, само собой разумеющееся. Но, конечно, вы не можете дать нам никаких подробностей по этому поводу. Спасибо за обновление.
Джадд Хип: Распознавание лиц — это то, чем мы очень увлечены. Мы хотим улучшить эту точность, вы знаете, поколение за поколением на всех уровнях, от уровня 800 до уровня 400. ML играет большую роль в этом.
Анализ и контекст: Именно эти аспекты дают фотографии со смартфона гораздо больший потенциал по сравнению даже с новейшими беззеркальными камерами. Да, беззеркальные камеры имеют лучшее качество изображения при слабом освещении и гораздо более гибкие, но камеры смартфонов изобретательными способами преодолевают их ограничения. Обнаружение лиц на основе машинного обучения — это лишь часть этого.
Улучшения в движке обработки изображений
Мишаал Рахман: Потрясающий. Итак, одна из вещей, о которых я кратко услышал во время обсуждений за круглым столом после Snapdragon Tech Summit, — это улучшение механизма обработки изображений. Я слышал, что было улучшено снижение шума на низких и средних частотах или LEANR. И что вы применяете динамическую карту обратного усиления; это то, что вы упомянули ранее в разговоре.
Джадд Хип: Ох, ладно. Так что я думаю, вы смешиваете две вещи вместе. Да, есть ядро LEANR, которое работает над снижением шума при более крупном зерне, что помогает при слабом освещении. Это новый блок, который был добавлен в Snapdragon 865 в ISP, и это одно.
Карта обратного усиления — это нечто другое. Это еще кое-что, о чем я упоминал на круглых столах, но это необходимо для того, чтобы обратить вспять эффект затенения линз. Итак, как вы знаете, если у вас есть телефон с маленьким объективом; центр линзы будет ярким, а края — более виньетированными; это означает, что они будут темнее.
Итак, в прошлые годы в интернет-провайдерах мы применяли статическую карту обратного усиления, чтобы избавиться от этих темных краев. И вот это уже довольно давно есть у провайдера. Однако в Snapdragon 865 мы добавили возможность динамически изменять карту усиления в зависимости от конкретного кадра изображения, потому что если вы примените большое усиление к краям что происходит, так это то, что края могут обрезаться, особенно если вы смотрите на яркие световые сцены снаружи, например, голубое небо может стать белым, или края будут обрезаться из-за большого количества прирост.
Итак, в Snapdragon 865 эта карта обратного усиления не статична; это динамично. Итак, мы смотрим на изображение и говорим: «Хорошо, эти части изображения обрезаются, а этого не должно быть», чтобы мы могли катиться. естественным образом отключить карту усиления, чтобы не получить яркие полосы, эффекты ореола или тому подобное от коррекции объектива затенение. Это отличается от шумоподавления, и это два разных ядра.
Фотография при слабом освещении и агрессивное шумоподавление
Идрис Патель: Итак, я хотел спросить о фотографии при слабом освещении. Как и в последние несколько лет, появилось много ночных режимов [реализованных OEM-производителями], но я заметил одну вещь: многие производители устройств применяют агрессивное шумоподавление, которое снижает детализацию до такой степени, что даже яркостной шум становится невыносимым. удаленный.
Итак, мой вопрос заключается в том, советует ли Qualcomm производителям устройств не делать этого, и это то, что делают их конвейеры обработки, или на это влияет интернет-провайдер в SoC.
Джадд Хип: Во многом это связано с настройкой, а если у вас нет многокадровой, или я бы сказал нет очень хорошей матрицы, с высокой чувствительностью или оптики с низким диафрагменным числом. Один из способов избавиться от шума, в частности, при слабом освещении — это применить большее шумоподавление, но когда вы применяете большее шумоподавление, вы теряете детали, поэтому острые края становятся размытыми. Теперь вы можете избавиться от этого, если примените методы многокадровой обработки. Или если вы примените методы искусственного интеллекта, которые смогут определить, где находятся края объектов и лиц, и тому подобное. Таким образом, применение простого грубого подавления шума в наши дни на самом деле не является лучшим способом справиться с этой проблемой, потому что в конечном итоге вы теряете детали.
Что вам нужно сделать, так это использовать методы многокадровой обработки или методы искусственного интеллекта, чтобы вы все равно могли применять шум. сокращение до более похожих на внутренние области объектов, сохраняя при этом красивые чистые края или сохраняя острые края. объекты. Вот что я бы сказал: использование искусственного интеллекта или многокадровой обработки — это способ снизить шум и улучшить изображение при слабом освещении в будущем.
Идрис Патель: Да, и это именно то, что я хотел услышать. [Это] потому, что это главное, что отличает отличные камеры смартфонов от камер среднего или бюджетного уровня.
Джадд Хип: Ага.
Идрис Патель: отличные камеры смартфонов знают, когда применять шумоподавление, а когда нет.
Джадд Хип: Точно. Да, и, как я уже сказал, настройка камеры на самом деле выполняется нашими клиентами или OEM-производителями, а некоторые OEM-производители предпочитают более мягкое изображение с меньшим количеством шума. Некоторые предпочитают раскрыть больше деталей, возможно, с немного большим количеством шума.
Итак, это компромисс, и у вас есть ограничения. И как я уже сказал, лучшее, что можно сделать, — это получить более совершенный датчик изображения с более высокой чувствительностью. более крупные пиксели или оптика с меньшим числом f, потому что тогда вы получаете больше света с самого начала, это всегда лучше. Но если вы не можете этого сделать, то вместо того, чтобы просто увеличивать шумоподавление и терять детализацию, вам нужно использовать многокадровые технологии или методы искусственного интеллекта.
Анализ и контекст: На мой взгляд, на данный момент это самая большая проблема с камерами смартфонов. Да, вы можете использовать датчик на 48 МП, 64 МП или даже на 108 МП. Однако, если вы не решите использовать ограниченное шумоподавление с помощью методов MFNR или AI, все эти мегапиксели, биннинг 4-в-1 и даже биннинг 9-в-1 будут бесполезны. Galaxy S20 Ultra является ярким примером здесь, поскольку его основная камера на 108 МП в основном считалось разочарованием. Samsung пошла назад в обработке изображений, применив чрезвычайно агрессивное шумоподавление в ночных режимах в своих флагманах 2020 года, в то время как серия Galaxy S10 2019 года, по иронии судьбы, имела лучшее качество изображения.
Джадд отмечает, что некоторые OEM-производители на самом деле предпочитают более мягкое изображение с меньшим количеством шума, что в корне неверно. Настройка производится производителями устройств, и, следовательно, два телефона, использующие один и тот же датчик и питающиеся от одной и той же SoC, могут выдавать очень и очень разные фотографии. Остается надеяться, что эти производители устройств узнают правду от своих более эффективных конкурентов. В то время как Samsung в этом году сбилась с пути обработки изображений, OnePlus резко контрастирует с ней. OnePlus 8 Pro — одна из лучших камер для смартфонов на рынке, что является заметным достижением, учитывая очень низкую производительность камеры OnePlus 5T в 2017 году. Чтобы фотографии получались четкими, необходимо изменить подход к обработке изображений, независимо от того, насколько бушуют войны за мегапиксели.
Декодирование и кодирование AV1
Мишаал Рахман: Итак, это немного отличается от других дискуссий о качестве камеры, которые мы ведём. Один из вопросов, который интересует некоторых людей в сообществе медиа-кодеков с открытым исходным кодом, — это когда Qualcomm будет поддерживать Декодирование AV1 и, возможно, кодировка. Я знаю, что это немного натянуто, но Google требует, чтобы телевизоры 4K HDR и 8K на Android 10 поддерживали декодирование AV1 и Netflix. YouTube, они начинают выпуск видео, закодированных в AV1. Так что это похоже на медленный рост количества видео в кодировке AV1. Поэтому нам интересно, когда хотя бы поддержка декодирования будет доступна в Spectra.
Заявление Qualcomm: Судя по вашему вопросу по AV1, сегодня нам нечего анонсировать. Однако в настоящее время Snapdragon поддерживает воспроизведение AV1 с помощью программного обеспечения. Qualcomm постоянно работает с партнерами над кодеками следующего поколения посредством разработки программного и аппаратного обеспечения. Snapdragon — лидер в области кодеков HDR, включая захват и воспроизведение в форматах HEIF, HLG, HDR10, HDR10+ и Dolby. Зрение. Конечно, мы понимаем, что для того, чтобы предоставить нашим клиентам лучший опыт кодеков, включая поддержку высокого разрешения и минимального энергопотребления, желательна реализация их в аппаратном обеспечении.
Запись видео - компенсация движения
Мишаал Рахман: Так что я не знаю, есть ли у Идриса еще вопросы, но у меня был один вопрос о чем-то, что я прочитал на техническом саммите Snapdragon. Речь идет о видеоядре с компенсацией движения. Я слышал, что есть улучшения в механизме компенсации движения, чтобы уменьшить шум при записи видео. Мне было интересно, можете ли вы рассказать, что именно было улучшено и что было сделано.
Джадд Хип: Механизм EVA (движок для видеоаналитики) был улучшен за счет более плотного ядра карты движения, поэтому EVA движок, вы знаете, например, всегда просматривает входящее видео, и у него есть ядро, которое делает движение оценка. Что мы сделали, так это то, что мы сделали это ядро намного более точным, поскольку оно делает это почти на уровне каждого пикселя, а не как-то более точно. грубый уровень блоков, поэтому мы получаем гораздо больше векторов движения от движка EVA в Snapdragon 865, чем в предыдущем поколения. И это означает, что видеоядро, выполняющее кодирование, может использовать эти векторы движения для более точной обработки. точен в отношении кодирования, но интернет-провайдер на стороне камеры также использует эту информацию для устранения шума снижение.
Итак, как вы знаете, на протяжении нескольких поколений мы использовали временную фильтрацию с компенсацией движения, которая на самом деле представляет собой активное шумоподавление во время видео, которое усредняет кадры по времени, чтобы избавиться от шума.
Однако проблема с этой техникой заключается в том, что в сцене есть движение. В конечном итоге движение просто игнорируется системой шумоподавления, потому что с ним невозможно справиться или оно размывается, и на движущихся объектах появляются эти уродливые следы и артефакты. Итак, временная фильтрация с компенсацией движения, то, что мы делали в прошлом, поскольку у нас не было этой плотной карты движения для локальных движение у нас есть - просто обрабатываются только случаи, когда вы двигаете камеру, это довольно просто, потому что все движется глобально.
Но если вы что-то снимаете и у вас есть объект, движущийся ВНУТРИ сцены, мы делали это раньше. мы просто проигнорировали эти пиксели, потому что не могли обработать их на предмет шума, потому что это было локально движущееся изображение. объект. И поэтому, если вы усредняли кадр за кадром, объект каждый кадр находился в другом месте, поэтому вы не могли его по-настоящему обработать.
Но на Snapdragon 865, потому что у нас более плотная карта движения и есть возможность просматривать векторы движения почти с точностью до пикселя. попиксельно, мы фактически можем обрабатывать эти локально перемещенные пиксели кадр за кадром для снижения шума, тогда как раньше мы не могли этого сделать. Кажется, я упомянул в своем выступлении метрику. Я не помню номер (это было 40%) но в среднем для большинства видео был большой процент пикселей, которые теперь можно обработать от шума, тогда как в предыдущем поколении это было невозможно. И это отчасти связано с способностью понимать локальное движение, а не только глобальное.
Запись видео - HDR
Идрис Патель: Еще у меня вопрос по поводу HDR-видео. В этом году я вижу, что многие производители устройств предлагают запись видео HDR10. Так это то, что было продвинуто с помощью Snapdragon 865, или оно существовало уже несколько поколений?
Джадд Хип: Ах да, как мы говорили об этом на Tech Summit, у нас есть HDR10, видеостандарт для HDR на сторона кодирования камеры уже несколько поколений, я думаю, со времен Snapdragon 845, и мы постоянно совершенствуемся что.
Итак, в прошлом году мы говорили о HDR10+, то есть 10-битной записи HDR, но вместо статических метаданных в ней используются динамические метаданные, поэтому метаданные, снятые камерой, во время сцены фактически записывается в реальном времени, так что при ее воспроизведении механизм воспроизведения понимает, была ли это темная комната или светлая комната, и может компенсировать что.
В прошлом году на Tech Summit мы также говорили о захвате Dolby Vision, который является альтернативой Dolby HDR10+. Это очень похоже на то, что они также создают динамические метаданные. Таким образом, сегодня Snapdragon может поддерживать все три формата: HDR10, HDR10+ и захват Dolby Vision. Таким образом, на самом деле ограничений нет: наши OEM-производители могут выбирать любой метод, который они предпочитают. У нас уже давно есть клиенты, использующие HDR10, а в прошлом году и в этом году все больше и больше клиентов выбирают HDR10+. И я думаю, что в будущем вы также увидите некоторое внедрение Dolby Vision Capture.
Так что да, мы активно это продвигаем. HDR действительно важен для нас, как со стороны снимков, так и со стороны видео. И, как я уже сказал, мы привержены форматам HDR10 и HDR10+, а теперь и Dolby Vision, вы знаете, со времен Snapdragon 845, а теперь даже недавно и Snapdragon 865 для Dolby Vision.
Мишаал Рахман: Кроме того, я на самом деле не был уверен, реализовали ли какие-либо поставщики запись Dolby Vision, но думаю, это отвечает на этот вопрос. [Это] то, что мы увидим в будущем.
Джадд Хип: Конечно - я не могу комментировать, какие вендоры интересуются и тому подобное. Это был бы вопрос для Dolby; это их особенность, и если вам нужна дополнительная информация об этом, я бы посоветовал связаться с Dolby. Но на сегодняшний день, насколько мне известно, еще не было ни одного телефона с поддержкой Dolby Vision Capture.
Идрис Патель: Потому что вам также нужна поддержка дисплея. Я заметил, что дисплеи смартфонов поддерживают HDR10 и HDR10+, но не Dolby Vision.
Джадд Хип: Да, вообще-то, но воспроизведение Dolby Vision ранее поддерживалось на Snapdragon. Он может работать с конкретным дисплеем, и дисплей не обязательно должен соответствовать каким-либо конкретным критериям, чтобы быть совместимым с Dolby Vision, за исключением того, что Dolby оценит дисплей и убедится, что он имеет определенную цветовую гамму, гамму, определенную битовую глубину, определенную яркость и определенную контрастность. соотношение.
Итак, вы знаете, вы можете купить дисплей HDR10, но вы также можете купить телефон с поддержкой Dolby Vision. воспроизведение, но Доби проверит этот дисплей, чтобы убедиться, что он соответствует их строгим требования.
Сотрудничество с поставщиками программного обеспечения: Imint, Morpho и Arcsoft.
Мишаал Рахман: Думаю, у меня есть только один вопрос, над которым мне следует ответить и провести дополнительные исследования, — это одна компания, с которой мы недавно разговаривали: Imint. Недавно они обновили свой Программное обеспечение Vidhance для стабилизации к работа со Spectra 480. Я знаю, что вы, ребята, работаете со многими компаниями, которые также используют преимущества Spectra 480 для обработки. Мне интересно, можете ли вы раскрыть больше примеров этих технологий, которые у вас есть, или партнеров, с которыми вы работали, просто чтобы] мы могли продолжить, узнать больше о том, как Spectra 480 используется в поле.
Джадд Хип: Мы работаем со многими поставщиками программного обеспечения. Как и то, что мы упоминали ранее, Dolby — один из них. Есть и другие, такие как вы упомянули, Imint/Vidhance для EIS (электронная стабилизация изображения). Ранее мы также упоминали Morpho и Arcsoft, с ними мы тоже очень тесно сотрудничаем.
Что касается того, как мы с ними работаем, наша политика заключается в том, что мы действительно хотим очень тесно сотрудничать с этими независимыми поставщиками программного обеспечения и уверены, что что бы они ни делали в программном обеспечении, они могут использовать аппаратное обеспечение Snapdragon для достижения минимального энергопотребления. возможный.
Итак, одна из вещей, которую мы делаем с этими поставщиками, — это обеспечиваем им действительно хороший доступ к движку HVX или ядру Hexagon DSP. Они также используют движок EVA для получения векторов движения и используют аппаратное обеспечение и движок EVA для манипулирования изображениями, чтобы они могут выполнять перемещение изображения, трансляцию и устранение искажений и тому подобное на аппаратном уровне, а не использовать для этого графический процессор. что.
Итак, мы очень тесно сотрудничаем с этими независимыми поставщиками программного обеспечения, особенно с теми, о которых я упоминал в частности, чтобы убедиться, что они не просто размещают все и программное обеспечение в процессоре, но они используют такие вещи, как DSP и аппаратные ускорители в EVA, чтобы повысить производительность и снизить энергопотребление. потребление. Это очень важно и для нас, потому что это дает нашим клиентам наилучшее сочетание функций и энергопотребления.
[Заключительные комментарии Джадда]: Я просто хотел сказать спасибо вам, ребята, за все действительно хорошие вопросы. Они действительно очень подробные. Я работаю в Qualcomm уже около трех лет и смотрю на наше прошлое, даже после моего пребывания здесь, где мы раньше начинали работать над Spectra. Snapdragon 845, мы очень усердно работали над кардинальным улучшением интернет-провайдера, камеры и просто общего опыта за последние несколько годы. Я очень рад даже тому, что принесет будущее. И я с нетерпением жду того, что мы объявим на будущих технических саммитах, о которых вы, ребята, сможете спрашивать и писать. [Spectra Camera], наверное, на мой взгляд, одна из самых интересных технологий Qualcomm.
Последние мысли
Было здорово поговорить с Джаддом о вкладе Qualcomm в фотографию на смартфонах. У нас могут быть смешанные чувства по поводу компании и ее системы патентного лицензирования, но влияние Qualcomm на индустрию смартфонов ощущается всеми, независимо от того, говорите ли вы о патенты, 4G и 5G, Wi-Fi, графические процессоры Adreno, интернет-провайдеры Spectra и сами чипы Snapdragon, которые в значительной степени считаются золотым стандартом в смартфонах Android. рынок.
В фотографии на смартфоне еще есть много болевых точек, но будущее за ними. Ярко, как обещает Qualcomm, чтобы добиться большего прогресса в обширных и растущих областях машинного обучения, которые позволяют ИИ. Давайте посмотрим, что Qualcomm собирается объявить в этой области на следующем технологическом саммите Snapdragon.