Джъд Хийп от Qualcomm обяснява как Qualcomm подобрява изживяването с камерата на телефони с Android с нови функции в своите Spectra ISP.
Като производител на системи върху чипове (SoC), които захранват голяма част от световните смартфони и носими устройства, базираната в САЩ Qualcomm несъмнено е един от гигантите в индустрията за производство на чипове. Линията Snapdragon от SoC, например, се използва от почти всеки голям производител на устройства с Android за водещи, средни и бюджетни смартфони. Qualcomm получава аплодисменти всяка година на годишната техническа среща на върха на компанията за напредък в областта на CPU, GPU и AI, тъй като включва новите микроархитектури на CPU на ARM и ги допълва с годишни подобрения в персонализираните си графични процесори. Неговият напредък в областта на камерите обаче не се забелязва толкова много, тъй като те са склонни да минават под радар.
Това обаче не означава, че работата на Qualcomm в камерите на смартфоните е маловажна. Напротив, доставчиците на Spectra ISP на Qualcomm в своите Snapdragon SoC помагат да направят голяма част от съвременните смартфон камери възможни с повишена изчислителна мощност на обработка, функции като 8K видеозапис, HDR10 видео, поддръжка на високо-мегапикселови QCFA камери и много, много Повече ▼. Qualcomm рекламира Spectra 380 ISP в Snapdragon 855
беше първият в света CV-ISP, и популяризира първите в света функции за запис на 4K HDR видео, които сега са допълнени от второ поколение 4K HDR10+ видео запис. Spectra 480 ISP в най-ново поколение Snapdragon 865 е много способен - може да обработва два гигапиксела в секунда, което е 40% увеличение спрямо своя предшественик. Това е интелектуална собственост (IP), която отличава Qualcomm от неговите конкуренти в пространството на производителите на мобилни чипове.Докато Qualcomm обяснява повечето от заглавните характеристики в своите съобщения за пресата и ключови бележки за продукта, нагоре досега потребителите не са имали шанс да знаят повечето от детайлите на ниско ниво, които правят тези неща работа.
Ето защо ние от XDA Developers с радост приехме предложението да говорим с Джъд Хийп, старши директор, управление на продукти в Qualcomm. Главният редактор на XDA, Мишал Рахман, и аз проведохме интервю с Джъд през юни 2020 г., за да научим и видим как Qualcomm прокарва греди със смартфон фотография и видеозапис. Говорихме за теми, включително обработка на изображения с изкуствен интелект, намаляване на шума с много кадри (MFNR), AV1, запис на видео Dolby Vision, групиране на пиксели във високо-мегапикселови камери и много други. Нека да разгледаме прозренията на Джъд по всяка тема една по една:
Натоварвания за обработка на изображения с изкуствен интелект
Мишал Рахман: Ще започна с една от тези, които имаше Идриес, която е интересна и от която също се интересувах. Така че се чудим какви са натоварванията за обработка на изображения с изкуствен интелект, които Qualcomm използва в Spectra ISP и до каква степен те могат да се персонализират от производителите на устройства?
Джъд Хийп: Да, така че ние разглеждаме много натоварвания на AI и има някои AI, които могат да работят в самия ISP като например нашето следващо поколение 3A: автоматичната експозиция, автоматичният баланс на бялото и автоматичният фокус са AI базиран.
Но също така разглеждаме няколко други работни натоварвания на AI, които биха се изпълнявали извън ISP, в един от другите изчислителни елементи. Така че по-специално ние разглеждаме неща като: имаме базирано на AI ядро за намаляване на шума, което работи външно от ISP, в частта на AI двигателя (AIE) на чипа.
Освен това имаме неща като разпознаване на лица, което е пълен механизъм за задълбочено обучение, който също работи в комплекса AIE, но разбира се подпомага камерата. И има други неща, върху които работим, различни от разпознаването на лица и обезшумяването; ние също гледаме да правим неща като автоматична настройка на моментни снимки с помощта на AI, който автоматично ще се настройва параметри на сцена въз основа на HDR съдържание, бихме обработили, за да модифицираме сянка, светли точки и цвят и този вид нещо.
Един от нашите партньори, Morpho, току-що спечели огромна награда за натоварване на AI на Embedded Vision Summit тази година. Партньорите на независими доставчици на софтуер също имат много наистина интензивни алгоритми, базирани на AI и те могат да варират от всичко като гладка камера преход, като това, което Arcsoft прави (споменах това на последната среща на върха на Snapdragon Tech, която е базирана на AI), към семантичното сегментиране на Morpho двигател. Решението на Morpho е AI двигател, който разбира различни части от сцената, като това, което знаете, плат срещу кожа срещу небе и трева и сграда и подобни неща и тогава ISP може да вземе тази информация и да обработи тези пиксели по различен начин за текстура, шум и цвят за пример.
Изявление на Qualcomm: За ML & AI ние също не обявяваме нови актуализации за функциите за разпознаване на лица и „3A“ (AE, AF и AWB) днес. Въпреки това, както каза Джъд, ние се ангажираме, занапред, да предоставим повече възможности за ML/AI на камерата, включително тези две функционални области.
Анализ и контекст: AI в смартфоните до голяма степен се смяташе за модна дума, откакто първите модули за невронна обработка (NPU) и „базирани на AI“ функции започнаха да пристигат в телефоните с Android. Това обаче не означава, че самият AI е безсмислен. Напротив, изкуственият интелект има голям потенциал в мобилните устройства до такава степен, че доставчиците на чипове и производителите на устройства засега само надраскват повърхността на това, което е възможно.
Благодарение на изкуствения интелект камерите на смартфоните станаха по-добри - понякога бързо, понякога агонизиращо бавно, но стигат до там. Камерите на смартфоните преодоляват фундаментални ограничения като относително по-малки сензори, фиксирани фокусни разстояния и по-лоша оптика с интелигентна изчислителна фотография, която се захранва от машинно обучение (ML). Автоматичната експозиция, намаляването на шума, разпознаването на лица и сегментирането са само някои от областите, в които изкуственият интелект във фотографията със смартфон е успял да окаже влияние. През следващите пет години тези зараждащи се области на ИИ, подобряващи различни аспекти на фотографията, ще се развият значително.
Многокадрово намаляване на шума
Идриес Пател: Qualcomm споменава многокадровото намаляване на шума като функция. Бих искал да знам повече подробности за това как работи подреждането на изображения. Подобно ли е по някакъв начин на това, което Google прави с тяхната HDR+ технология или е напълно различно?
Джъд Хийп: Подобно е, но различно. Представете си, че камерата прави серия и заснема пет до седем кадъра в бърза последователност. След това машината на ISP разглежда тези рамки и избира най-добрата (наречена „рамка за закрепване“) за фокус и яснота и след това може да избере 3-4 кадъра от двете страни на този кадър и след това да ги осредни всички заедно. Опитва се да избере кадри, които са достатъчно близо една до друга, така че да има много малко движение.
И когато се установи на тези кадри, тогава ги усреднява заедно, за да различи кое е различно, например кое са действителните данни за изображение спрямо това кое са шумови данни. Така че, когато имате все повече и повече информация, от все повече и повече кадри, всъщност можете да правите прости неща, като например да разглеждате разликите между рамките. Разликите вероятно са шум, докато това, което е равно в кадрите, вероятно са данни за изображения.
Така че можем да направим тази рамка в реално време комбинирайки, за да намалим шума. Сега можете също да направите същото при слаба светлина и HDR и това е много подобно на това, което Google вероятно прави. Ние не сме запознати с техния алгоритъм. Но те използват многокадрови техники за увеличаване на чувствителността, така че да можете по-добре да „виждате“; след като сте намалили нивото на шума, сега можете да разгледате възможността да направите повече локално тонално картографиране или да добавите усилване към изображението, без да добавяте повече шум.
Ето как се справят със слаба светлина, както и с HDR. Подобренията на функцията за редуциране на шума с много кадри ще идват от Qualcomm, което също ще включва слаба светлина и HDR. Но това е нещо, което ще пуснем скоро.
Мишал Рахман: Значи споменахте скорошното въвеждане на тази функция. Това като актуализация на БСП за партньори ли идва?
Джъд Хийп: В нашите продукти от следващо поколение, чрез софтуерна добавка, ние ще имаме възможността да се ангажираме с - всъщност това се случва в момента на следващия продукти за поколение - ние се ангажираме с клиентите точно сега, за да направим повече многокадрови техники отвъд намаляването на шума, но също така да се справим с HDR и слаба светлина ситуации. Той използва същия основен ISP HW двигател, но ние добавяме повече софтуер за работа с тези мулти-кадри за повече от просто намаляване на шума.
Така че това не е нещо, което е пуснато, но ние се ангажираме с някои ключови водещи клиенти за тези функции.
Анализ и контекст: С всяко ново съобщение за Snapdragon SoC, таблицата със спецификациите на Qualcomm включва спецификации, свързани с редуцирането на шума при много кадри. Snapdragon 865, например, със своите двойни 14-битови CV-ISP поддържа до хипотетична 200MP единична камера (въпреки че доставчиците на сензори за камери като Sony, Samsung и OmniVision все още не са пуснали сензор за камера на смартфон над 108 MP). Въпреки това, когато става дума за поддръжка на единична камера с MFNR, нулево забавяне на затвора (ZSL) и поддръжка на 30fps, спецификацията се променя на 64MP, а за двойни камери със същите спецификации спецификацията се променя на 25 MP.
Многокадровото намаляване на шума на Qualcomm е много подобно на HDR+, но не е напълно същото, както е обяснено от Judd по-горе. Докато HDR+ прави серия от недостатъчно експонирани експонации и ги осреднява, за да получи най-добрата снимка, MFNR прави пет-седем нормални кадъра. Не изглежда, че MFNR на Qualcomm е толкова напреднал, колкото решението на Google, тъй като HDR и слабата светлина не се споменават като конкретни приоритети в текущата работен процес за Spectra, докато HDR+ на Google е насочен към HDR, фотография при слаба светлина и намаляване на шума едновременно, като Night Sight го издига дори по-нататък. Въпреки това е окуражаващо да научим, че MFNR получава подобрения и Qualcomm ще пусне тези подобрения на „някои ключови клиенти“. В бъдеще може би няма да имаме нужда от неофициални портове на Google Camera, за да постигнем пълния потенциал на камерите за смартфони, различни от Google, Android.
Супер резолюция за видео
Мишал Рахман: И така, нещо, което чух на Tech Summit. Всъщност мисля, че беше в интервю с Android Authority. Дали Qualcomm планира да разшири супер разделителната способност към видеото като софтуерно решение за партньори и че това очевидно ще бъде пуснато в актуализация. Чудя се дали имате някакви актуализации за тази функция, които да споделите.
Джъд Хийп: Да, така че това е функция, която имахме възможността да правим от известно време и тъкмо сега се разпространява. Не бих казал, че е в софтуерна актуализация, но бих казал, че е нещо като допълнително предимство на съществуващата функция за мултикадър и слаба светлина. Ние се ангажираме с някои конкретни водещи клиенти по тази функция. Така че да, супер разделителната способност на видеото е нещо в друго поколение или така ще го имаме като това, което имаме обадете се на функция за план на запис, когато тя всъщност е вградена в базата на софтуерния код за [the] камера. Но в момента това е по-скоро на нивото на специфични ангажименти на клиентите за тази нова функция.
Анализ и контекст: Супер разделителната способност за видео е функция, която досега не се е показвала в камерите на смартфоните. Това е толкова нова област, че все още се пишат научни статии за това. Използването на многокадрови техники за фотография е едно нещо, но използването им за видео за увеличаване на видеото до по-висока разделителна способност е съвсем различен въпрос. Qualcomm казва, че отново пуска функцията на „някои ключови клиенти“, но в момента тя не е вградена в софтуерната кодова база за камерата. В бъдеще може да е достъпно за всички, но засега това е функция, която крайните потребители все още не са използвали.
Високо-мегапикселови сензори Quad Bayer
Идриес Пател: Да поговорим за сензорите Quad Bayer. От 2019 г. много телефони вече имат 48MP, 64MP, а сега дори 108MP сензори. Това са сензори Quad Bayer; всъщност нямате истинска цветова резолюция от 48 или 64 или 108 MP. Едно нещо, което исках да попитам, беше как ISP се различава по отношение на обработката на изображения за тези Quad Bayer или Nona Сензори на Bayer (4-в-1 или 9-в-1 пикселно групиране), в сравнение с традиционните сензори, които нямат пиксели групиране.
Джъд Хийп: Да, разбира се, предимството на тези четворни сензори CFA (Quad Color Filter Array) е способността да работят при ярка светлина с пълна разделителна способност и след това доставчикът на интернет услуги може да ги обработи с цели 108 мегапиксела или 64 мегапиксела или каквото и да е на разположение.
Въпреки това, обикновено в повечето светлинни ситуации, като на закрито или тъмно, трябва да групирате, тъй като пикселите на сензора са толкова малки, че трябва да комбинирате пиксели, за да получите по-добра светлочувствителност. Така че бих казал, че по-голямата част от времето, особено ако снимате видео или ако сте на слаба светлина за моментна снимка, работите в групиран режим.
Сега ISP може да обработи сензора така или иначе. Можете да гледате сензора в групиран режим, в който случай идва просто обикновено изображение на Bayer, или може да го гледате в режим на пълна разделителна способност, в който входящите данни са quad CFA. И ако е в този режим, ISP го преобразува в Bayer.
Така че ние правим - това, което наричаме - "remosaicing". Това прави известна интерполация на четворното CFA изображение, за да изглежда отново като Bayer с пълна разделителна способност. И това обикновено се прави в софтуер за моментна снимка, въпреки че в крайна сметка ще добавим тази възможност в хардуера, за да поддържаме и видео.
Това, което днес е в хардуера на ISP, е групиране. Така че можете да бинирате в сензора и всъщност можете да накарате сензора да реши дали ще извежда пълна, четвърт или 1/9-та разделителна способност, или можете да бинирате в ISP. И това всъщност е функция, която добавихме в Snapdragon 865. Така че, ако бинирате в ISP и след това стартирате сензора при пълна разделителна способност, това дава на ISP възможността да има както изображението с пълна разделителна способност, така и изображението в binded по едно и също време. Поради това може да използва по-малката разделителна способност или „групирано“ изображение за видео (видеокамера) и визуализация (визьор) и едновременно с това да използва изображение с пълна разделителна способност за моментна снимка в пълен размер.
Но отново, това би било в случай на условия на ярка светлина. Но поне ако bin в ISP, имате способността да се справите както с голямото, така и с малкото изображение в по едно и също време и следователно можете да получите едновременно видео и моментна снимка, можете също да получите пълна разделителна способност ZSL; всичко това, без да се налага да превключвате сензора напред-назад, което отнема значително време.
Това е наистина добра функция. И тъй като сензорите Quad CFA и дори знаете, сензорите 9x и може би дори повече излизат, и тъй като тези сензори стават все повече вездесъщ - търсим все повече и повече да управляваме тези сензори в хардуера, не само за групиране, но и за ремозайка.
И така, ползата от това е, че ако го направите в хардуера, в сравнение със софтуера, вие намалявате закъснение за вашите клиенти и следователно времето ви от кадър до кадър и скоростта ви на серия ще бъдат много по-бързи. Така че, докато вървим напред с нови ISP и нови чипове, ще започнете да виждате много повече от това, което правим за тези нови типове сензори, поставени в хардуера.
Анализ и контекст: Huawei беше първият, който използва 40MP Quad Bayer сензор с Huawei P20 Pro през 2018 г. и популярността на сензорите Quad Bayer беше толкова висока, че вече си проправи път дори до телефони за 150 долара, захранвани от чипове Snapdragon/Exynos/MediaTek. По-конкретно, видяхме, че индустрията на смартфоните достига до 48MP и 64MP камери като сладко място, докато няколко телефона достигат до 108MP. Сензорите Quad Bayer и Nona Bayer не идват без негативи, тъй като тяхната пълна разделителна способност идва с предупреждения.
Въпреки това, поради маркетингови причини, 48MP сензор звучи много по-добре от 12MP сензор, дори ако потребителят така или иначе прави 12MP пикселни групирани снимки през повечето време. 48MP сензор теоретично би трябвало да води до по-добри 12MP пикселни комбинирани снимки при слаба светлина, отколкото традиционните 12MP сензор, но обработката на изображенията трябва да се поддържа и както споменах по-долу, трябва да се извърви дълъг път, за да случи се. Независимо от това, беше интересно да се види как Spectra ISP се справя със сензорите Quad Bayer с remosaicing. Има голям потенциал в тези сензори и телефони като OnePlus 8 Pro (който използва сензор Sony IMX689 Quad Bayer с големи пиксели) в момента са на върха на камерите за смартфони.
ML-базирано разпознаване на лица
Мишал Рахман: Мисля, че по-рано споменахте, че разпознаването на лица, базирано на ML, се поддържа в Spectra 480. Това е нещо, което всъщност чух на Tech Summit. [Че това е] едно от подобренията от 380 до 480; че е част от - има нов блок за откриване на обекти в двигателя за видео анализ, който се използва за пространствено разпознаване в бъдеще.
Можете ли да говорите повече за това доколко това подобрява разпознаването на лица и какви потенциални приложения виждате да се използват от доставчиците?
Джъд Хийп: Всъщност да, значи сте точно във вградения блок за компютърно зрение, който е блокът "EVA", за който говорихме на Tech Summit. Това има общо ядро за откриване на обекти, което използваме, когато камерата работи, използваме го за откриване на лица. Техниките в този блок са по-традиционни техники, така че разпознаването на обекти се извършва с традиционни класификатори, но на всичкото отгоре имаме работещ софтуерен двигател, за да подобрим точността на това блок.
Така че ние използваме базиран на ML софтуер, за да филтрираме фалшивите положителни резултати, тъй като хардуерът може да открие повече неща като лица в сцената, а след това ML софтуерът е казвайки „добре, това е лице“ или „това наистина не е лице“ и така увеличава точността с няколко процентни пункта, като изпълнява този ML филтър върху хардуер.
Споменах много неща за бъдещето. В бъдеще това, което планираме да направим, е да стартираме самото разпознаване на цялото лице в ML или в режим на дълбоко обучение в софтуера. Особено, това ще бъде вярно на по-ниските нива, така че например в ниво, където нямаме EVA хардуерния двигател, ние ще започнем да въвеждаме задълбочено обучение като откриване, което работи в AI двигателя на чипа и след това по-късно, в горните нива в нивата 700-800 имаме EVA хардуер, за да направим това...
Като цяло обаче ще кажа, че ще се движим повече към подходи за машинно обучение за разпознаване на лица и това ще включва както софтуер в средносрочен план, така и хардуер в по-късен план. Няма да разкривам кои продукти ще го имат, но разбира се, докато вървим напред в подобряването на ISP, със сигурност ще добавяме все повече и повече хардуерни възможности за извършване на ML.
Мишал Рахман: Страхотно. Е, мисля, че е дадено, че посоката, в която вървите, е да пренесете подобренията в машинното обучение на серията 800 до по-ниското ниво, така че мисля, че като цяло това е даденост. Но, разбира се, не можете да ни дадете подробности за това. Благодаря Ви за актуализацията.
Джъд Хийп: Разпознаването на лица е нещо, към което сме много запалени. Искаме да подобрим тези точности, знаете поколение след поколение във всички нива по целия път от ниво 800 до ниво 400. ML е голяма част от това.
Анализ и контекст: Тези аспекти са това, което дава много по-голям потенциал на смартфон фотографията в сравнение дори с най-новите безогледални камери. Да, безогледалните камери имат по-добро качество на изображението при слаба светлина и са много по-гъвкави, но камерите на смартфоните преодоляват ограниченията си чрез гениални начини. Разпознаването на лица, базирано на ML, е само част от това.
Подобрения в системата за обработка на изображения
Мишал Рахман: Страхотно. Така че едно от нещата, които чух накратко по време на дискусиите на кръглата маса след Snapdragon Tech Summit, беше подобрение на механизма за обработка на изображения. Чух, че има подобрено намаляване на шума при ниски средни честоти или LEANR. И че прилагате динамична карта на обратното усилване; това ли е нещо, което споменахте по-рано в разговора.
Джъд Хийп: А, добре. Така че мисля, че смесвате две неща. Да, така че има ядрото LEANR, което е ядрото, което работи за намаляване на шума при по-груби зърна, което помага при слаба светлина. Това е нов блок, който беше добавен в Snapdragon 865 към ISP, и това е едно нещо.
Картата на обратното усилване е нещо друго. Това е нещо друго, което споменах на кръглите маси, но то е да се обърнат ефектите от засенчването на лещите. Както знаете, ако имате телефон и той има малък обектив; центърът на лещата ще бъде ярък, а краищата ще бъдат по-винетирани; което означава, че ще са по-тъмни.
И така през миналите години в ISP това, което имахме, е, че приложихме статична обратна карта на усилването, за да се отървем от тези тъмни ръбове. И така, това е в ISP от доста време. Това, което добавихме в Snapdragon 865 обаче, е възможността тази карта на усилването да се променя динамично спрямо конкретната рамка на изображението, защото ако приложите много усилвания към краищата това, което се случва, е, че краищата могат да бъдат изрязани, особено ако гледате ярки светлинни сцени навън, като синьото небе може някак да стане бяло или краищата ще се изрежат поради много печалба.
Така че в Snapdragon 865 тази обратна карта на усилването не е статична; динамично е. Така че ние гледаме изображението и казваме, "добре, тези части от изображението са изрязани и не трябва да бъдат", за да можем да се въртим извън картата на усилването естествено, така че да не получавате ярки ресни или хало ефекти или подобни неща от коригиране на обектива засенчване. Така че това е различно от намаляването на шума и това са две различни ядра.
Снимки при слаба светлина и агресивно намаляване на шума
Идриес Пател: И така, едно нещо, за което исках да попитам, беше фотография при слаба светлина. Както през последните няколко години, имаше много [внедрени от OEM] нощни режими, но едно нещо, което забелязах е, че много производители на устройства се стремят към агресивно намаляване на шума, което намалява детайлите до степен, в която дори шумът от яркостта е отстранени.
Така че въпросът ми е дали Qualcomm съветва производителите на устройства да не правят това и дали това е нещо, което техните тръбопроводи за обработка правят или е нещо повлияно от ISP в SoC.
Джъд Хийп: Голяма част от това е свързано с настройката и ако нямате мултикадър, или бих казал, не е наличен много добър сензор за изображения, с висока чувствителност или оптика с ниски f числа. Един от начините да се отървете от шума по-специално при слаба светлина е да приложите повече намаляване на шума, но това, което се случва, когато приложите повече намаляване на шума, е, че губите детайли, така че острите ръбове стават замъглени. Сега можете да се отървете от това, ако приложите тези многокадрови техники. Или ако приложите AI техники, които могат някак си да разберат къде са ръбовете на обектите и лицата и други подобни неща. Така че прилагането само на грубо намаляване на шума в днешно време не е наистина начинът да се справите, защото в крайна сметка губите детайли.
Това, което искате да направите, е да използвате многокадрови техники или AI техники, така че да можете да прилагате шум намаляване до по-скоро вътрешни зони на обекти, като същевременно се запазват хубави чисти ръбове или се запазват острите ръбове обекти. Така че това е, което бих казал: използването на изкуствен интелект или мултикадър е начинът за намаляване на шума и подобряване на изображенията при слаба светлина в бъдеще.
Идриес Пател: Да, и точно това исках да чуя. [Това е], защото това е основното нещо, което разделя страхотните камери за смартфони от камерите от среден или бюджетен клас.
Джъд Хийп: Да.
Идриес Пател: Страхотните камери за смартфони знаят кога да приложат намаляване на шума и кога не.
Джъд Хийп: Точно. Да, и както казах, настройката на камерата наистина се извършва от нашите клиенти или OEM производители, а някои OEM производители предпочитат по-меко изображение с по-малко шум. Някои предпочитат да разкрият повече детайли с може би малко повече шум.
И така, това е компромис и имате ограничения. И както казах, най-доброто нещо, което трябва да направите, е [да] получите по-добър сензор за изображения с по-висока чувствителност, по-големи пиксели или оптика с по-ниско f-число, защото тогава получавате повече светлина от самото начало, това винаги е По-добре. Но ако не можете да направите това, тогава вместо просто да задействате намаляването на шума и да губите детайли, това, което искате да направите, е да използвате многокадрови или AI техники.
Анализ и контекст: Това според мен в момента е най-големият проблем с камерите на смартфоните. Да, можете да използвате 48MP или 64MP или дори 108MP сензор. Ако обаче не изберете да използвате ограничено намаляване на шума с MFNR или AI техники, всички тези мегапиксели, групиране 4 в 1 и дори групиране 9 в 1 не са от голяма полза. Galaxy S20 Ultra е основният пример тук, тъй като основната му камера е 108MP до голяма степен се смяташе за разочарование. Samsung се върна назад в обработката на изображения, като използва изключително агресивно намаляване на шума в своите нощни режими в своите флагмани от 2020 г., докато серията Galaxy S10 от 2019 г. по ирония на съдбата имаше по-добро качество на изображението.
Джъд разкрива, че някои OEM производители всъщност предпочитат по-меко изображение с по-малко шум, което е фундаментално грешен избор. Настройката се извършва от производителите на устройства и следователно два телефона, използващи един и същ сензор и захранвани от един и същ SoC, могат да извеждат много, много различни снимки. Трябва да се надяваме, че тези производители на устройства ще научат истината от своите по-добре представящи се конкуренти. Докато Samsung загуби пътя си в обработката на изображения тази година, OnePlus беше рязък контраст. OnePlus 8 Pro е една от най-добрите камери за смартфони на пазара, което е забележително постижение, като се има предвид много лошото качество на камерата на OnePlus 5T през 2017 г. Нагласата за обработка на изображения трябва да се промени, за да могат снимките да са ясни, независимо колко мегапикселови войни бушуват.
AV1 декодиране и кодиране
Мишал Рахман: Така че това е малко отделно от другите дискусии, които водим относно качеството на камерата. Едно от нещата, които някои хора в общността на медийните кодеци с отворен код се чудят, е кога Qualcomm ще поддържа AV1 декодиране и евентуално кодиране. Знам, че това е малко разтегливо, но Google изисква 4K HDR и 8K телевизори на Android 10 да поддържат AV1 декодиране и Netflix, YouTube, те започват разпространението на видеоклипове, кодирани в AV1. Така че изглежда като бавен ръст на AV1 кодирани видеоклипове. Така че се чудим кога поне поддръжката за декодиране ще бъде налична в Spectra.
Изявление на Qualcomm: Съгласно вашия въпрос за AV1 - нямаме какво да обявим днес. В момента обаче Snapdragon може да възпроизвежда AV1 чрез софтуер. Qualcomm винаги работи с партньори върху кодеци от следващо поколение чрез създаване на софтуер и хардуер Snapdragon лидерът в HDR кодеците, включително заснемане и възпроизвеждане в HEIF, HLG, HDR10, HDR10+ и Dolby Визия. Разбира се, ние осъзнаваме, че предоставяме най-добрите CODEC изживявания на нашите клиенти, включително поддръжка на висока резолюция и най-ниска мощност, че внедряването им в HW е желателно.
Видеозапис - компенсация на движението
Мишал Рахман: Така че не знам дали Идрийс има още въпроси, но имах един въпрос относно нещо, което прочетох на Snapdragon Tech Summit. Става дума за видео ядрото с компенсация на движението. Чух, че има подобни подобрения в механизма за компенсиране на движението, за да се намали шумът при запис на видео. Чудех се дали можете да разширите какво точно е подобрено и какво е направено.
Джъд Хийп: Механизмът EVA (Engine for Video Analytics) е подобрен с по-плътно ядро на картата на движението, така че EVA двигател, знаете, например винаги гледа входящото видео и има ядро там, което прави движение оценка. Това, което направихме, е, че направихме това ядро много по-точно, когато го прави на почти ниво на пиксел, а не нещо като повече грубо ниво на блокове и така получаваме много повече вектори на движение от EVA двигателя в Snapdragon 865, отколкото в предишния поколения. И това означава, че видео ядрото, извършващо кодиране, може да използва тези вектори на движение, за да бъде повече точен относно кодирането, но ISP от страната на камерата също използва тази информация за шум намаляване.
Както знаете, от поколения сме имали компенсирано от движение времево филтриране, което всъщност е активното намаляване на шума по време на видео, което осреднява кадрите във времето, за да се отърве от шума.
Проблемът с тази техника обаче е дали има движение в сцената. Движението в крайна сметка просто се отхвърля от намаляването на шума, защото не може да се обработи или се размазва и получавате тези грозни следи и артефакти върху движещи се неща. И така, във времевото филтриране с компенсация на движението, това, което сме правили в миналото, откакто нямахме тази плътна карта на движението за местни движение, имаме - просто обработваме само случаи, когато движите камерата, доста е лесно, защото всичко се движи глобално.
Но ако снимате нещо и имате обект, който се движи ВЪТРЕ В сцената, това, което правехме преди [беше това] ние просто пренебрегнахме тези пиксели, защото не можахме да ги обработим за шум, защото беше локално движещ се обект. И следователно, ако осреднявате кадър по кадър, обектът е бил на различно място всеки кадър, така че не можете наистина да го обработите.
Но на Snapdragon 865, тъй като имаме по-плътна карта на движението и имаме способността да разглеждаме векторите на движение на почти един пиксел по пикселна база, ние всъщност сме в състояние да обработваме тези локално преместени пиксели кадър по кадър за намаляване на шума, докато преди не можехме. Мисля, че споменах показател в разговора. Не помня номера (беше 40%) но това беше голям процент пиксели средно за повечето видеоклипове, които сега могат да бъдат обработени за шум, докато в предишното поколение не можеха. И това наистина е отчасти способността да разбираме локалното движение, а не само глобалното движение.
Видеозапис - HDR
Идриес Пател: Друг въпрос, който имам, е относно HDR видеото. Тази година виждам много повече производители на устройства да предлагат HDR10 видеозапис. Дали това е нещо, което беше рекламирано със Snapdragon 865, или го има от няколко поколения.
Джъд Хийп: О, да, както говорихме за това на Tech Summit, имахме HDR10, който е видео стандартът за HDR на страна за кодиране на камерата вече няколко поколения, от Snapdragon 845, вярвам, и непрекъснато се подобряваме че.
И така, миналата година говорихме за HDR10+, което е 10-битов HDR запис, но вместо със статични метаданни има динамични метаданни, така че метаданните, които са заснети от камерата по време на сцената всъщност се записва в реално време, така че когато я възпроизведете, машината за възпроизвеждане разбира дали е била тъмна стая или светла стая и може да компенсира че.
Ние също миналата година на Tech Summit говорихме за Dolby Vision capture, което е алтернативата на Dolby на HDR10+. Много е подобно, когато те всъщност произвеждат и динамичните метаданни. Така че Snapdragon днес може да поддържа и трите от тези формати: HDR10, HDR10+ и Dolby Vision capture. И така че наистина няма ограничения, нашите производители на оригинално оборудване могат да изберат метода, който предпочитат. От известно време имаме клиенти, които използват HDR10, а миналата и тази година все повече и повече клиенти избират HDR10+. И мисля, че в бъдеще ще видите известно приемане на Dolby Vision Capture.
Така че да, популяризирахме това усилено. HDR е наистина важен за нас, както от страна на моментната снимка, така и от страна на видеото. И както казах, ние сме ангажирани с форматите HDR10 и HDR10+ и сега Dolby Vision, знаете от Snapdragon 845 и сега дори наскоро Snapdragon 865 за Dolby Vision.
Мишал Рахман: Освен това всъщност не бях сигурен дали някои доставчици все още са внедрили Dolby Vision запис, но предполагам, че това отговаря на този въпрос. [Това е] нещо, което ще видим в бъдеще.
Джъд Хийп: Разбира се - не мога да коментирам кои продавачи се интересуват и нещо подобно. Това би бил въпрос към Dolby; това е тяхна характеристика и затова, ако искате повече информация за това, бих предложил да се свържете с Dolby. Но към днешна дата, доколкото ми е известно, не е имало телефон, който да е пуснат с Dolby Vision Capture.
Идриес Пател: Защото имате нужда и от поддръжка на дисплея. Забелязах, че дисплеите на смартфони поддържат HDR10 и HDR10+, но не и Dolby Vision.
Джъд Хийп: Всъщност да, но възпроизвеждането на Dolby Vision се поддържаше от Snapdragon в миналото. Може да работи с даден дисплей и не е задължително дисплеят да отговаря на някакви специфични критерии, за да бъде съвместим с Dolby Vision, освен че Dolby ще класифицира дисплея и ще се увери, че има определена цветова гама, гама, определена битова дълбочина, определена яркост и определен контраст съотношение.
Така че, знаете, можете да си купите HDR10 дисплей, но можете също да купите телефон, който поддържа Dolby Vision възпроизвеждане, но Doby ще е квалифицирал този дисплей, за да се увери, че е съвместим с техните строги изисквания.
Сътрудничество с доставчици на софтуер: Imint, Morpho и Arcsoft
Мишал Рахман: Предполагам, че само един въпрос, който трябва да продължа, да направя повече изследвания с една компания, с която говорихме наскоро, е Imint. Те наскоро надстроиха своите Софтуер за стабилизиране Vidhance да се работа със Spectra 480. Знам, че работите с много компании, които също се възползват от Spectra 480, обработката. Чудя се дали можете да разкриете повече примери за тези технологии, които имате - или партньорите, които имате работи с, просто така че е] нещо, което можем да проследим, да научим повече за това как Spectra 480 се използва в поле.
Джъд Хийп: Работим с много доставчици на софтуер. Както споменахме в миналото, Dolby е един от тях. Има и други като споменатите от вас, Imint/Vidhance за EIS (електронна стабилизация на изображението). Също така споменахме Morpho и Arcsoft преди, ние също работим с тях много тясно.
Що се отнася обаче до начина, по който работим с тях, нашата политика е, че наистина искаме да работим много тясно с тези независими доставчици на софтуер и да направим сигурни, че каквото и да правят в софтуера, че могат да използват хардуера в Snapdragon, за да постигнат най-ниската консумация на енергия възможен.
Така че едно от нещата, които правим с тези доставчици, е да се уверим, че имат наистина добър достъп до HVX двигателя или ядрото Hexagon DSP. Те също използват EVA двигателя, за да получат вектори на движение и да използват хардуера и EVA двигателя за манипулиране на изображения, така че те могат да извършват движение на изображението, превод и деформиране и подобни неща в хардуера, вместо да използват GPU, за да че.
И така, ние наистина работим в тясно сътрудничество с тези ISV, особено тези, които споменах по-специално, за да сме сигурни, че те не просто поставят всичко и софтуер в процесора, но те използват неща като DSP и хардуерни ускорители в EVA, за да получат по-добра производителност и по-ниска мощност консумация. Така че това е наистина важно и за нас, защото дава на нашите клиенти възможно най-добрата комбинация от функции и консумация на енергия.
[Заключителни коментари от Джъд]: Просто исках да кажа, благодаря ви момчета за всички наистина добри въпроси. Те са наистина, много подробни. Работя в Qualcomm от около три години и гледам към нашето минало, дори след моя мандат тук, където започнахме със Spectra преди Snapdragon 845, работихме наистина усилено, за да подобрим драматично ISP, и камерата, и просто цялостното изживяване през последните няколко години. Наистина се вълнувам дори от това, което бъдещето носи. И съм развълнуван от това, което ще обявим на бъдещите срещи на върха на технологиите, за които можете да питате и да пишете. [Spectra Camera] вероятно според мен е една от най-вълнуващите технологии в Qualcomm.
Последни мисли
Беше страхотно да проведем дискусия с Джъд за приноса на Qualcomm към смартфон фотографията. Може да имаме смесени чувства относно компанията и тяхната система за патентно лицензиране, но белегът на Qualcomm върху индустрията на смартфоните се усеща от всички, независимо дали говорим за патенти, 4G и 5G, Wi-Fi, графичните процесори Adreno, интернет доставчиците на Spectra и самите чипове Snapdragon, които до голяма степен се считат за златния стандарт в смартфоните с Android пазар.
Все още има много болезнени точки, които трябва да бъдат решени във фотографията със смартфон, но бъдещето е ярък, тъй като Qualcomm обещава, че ще постигне повече напредък в обширните, разрастващи се полета на машинното обучение, което захранва AI. Нека да видим какво има да обяви Qualcomm в тази област на следващата среща на върха на Snapdragon Tech.