Qualcomm Spectra 380 прави огромен скок напред в изчислителната фотография и изкуствения интелект на камерата. Прочетете всичко за огромните подобрения, които идват тази година!
Вчера в Хавай на срещата на върха на Snapdragon Technology, дългоочакваната Qualcomm Snapdragon 855 беше пуснат. Докато новият чип носи различни съществени промени (от значително по-точен GPS до първата нова 2,4 GHz WiFi версия в десетилетие, до 5G клетъчна свързаност), дискусията продължава да се връща към изображенията и огромните подобрения на Qualcomm Spectra 380 носи.
Традиционно ISP на фотоапарата ще се справи с трансформирането на необработените цветни изходи на фотоапарата в нещо, което останалата част телефонът може да използва за машинно зрение, но тъй като обработката на AI стана по-сложна, интеграцията със специализиран хардуер стана критичен. Qualcomm направи първите стъпки към това с техните Qualcomm Spectra 280, поддръжка за изпичане на многокадрово шумопотискане и отчитане на дълбочина направо в ISP, но все още имаше дълъг път. Тази година Qualcomm прави този скок, вграждайки хардуерно ускоряване на компютърното зрение направо в Qualcomm Spectra 380 ISP и създавайки това, което те наричат първия в света CV-ISP.
Qualcomm Spectra 380 ще премахне тесните места в тръбопровода за обработка на изображения и ще доведе до до 4 пъти спестяване на енергия в сравнение с предишните поколения чрез извършване на машинно зрение обработка направо на самия ISP, премахване на необходимостта от събуждане на CPU, GPU и HSP за сложни AI задачи за фотография и значително подобряване на AR на процесора възможности.
Това означава, че хардуерното отчитане на дълбочината, класифицирането на обекти и сегментирането на обекти могат да се случват в реално време за до 4k HDR 60Hz на Qualcomm Snapdragon 855. Това ще ни даде замяна на жив обект или фон във видео в реално време, отваряйки нови възможности за приложения с разширена реалност (XR) с чипсет Qualcomm Snapdragon 855 както в телефони, така и в AR слушалки.
Подобренията за Qualcomm Spectra 380 обаче не спират до AI и AR. Qualcomm положи много работа в подобряването на цветовото пространство и яркостта, добавяйки поддръжка за пълен HDR10+ видеозапис, правейки го възможно е да записвате видеоклипове с по-голям динамичен диапазон и по-широки цветови пространства, за да се възползвате напълно от възможностите на съвременните телефони и телевизори.
Новият ISP също така носи подобрено хардуерно ускорение за VP9 видео и за базирания на HEVC HEIF формат на изображение, който може да бъде с 50% по-малък в сравнение с по-старите формати на изображения и носи разширена функционалност (въпреки че ние силно очакваме добавянето на хардуерно ускорение за на AV1 базиран AVIF, който се надяваме да бъде наличен през следващите години)
Qualcomm Spectra 380 също ще може да обработва изображения с по-висока разделителна способност от предишните години, с двойния си 14-битов CV-ISP тръбопровод, поддържащ 22MP 30Hz едновременно заснемане на двойни камери и 48MP 30Hz заснемане с едно изображение сензор. По-бързият тръбопровод за четене на сензора обаче не се превежда към видео в този случай, където Qualcomm Spectra 380 поддържа същата нативна 720p 480Hz (без използване на сензорния кеш), както Spectra 280 направиха.
Най-хубавото от всичко е, че Qualcomm Spectra 380 може да продължи да се подобрява в бъдеще, тъй като неговият нов модулен ISP дизайн носи новооткрито гъвкавост към тръбопровода за изображения, отваряйки потенциала за различни методи за обработка както за RAW, така и за YUV пиксел домейни.
Вълнувате ли се от разширената AI функционалност в камерите? За какво се надявате да можете да използвате машинното зрение? Кажете ни в коментарите по-долу!