Qualcomm의 Judd Heape는 Qualcomm이 Spectra ISP의 새로운 기능을 통해 Android 휴대폰의 카메라 경험을 어떻게 개선하고 있는지 설명합니다.
전 세계 스마트폰과 웨어러블 기기의 대부분을 구동하는 SoC(시스템 온 칩) 제조업체로서 미국에 본사를 둔 Qualcomm은 의심할 여지 없이 칩 제조업체 업계의 거대 기업 중 하나입니다. 예를 들어 Snapdragon SoC 제품군은 거의 모든 주요 Android 기기 제조업체에서 플래그십, 중급 및 저가형 스마트폰에 사용됩니다. Qualcomm은 ARM의 새로운 CPU 마이크로아키텍처를 통합하여 CPU, GPU 및 AI 분야의 발전을 위해 매년 회사의 연례 Tech Summit에서 칭찬을 받습니다. 맞춤형 GPU의 연간 개선으로 이를 보완합니다. 그러나 카메라 분야의 발전은 눈에 띄지 않습니다. 레이더.
하지만 이것이 스마트폰 카메라 분야에서 퀄컴의 업적이 중요하지 않다는 뜻은 아닙니다. 반대로 Snapdragon SoC에 포함된 Qualcomm의 Spectra ISP는 최신 스마트폰 카메라의 많은 부분을 가능하게 해줍니다. 컴퓨팅 처리 능력, 8K 비디오 녹화, HDR10 비디오, 고 메가픽셀 QCFA 카메라 지원 등의 기능 더. Qualcomm은 Snapdragon 855에 Spectra 380 ISP가 탑재되어 있다고 홍보했습니다. 세계 최초의 CV-ISP였습니다., 세계 최초의 4K HDR 비디오 녹화 기능을 홍보했으며 이제 2세대 4K HDR10+ 비디오 녹화로 보완되었습니다. 최신 세대의 Spectra 480 ISP 금어초 865 성능이 매우 뛰어납니다. 초당 2기가픽셀을 처리할 수 있으며, 이는 이전 제품보다 40% 증가한 수치입니다. 이는 모바일 칩 공급업체 분야에서 Qualcomm을 경쟁업체와 차별화하는 지적 재산(IP)입니다.
Qualcomm은 보도 자료와 제품 기조 연설에서 대부분의 헤드라인 기능을 설명하지만 지금까지 소비자는 이러한 제품을 만드는 낮은 수준의 세부 사항을 대부분 알 기회가 없었습니다. 일하다.
이것이 바로 우리 XDA Developers가 Qualcomm의 제품 관리 부문 수석 이사인 Judd Heape와의 대화 제안을 기쁘게 받아들인 이유입니다. XDA의 편집장인 Mishaal Rahman과 저는 2020년 6월 Judd와 인터뷰를 통해 Qualcomm이 스마트폰 사진 및 영상 녹화를 통해 어떻게 목표를 달성하고 있는지 알아보았습니다. 우리는 AI 이미지 처리, 다중 프레임 노이즈 감소(MFNR), AV1, Dolby Vision 비디오 녹화, 고 메가픽셀 카메라의 픽셀 비닝 등을 포함한 주제에 대해 이야기했습니다. 각 주제에 대한 Judd의 통찰력을 하나씩 살펴보겠습니다.
AI 이미지 처리 워크로드
미샤알 라만: Idrees가 가지고 있던 것 중 하나부터 시작하겠습니다. 흥미롭고 저도 관심이 있었던 것입니다. 그러면 Qualcomm이 Spectra ISP에서 사용하는 AI 이미지 처리 워크로드는 무엇이며, 장치 제조업체에서는 어느 정도까지 사용자 정의할 수 있는지 궁금합니다.
저드 힙: 네, 그래서 우리는 많은 AI 워크로드를 살펴보고 있으며 ISP 자체에서 실행할 수 있는 AI도 있습니다. 예를 들어 차세대 3A: 자동 노출, 자동 화이트 밸런스, 자동 초점은 AI입니다. 기반을 둔.
그러나 ISP 외부의 다른 컴퓨팅 요소 중 하나에서 실행되는 몇 가지 다른 AI 워크로드도 살펴봅니다. 따라서 특히 다음과 같은 사항을 살펴봅니다. 칩의 AI 엔진(AIE) 부분에 ISP 외부에서 실행되는 AI 기반 소음 감소 코어가 있습니다.
또한 AIE 컴플렉스에서도 실행되지만 물론 카메라를 보조하는 완전한 딥 러닝 엔진인 얼굴 감지와 같은 기능도 있습니다. 얼굴 감지 및 노이즈 제거 외에 우리가 작업하고 있는 다른 작업도 있습니다. 우리는 또한 자동으로 설정되는 AI를 사용하여 스냅샷을 자동 조정하는 등의 작업을 수행하는 방법도 검토하고 있습니다. HDR 콘텐츠를 기반으로 장면당 매개변수를 지정하고 그림자, 하이라이트, 색상 등을 수정하는 과정을 거쳤습니다. 물건.
우리 파트너 중 하나인 Morpho는 올해 Embedded Vision Summit에서 대규모 AI 워크로드 상을 수상했습니다. 독립 소프트웨어 공급업체 파트너도 매우 강력한 AI 기반 알고리즘을 많이 보유하고 있으며 이는 부드러운 카메라와 같은 것까지 다양합니다. Arcsoft가 수행하는 것과 같은(AI 기반의 지난 Snapdragon Tech Summit에서 언급한 바 있음) Morpho의 의미론적 세분화로의 전환 엔진. Morpho의 솔루션은 직물, 피부, 하늘, 잔디 등 장면의 다양한 부분을 이해하는 AI 엔진입니다. 그런 다음 ISP는 해당 정보를 가져와 텍스처, 노이즈, 색상에 대해 해당 픽셀을 다르게 처리할 수 있습니다. 예.
퀄컴의 성명: ML 및 AI의 경우에도 오늘은 얼굴 인식 및 "3A"(AE, AF 및 AWB) 기능에 대한 새로운 업데이트를 발표하지 않습니다. 그러나 Judd가 말했듯이 우리는 앞으로 이 두 가지 기능 영역을 포함하여 더 많은 ML/AI 기능을 카메라에 제공하기 위해 최선을 다하고 있습니다.
분석 및 맥락: 스마트폰의 AI는 최초의 신경 처리 장치(NPU)와 "AI 기반" 기능이 Android 휴대폰에 등장하기 시작한 이래로 주로 화두로 여겨져 왔습니다. 하지만 그렇다고 AI 자체가 의미가 없다는 뜻은 아니다. 반대로 AI는 모바일 분야에서 많은 잠재력을 갖고 있어 칩 공급업체와 장치 제조업체 모두 지금까지 가능한 것의 표면만 긁는 수준에 불과합니다.
AI 덕분에 스마트폰 카메라는 더 좋아졌습니다. 때로는 빠르게, 때로는 고통스러울 정도로 느리지만 목표에 도달하고 있습니다. 스마트폰 카메라는 상대적으로 작은 센서, 고정형 등 근본적인 한계를 극복하고 있다. 기계 학습을 기반으로 하는 스마트 계산 사진으로 초점 거리 및 열악한 광학 (ML). 자동 노출, 노이즈 감소, 얼굴 감지 및 분할은 스마트폰 사진 촬영의 AI가 영향을 미칠 수 있는 분야 중 일부일 뿐입니다. 향후 5년 동안 사진의 다양한 측면을 개선하는 이러한 초기 AI 분야는 많이 성숙해질 것입니다.
다중 프레임 노이즈 감소
이드리스 파텔: 퀄컴에서는 멀티 프레임 노이즈 감소를 기능으로 언급해 왔습니다. 이미지 스태킹이 어떻게 작동하는지 더 자세히 알고 싶습니다. Google이 HDR+ 기술을 사용하는 것과 어떤 면에서 유사합니까, 아니면 완전히 다른가요?
저드 힙: 비슷하면서도 다릅니다. 카메라가 연속해서 빠르게 연속해서 5~7개의 프레임을 캡처한다고 상상해 보세요. 그런 다음 ISP 엔진은 해당 프레임을 살펴보고 가장 적합한 프레임("앵커 프레임"이라고 함)을 선택합니다. 초점과 선명도를 높인 다음 해당 프레임의 양쪽에서 3~4개의 프레임을 선택한 다음 모두 평균을 낼 수 있습니다. 함께. 움직임이 거의 없도록 서로 충분히 가까운 프레임을 선택하려고 합니다.
그리고 해당 프레임이 결정되면 평균을 내서 차이점을 식별합니다. 예를 들어 실제 이미지 데이터와 노이즈 데이터가 무엇인지 구분합니다. 따라서 점점 더 많은 프레임에서 더 많은 정보를 얻을 때 실제로 프레임 간의 차이점을 살펴보는 것과 같은 간단한 작업을 수행할 수 있습니다. 차이점은 아마도 노이즈인 반면, 프레임에서 동일한 것은 아마도 이미지 데이터일 것입니다.
따라서 실시간 프레임 결합을 수행하여 노이즈를 줄일 수 있습니다. 이제 저조도 및 HDR에서도 동일한 작업을 수행할 수 있으며 이는 Google이 수행하는 작업과 매우 유사합니다. 우리는 그들의 알고리즘에 관심이 없습니다. 하지만 그들은 감도를 높이기 위해 다중 프레임 기술을 사용하여 사용자가 더 잘 볼 수 있도록 하고 있습니다. 노이즈 플로어를 줄이면 이제 로컬 톤 매핑을 더 많이 수행하거나 노이즈를 추가하지 않고도 이미지에 게인을 추가할 수 있습니다.
이것이 바로 저조도와 HDR을 처리하는 방법입니다. 다중 프레임 노이즈 감소 기능은 Qualcomm에서 향상될 예정이며 여기에는 저조도 및 HDR도 포함됩니다. 하지만 이는 곧 출시될 예정입니다.
미샤알 라만: 곧 이 기능을 출시한다고 말씀하셨는데요. 파트너를 위한 BSP 업데이트처럼 제공되나요?
저드 힙: 우리의 차세대 제품에서는 소프트웨어 추가를 통해 우리가 참여할 수 있는 능력을 갖추게 될 것입니다. 세대 제품 - 우리는 노이즈 감소를 넘어 더 많은 멀티 프레임 기술을 수행하고 HDR 및 저조도를 처리하기 위해 현재 고객과 협력하고 있습니다. 상황. 동일한 기본 ISP HW 엔진을 사용하고 있지만 소음 감소 이상의 목적으로 이러한 다중 프레임을 처리하기 위해 더 많은 소프트웨어를 추가하고 있습니다.
따라서 출시된 기능은 아니지만 우리는 해당 기능에 대해 일부 주요 주요 고객과 협력하고 있습니다.
분석 및 맥락: Snapdragon SoC가 새로 발표될 때마다 Qualcomm의 사양표에는 다중 프레임 노이즈 감소와 관련된 사양이 포함됩니다. 예를 들어 Snapdragon 865에는 듀얼 14비트 CV-ISP가 있습니다. 가상의 200MP 단일 카메라까지 지원 (Sony, Samsung, OmniVision과 같은 카메라 센서 공급업체는 아직 108MP 이상의 스마트폰 카메라 센서를 출시하지 않았지만). 그러나 MFNR, 제로 셔터 랙(ZSL) 및 30fps 지원을 갖춘 단일 카메라 지원의 경우 사양이 64MP로 변경되며, 동일한 사양의 듀얼 카메라의 경우 사양이 64MP로 변경됩니다. 25MP
Qualcomm의 다중 프레임 노이즈 감소는 위의 Judd가 설명한 것처럼 HDR+와 매우 유사하지만 완전히 동일하지는 않습니다. HDR+는 일련의 노출 부족 노출을 촬영하고 평균을 내서 최상의 사진을 얻는 반면, MFNR은 5-7 일반 프레임을 촬영합니다. 현재 HDR과 저조도가 구체적인 우선순위로 언급되지 않기 때문에 Qualcomm의 MFNR이 Google의 솔루션만큼 진보한 것으로 보이지는 않습니다. Spectra의 워크플로는 Google의 HDR+가 HDR, 저조도 사진 및 소음 감소를 동시에 목표로 삼는 반면 Night Sight는 한 단계 더 높은 수준을 차지합니다. 더 나아가. 그러나 MFNR이 향상된 기능을 받고 있으며 Qualcomm이 이러한 향상된 기능을 "일부 주요 고객"에게 출시할 예정이라는 사실은 고무적입니다. 앞으로는 Google이 아닌 Android 스마트폰 카메라의 잠재력을 최대한 활용하기 위해 비공식 Google 카메라 포트가 필요하지 않을 수도 있습니다.
비디오용 초해상도
미샤알 라만: 그래서 제가 Tech Summit에서 들은 내용이 있습니다. 사실 그랬던 것 같아요 와의 인터뷰에서 안드로이드 권한. Qualcomm은 파트너를 위한 소프트웨어 솔루션으로 초해상도를 비디오로 확장할 계획이며 이는 분명히 업데이트를 통해 출시될 예정입니다. 이 기능에 대해 공유할 업데이트가 있는지 궁금합니다.
저드 힙: 네, 한동안 가능했던 기능이 이제 막 출시되었습니다. 소프트웨어 업데이트에 있다고는 말할 수 없지만 기존 다중 프레임, 저조도 기능에 추가된 이점과 비슷하다고 말하고 싶습니다. 우리는 해당 기능에 대해 일부 특정 주요 고객과 협력하고 있습니다. 네, 비디오 초해상도는 다른 세대의 기술이므로 우리는 그것을 우리가 사용하는 방식으로 갖게 될 것입니다. [the]에 대한 소프트웨어 코드 기반에 실제로 내장된 기록 기능 계획을 호출합니다. 카메라. 그러나 지금은 새로운 기능에 대한 특정 고객 참여 수준에 더 가깝습니다.
분석 및 맥락: 비디오용 초해상도는 지금까지 스마트폰 카메라에는 나타나지 않았던 기능입니다. 너무 새로운 분야라서 이에 대한 연구 논문은 아직도 작성되고 있습니다.. 사진에 멀티 프레임 기술을 사용하는 것과 비디오에 이를 사용하여 비디오를 더 높은 해상도로 높이는 것은 완전히 다른 문제입니다. Qualcomm은 이 기능을 "일부 주요 고객"에게 다시 출시할 예정이지만 현재는 카메라의 소프트웨어 코드 기반에 내장되어 있지 않다고 밝혔습니다. 미래에는 모든 사람이 사용할 수 있게 될 수도 있지만 현재로서는 최종 소비자가 아직 사용해 본 적이 없는 기능입니다.
고해상도 쿼드 베이어 센서
이드리스 파텔: 쿼드베이어 센서에 대해 이야기해보겠습니다. 2019년부터 많은 휴대폰에 48MP, 64MP, 심지어 108MP 센서가 탑재되었습니다. 이는 쿼드 베이어 센서입니다. 실제로 48, 64 또는 108MP의 트루 컬러 해상도는 없습니다. 제가 묻고 싶었던 것 중 하나는 이러한 Quad Bayer 또는 Nona의 이미지 처리 측면에서 ISP가 어떻게 다른지였습니다. 픽셀이 없는 기존 센서와 비교한 Bayer 센서(4-in-1 또는 9-in-1 픽셀 비닝) 비닝.
저드 힙: 네, 물론 쿼드 CFA(쿼드 컬러 필터 어레이) 센서의 장점은 밝은 조명에서도 작동할 수 있다는 것입니다. 전체 해상도로 처리하면 ISP가 전체 1억 8메가픽셀이나 64메가픽셀 등 무엇이든 처리할 수 있습니다. 사용 가능.
그러나 일반적으로 실내나 어두운 곳과 같은 대부분의 조명 상황에서는 센서 픽셀이 너무 작아서 더 나은 감광도를 얻으려면 픽셀을 결합해야 하기 때문에 비닝해야 합니다. 따라서 대부분의 경우, 특히 비디오를 촬영하거나 스냅샷을 촬영하기 위해 조명이 어두운 경우에는 비닝 모드에서 실행됩니다.
이제 ISP는 어느 쪽이든 센서를 처리할 수 있습니다. 일반 Bayer 이미지가 들어오는 경우 비닝 모드에서 센서를 볼 수 있고, 들어오는 데이터가 쿼드 CFA인 전체 해상도 모드에서 센서를 볼 수 있습니다. 그리고 해당 모드에 있으면 ISP는 이를 Bayer로 변환합니다.
그래서 우리는 소위 "리모자이크"를 하고 있습니다. 이는 다시 전체 해상도 Bayer처럼 보이도록 쿼드 CFA 이미지를 보간하는 것입니다. 그리고 이는 일반적으로 스냅샷을 위한 소프트웨어에서 수행됩니다. 물론 우리는 비디오도 지원하기 위해 하드웨어에 이 기능을 추가할 예정입니다.
오늘날 ISP 하드웨어에 포함된 것은 비닝(binning)입니다. 따라서 센서에 비닝할 수 있고 실제로 센서가 전체 해상도, 1/4 또는 1/9 해상도를 출력할지 결정하도록 하거나 ISP에 비닝할 수 있습니다. 실제로 이는 Snapdragon 865에 추가된 기능입니다. 따라서 ISP에서 비닝한 다음 센서를 전체 해상도로 실행하면 ISP는 전체 해상도 이미지와 비닝된 이미지를 동시에 가질 수 있는 기능을 갖게 됩니다. 따라서 비디오(캠코더) 및 미리 보기(뷰파인더)에 더 작은 해상도 또는 "비닝된" 이미지를 사용하고 동시에 전체 크기 스냅샷에 전체 해상도 이미지를 사용할 수 있습니다.
그러나 이는 밝은 조명 조건의 경우에 해당됩니다. 그러나 적어도 ISP에서 빈을 생성한다면 큰 이미지와 작은 이미지를 모두 처리할 수 있는 능력을 갖게 됩니다. 동시에 비디오와 스냅샷을 동시에 얻을 수 있으며 전체 해상도도 얻을 수 있습니다. ZSL; 센서를 앞뒤로 전환할 필요 없이 모두 상당한 시간이 걸립니다.
이것은 정말 좋은 기능입니다. Quad CFA 센서와 마찬가지로 9x 센서와 그 이상이 나올 수도 있습니다. 유비쿼터스 - 우리는 비닝뿐만 아니라 하드웨어에서 이러한 센서를 처리하기 위해 점점 더 많은 노력을 기울이고 있습니다. 리모자이크.
따라서 그 이점은 소프트웨어에서 수행하는 것보다 하드웨어에서 수행하면 비용이 절감된다는 것입니다. 고객의 대기 시간이 단축되므로 샷 간 시간과 버스트 속도가 훨씬 빨라집니다. 따라서 우리가 새로운 ISP와 새로운 칩을 개발하면서 하드웨어에 탑재된 새로운 유형의 센서에 대해 우리가 하고 있는 일을 더 많이 보게 될 것입니다.
분석 및 맥락: 화웨이는 최초로 40MP 쿼드 베이어 센서를 사용했습니다. 화웨이 P20 프로 2018년에는 Quad Bayer 센서의 인기가 너무 높아서 이제 Snapdragon/Exynos/MediaTek 칩으로 구동되는 150달러짜리 휴대폰에도 진출했습니다. 특히, 우리는 스마트폰 업계가 48MP 및 64MP 카메라를 최적의 장소로 채택하는 반면 일부 전화기는 108MP까지 올라가는 것을 보았습니다. Quad Bayer 및 Nona Bayer 센서에는 단점이 없습니다. 전체 해상도에는 주의 사항이 따르기 때문입니다.
그러나 마케팅상의 이유로 사용자가 어쨌든 대부분의 시간 동안 12MP 픽셀 비닝된 사진을 찍는 경우에도 48MP 센서는 12MP 센서보다 훨씬 더 좋게 들립니다. 48MP 센서는 이론적으로 기존 12MP보다 저조도에서 더 나은 12MP 픽셀 비닝 사진을 생성해야 합니다. 하지만 이미지 처리가 따라잡아야 하고, 아래에서 언급한 것처럼 그러려면 갈 길이 멀다. 일어나다. 그럼에도 불구하고 Spectra ISP가 리모자이크를 통해 Quad Bayer 센서를 어떻게 처리하는지 보는 것은 흥미로웠습니다. 이러한 센서와 OnePlus 8 Pro(대형 픽셀의 Sony IMX689 Quad Bayer 센서 사용)와 같은 휴대폰에는 많은 잠재력이 있습니다. 지금은 스마트폰 카메라의 정점에 서있습니다..
ML 기반 얼굴 인식
미샤알 라만: 아까 Spectra 480에서 ML 기반 얼굴 인식이 지원된다고 말씀하셨던 것 같은데요. 실제로 Tech Summit에서 들은 내용입니다. [이것은] 380에서 480으로의 개선 사항 중 하나입니다. 이는 향후 공간 인식에 사용되는 비디오 분석 엔진에 새로운 목표 감지 블록이 있다는 것입니다.
이것이 얼굴 인식을 얼마나 향상시키고 공급업체에서 어떤 잠재적인 응용 프로그램을 사용하고 있는지 더 자세히 말씀해 주시겠습니까?
저드 힙: 네, 실제로는 임베디드 컴퓨터 비전 블록, 즉 우리가 Tech Summit에서 이야기한 "EVA" 블록에 계시다는 말씀이 맞습니다. 여기에는 카메라가 실행 중일 때 사용하는 일반 객체 감지 코어가 있으며 이를 사용하여 얼굴을 감지합니다. 해당 블록의 기술은 보다 전통적인 기술이므로 객체 인식은 전통적인 방식으로 수행됩니다. 하지만 그 외에도 분류의 정확성을 실제로 향상시키기 위해 실행되는 소프트웨어 엔진이 있습니다. 차단하다.
따라서 우리는 ML 기반 소프트웨어를 사용하여 오탐지를 필터링하고 있습니다. 하드웨어는 장면에서 얼굴로 더 많은 것을 감지할 수 있고 ML 소프트웨어는 "그래 저건 얼굴이야" 또는 "저건 정말 얼굴이 아니야"라고 말하면 ML 필터를 실행하여 정확도를 몇 퍼센트 포인트 높일 수 있습니다. 하드웨어.
나는 미래에 대해 많은 것을 언급했습니다. 앞으로 우리가 할 계획은 ML이나 소프트웨어의 딥 러닝 모드에서 실제 전체 얼굴 인식 자체를 실행하는 것입니다. 특히 낮은 계층에서는 더욱 그렇습니다. 예를 들어 EVA 하드웨어 엔진이 없는 계층에서는 딥 러닝을 단계적으로 시작할 것입니다. 칩의 AI 엔진에서 실행되고 나중에 700-800 계층의 상위 계층에서 이를 수행하기 위한 EVA 하드웨어를 사용하는 감지 기능이 있습니다.
하지만 일반적으로 우리는 얼굴 감지를 위한 ML 접근 방식으로 더 나아갈 것이며, 여기에는 중기적으로는 소프트웨어가, 나중에는 하드웨어가 모두 포함될 것입니다. 어떤 제품에 이 기능이 포함되는지는 공개하지 않겠습니다. 하지만 ISP 개선이 진행됨에 따라 ML을 수행할 수 있는 하드웨어 기능이 점점 더 많이 추가될 것입니다.
미샤알 라만: 엄청난. 글쎄요, 당신이 가고 있는 방향이 800 시리즈의 머신러닝 개선을 하위 계층으로 가져오는 것이 당연하다고 생각하므로 일반적으로 그것은 당연하다고 생각합니다. 하지만 물론 이에 대해 구체적인 정보를 제공할 수는 없습니다. 업데이트 해주셔서 감사합니다.
저드 힙: 얼굴 인식은 우리가 매우 열정적으로 다루고 있는 분야입니다. 우리는 이러한 정확성을 향상시키고 싶습니다. 800 계층에서 400 계층까지 모든 계층에서 세대를 거쳐 진행됩니다. ML은 그 중 큰 부분을 차지합니다.
분석 및 맥락: 이러한 측면은 최신 미러리스 카메라보다 스마트폰 사진에 훨씬 더 많은 잠재력을 제공합니다. 그렇습니다. 미러리스 카메라는 저조도에서 더 나은 화질을 제공하고 훨씬 더 유연하지만, 스마트폰 카메라는 독창적인 방법을 통해 이러한 한계를 극복하고 있습니다. ML 기반 얼굴 감지는 그 일부일 뿐입니다.
이미지 처리 엔진 개선
미샤알 라만: 엄청난. 그래서 스냅드래곤 테크 서밋 이후 원탁 토론에서 제가 잠깐 들은 것 중 하나가 이미지 처리 엔진의 개선이었습니다. 저중주파 노이즈 감소(LEANR) 기능이 개선됐다고 들었습니다. 그리고 동적 역 이득 맵을 적용하고 있습니다. 앞서 대화에서 언급한 내용인가요?
저드 힙: 아, 그래요. 그래서 나는 당신이 두 가지를 혼합하고 있다고 생각합니다. 예, LEANR 코어가 있습니다. 이는 더 거친 입자의 노이즈 감소에 작용하여 저조도에서 도움이 되는 코어입니다. 이는 Snapdragon 865에서 ISP에 추가된 새로운 블록입니다.
역방향 이득 맵은 다른 것입니다. 그것은 제가 원탁에서 언급한 또 다른 것인데, 그것은 렌즈 셰이딩의 효과를 뒤집는 것입니다. 아시다시피, 휴대폰에 작은 렌즈가 장착되어 있다면; 렌즈 중앙은 밝아지고 가장자리는 더욱 비네팅 처리됩니다. 즉, 더 어두워질 것이라는 뜻입니다.
그래서 지난 몇 년 동안 ISP에서는 어두운 가장자리를 제거하기 위해 정적 역 이득 맵을 적용했습니다. 그래서 그것은 꽤 오랫동안 ISP에 있었습니다. 하지만 Snapdragon 865에 추가한 것은 특정 이미지 프레임에 따라 게인 맵이 동적으로 변경되는 기능입니다. 왜냐하면 가장자리에 많은 게인을 적용하면 되기 때문입니다. 무슨 일이 일어나는지는 가장자리가 잘릴 수 있다는 것입니다. 특히 외부의 밝은 빛 장면을 볼 때 푸른 하늘이 하얗게 변하거나 많은 빛으로 인해 가장자리가 잘릴 수 있는 것처럼 말입니다. 얻다.
따라서 Snapdragon 865에서는 역 이득 맵이 정적이 아닙니다. 그것은 역동적입니다. 그래서 우리는 이미지를 보면서 "알겠습니다, 이미지의 이 부분이 잘려 있는데 너무 있어서는 안 됩니다"라고 말하여 회전할 수 있습니다. 렌즈 교정으로 인해 밝은 줄무늬나 후광 효과 또는 이런 종류의 현상이 발생하지 않도록 자연스럽게 게인 맵에서 벗어나십시오. 농담. 그래서 그것은 소음 감소와 다르며 두 개의 다른 코어입니다.
저조도 사진 촬영 및 공격적인 소음 감소
이드리스 파텔: 그래서 제가 묻고 싶었던 것 중 하나가 저조도 사진 촬영이었습니다. 지난 몇 년 동안처럼 [OEM 구현] 야간 모드가 많이 있었지만 제가 주목한 한 가지는 많은 장치 제조업체는 휘도 노이즈까지 감소할 정도로 디테일을 줄이는 공격적인 노이즈 감소를 추구합니다. 제거됨.
그래서 제 질문은 Qualcomm이 모든 장치 제조업체에게 그렇게 하지 말라고 조언하는 것이며, 처리 파이프라인이 수행하는 작업인지 아니면 SoC에서 ISP의 영향을 받는 작업인지입니다.
저드 힙: 많은 부분이 튜닝과 관련되어 있으며, 멀티 프레임이 없거나 f 수치가 낮은 고감도나 광학 장치를 갖춘 매우 좋은 이미지 센서를 사용할 수 없다고 말할 수 있습니다. 특히 낮은 조명에서 노이즈를 제거하는 한 가지 방법은 노이즈 감소를 더 많이 적용하는 것이지만, 노이즈 감소를 더 많이 적용하면 디테일이 손실되어 날카로운 가장자리가 흐려지게 됩니다. 이제 이러한 다중 프레임 기술을 적용하면 이를 제거할 수 있습니다. 또는 AI 기술을 적용하면 물체와 얼굴의 가장자리가 어디에 있는지 알아낼 수 있습니다. 따라서 오늘날 무차별적인 노이즈 감소를 적용하는 것은 결국 세부 사항을 잃어버리기 때문에 실제로 처리하는 방법이 아닙니다.
당신이 원하는 것은 여전히 노이즈를 적용할 수 있도록 다중 프레임 기술이나 AI 기술을 수행하는 것입니다. 깔끔한 모서리를 유지하거나 날카로운 모서리를 유지하면서 물체의 내부 영역과 비슷하게 축소합니다. 사물. 그래서 제가 말하고 싶은 것은 AI나 다중 프레임을 사용하는 것이 노이즈 감소를 수행하고 저조도 환경에서 이미지를 개선하는 방법이라는 것입니다.
이드리스 파텔: 네, 제가 듣고 싶었던 말이 바로 그거예요. [그렇습니다] 이것이 훌륭한 스마트폰 카메라와 중저가 카메라를 구분하는 가장 중요한 요소이기 때문입니다.
저드 힙: 응.
이드리스 파텔: 훌륭한 스마트폰 카메라는 노이즈 감소를 적용해야 할 때와 적용하지 않을 때를 알고 있습니다.
저드 힙: 정확히. 네, 그리고 제가 말했듯이 카메라 튜닝은 실제로 고객이나 OEM이 수행하며 일부 OEM은 노이즈가 적은 부드러운 이미지를 선호합니다. 일부는 약간의 노이즈를 추가하여 더 자세한 내용을 공개하는 것을 선호합니다.
그래서 그것은 절충안이므로 제한이 있습니다. 그리고 제가 가장 좋은 방법은 더 높은 감도를 갖춘 더 나은 이미지 센서를 얻는 것이라고 말한 것과 같습니다. 더 큰 픽셀 또는 더 낮은 f값 광학 장치를 사용하면 처음부터 더 많은 빛을 얻을 수 있기 때문에 항상 그렇습니다. 더 나은. 하지만 그렇게 할 수 없다면 노이즈 감소를 강화하고 디테일을 잃는 대신 멀티 프레임이나 AI 기술을 사용하는 것이 좋습니다.
분석 및 맥락: 제 생각에는 이것이 현재 스마트폰 카메라의 가장 큰 문제라고 생각합니다. 예, 48MP나 64MP 또는 108MP 센서를 사용할 수 있습니다. 그러나 MFNR 또는 AI 기술을 통해 제한된 노이즈 감소를 사용하지 않는 경우 모든 메가픽셀, 4-in-1 비닝, 심지어 9-in-1 비닝도 별로 쓸모가 없습니다. Galaxy S20 Ultra는 108MP 기본 카메라로 대표적인 예입니다. 대체로 실망스러운 것으로 여겨졌다. 삼성은 2020년 플래그십의 야간 모드에서 극도로 공격적인 노이즈 감소를 사용하여 이미지 처리를 거꾸로 진행한 반면, 2019년 갤럭시 S10 시리즈는 아이러니하게도 더 나은 이미지 품질을 제공했습니다.
Judd는 일부 OEM이 실제로 노이즈가 적은 부드러운 이미지를 선호한다고 밝혔는데, 이는 근본적으로 잘못된 선택입니다. 튜닝은 장치 제조업체에서 수행하므로 동일한 센서를 사용하고 동일한 SoC로 구동되는 두 전화기는 매우 다른 사진을 출력할 수 있습니다. 이러한 장치 제조업체는 더 나은 성과를 내는 경쟁사로부터 진실을 배우기를 바랍니다. 삼성은 올해 이미지 처리 분야에서 길을 잃었지만 OnePlus는 극명한 대조를 이루었습니다. OnePlus 8 Pro는 시중에 나와 있는 최고의 스마트폰 카메라 중 하나입니다. 이는 2017년 OnePlus 5T 카메라의 매우 낮은 출력을 고려하면 주목할 만한 성과입니다. 아무리 메가픽셀 전쟁이 치열하더라도 사진이 선명하게 나오려면 이미지 처리 사고방식이 바뀌어야 합니다.
AV1 디코딩 및 인코딩
미샤알 라만: 그래서 이것은 우리가 카메라 품질에 관해 나누는 다른 논의와는 약간 별개입니다. 오픈소스 미디어 코덱 커뮤니티에서 일부 사람들이 궁금해하는 것 중 하나는 Qualcomm이 언제 지원할 것인가입니다. AV1 디코딩 그리고 인코딩도 가능합니다. 다소 무리가 있다는 것을 알고 있지만 Google은 AV1 디코딩 및 Netflix를 지원하기 위해 Android 10에서 4K HDR 및 8K TV를 요구하고 있습니다. 유튜브, AV1로 인코딩된 비디오 출시를 시작하고 있습니다. 따라서 AV1로 인코딩된 비디오가 느리게 증가하는 것처럼 보입니다. 그래서 우리는 Spectra에서 최소한 디코딩 지원을 언제 사용할 수 있을지 궁금합니다.
퀄컴의 성명: AV1에 대한 귀하의 질문에 따르면 오늘은 발표할 내용이 없습니다. 그러나 Snapdragon은 현재 소프트웨어를 통해 AV1 재생이 가능합니다. Qualcomm은 소프트웨어 및 하드웨어 제작을 통해 차세대 코덱을 위해 파트너와 항상 협력하고 있습니다. HEIF, HLG, HDR10, HDR10+ 및 Dolby의 캡처 및 재생을 포함한 HDR 코덱의 선두주자 Snapdragon 비전. 물론 우리는 고해상도 및 최저 전력 지원을 포함하여 고객에게 최고의 CODEC 경험을 제공하기 위해 이를 HW에서 구현하는 것이 바람직하다는 것을 알고 있습니다.
비디오 녹화 - 모션 보상
미샤알 라만: 그래서 Idrees에 더 질문이 있는지는 모르겠지만 Snapdragon Tech Summit에서 읽은 내용에 대해 한 가지 질문이 있었습니다. 모션 보상 비디오 코어에 관한 것입니다. 비디오 녹화 시 소음을 줄이기 위해 모션 보상 엔진이 개선되었다고 들었습니다. 정확히 어떤 부분이 개선되었고 어떤 작업이 이루어졌는지 자세히 설명해 주실 수 있는지 궁금합니다.
저드 힙: EVA(Engine for Video Analytics) 엔진이 더욱 밀도 높은 모션 맵 코어로 개선되어 EVA가 예를 들어 엔진은 항상 들어오는 비디오를 보고 있고 그 안에 모션을 수행하는 코어가 있습니다. 견적. 우리가 한 일은 더 많은 픽셀 수준이 아닌 거의 픽셀 단위 수준에서 수행하는 코어를 훨씬 더 정확하게 만든 것입니다. 거친 블록 수준으로 인해 Snapdragon 865의 EVA 엔진에서 이전보다 훨씬 더 많은 모션 벡터를 얻을 수 있습니다. 세대. 그리고 이것이 의미하는 바는 인코딩을 수행하는 비디오 코어가 이러한 모션 벡터를 사용하여 더 많은 작업을 수행할 수 있다는 것입니다. 인코딩에 대해서는 정확하지만 카메라 측 ISP도 노이즈에 대해 해당 정보를 사용합니다. 절감.
아시다시피, 우리는 여러 세대에 걸쳐 모션 보상 시간 필터링을 사용해 왔습니다. 이는 실제로 비디오 중 활성 노이즈 감소 기능으로 노이즈를 제거하기 위해 시간에 따른 프레임의 평균을 구하는 것입니다.
하지만 이 기술의 문제는 장면에 움직임이 있는 경우입니다. 움직임은 처리할 수 없거나 번짐으로 인해 소음 감소에서 거부되고, 움직이는 물체에 이러한 추악한 흔적과 인공물이 생깁니다. 따라서 모션 보상 시간 필터링에서는 로컬에 대한 조밀한 모션 맵이 없었기 때문에 과거에 수행한 작업을 수행했습니다. 모션, 우리는 카메라를 움직일 때만 처리했습니다. 모든 것이 움직이기 때문에 매우 쉽습니다. 전 세계적으로.
하지만 무언가를 촬영하고 있고 장면 내에서 물체가 움직이는 경우 이전에 우리가 했던 작업은 [이것이었습니다] 우리는 그 픽셀들을 무시했습니다. 왜냐하면 우리는 노이즈를 처리할 수 없었기 때문입니다. 왜냐하면 그것은 로컬로 움직이는 것이기 때문입니다. 물체. 따라서 프레임별로 평균을 계산하면 개체가 프레임마다 다른 위치에 있으므로 실제로 처리할 수 없습니다.
하지만 Snapdragon 865에서는 더 조밀한 모션 맵이 있고 거의 1픽셀에서 모션 벡터를 볼 수 있기 때문에 픽셀 단위로 우리는 실제로 노이즈 감소를 위해 로컬로 이동된 픽셀을 프레임별로 처리할 수 있지만 이전에는 처리할 수 없었습니다. 제가 강연에서 측정항목을 언급한 것 같습니다. 번호가 기억나지 않아요 (40%였어요) 하지만 이전 세대에서는 처리할 수 없었던 것과 달리 현재 대부분의 비디오에서 노이즈 처리가 가능한 것은 평균적으로 큰 비율의 픽셀이었습니다. 이는 부분적으로 전체 동작뿐만 아니라 로컬 동작을 이해하는 능력을 갖추는 데에도 도움이 됩니다.
비디오 녹화 - HDR
이드리스 파텔: 또 다른 질문은 HDR 비디오에 관한 것입니다. 올해에는 더 많은 장치 제조업체가 HDR10 비디오 녹화를 제공하는 것을 볼 수 있습니다. 스냅드래곤 865로 승격된 것인지, 아니면 몇 세대 전부터 존재해 온 것인지.
저드 힙: 아, 그렇군요. Tech Summit에서 얘기했을 때 우리는 HDR의 비디오 표준인 HDR10을 사용하고 있었습니다. Snapdragon 845 이후로 카메라 인코딩 측면은 몇 세대에 걸쳐 계속 개선되어 왔습니다. 저것.
작년에 우리는 10비트 HDR 녹화인 HDR10+에 대해 이야기했지만 정적 메타데이터 대신 동적 메타데이터가 있으므로 카메라로 캡처되는 메타데이터는 장면이 실제로 실시간으로 녹화되므로 재생하면 재생 엔진이 어두운 방인지 밝은 방인지 파악하고 이를 보상할 수 있습니다. 저것.
우리는 또한 작년 Tech Summit에서 HDR10+에 대한 Dolby의 대안인 Dolby Vision 캡처에 대해 이야기했습니다. 실제로 동적 메타데이터를 생성하는 경우도 매우 유사합니다. 따라서 Snapdragon은 현재 HDR10, HDR10+ 및 Dolby Vision 캡처의 세 가지 형식을 모두 지원할 수 있습니다. 따라서 실제로 제약이 없으며 OEM은 원하는 방법을 선택할 수 있습니다. 한동안 HDR10을 사용하는 고객이 있었고 작년과 올해에는 점점 더 많은 고객이 HDR10+를 선택하고 있습니다. 그리고 앞으로는 Dolby Vision Capture도 채택되는 모습을 보게 될 것입니다.
네, 우리는 그것을 많이 홍보해 왔습니다. HDR은 스냅샷 측면과 비디오 측면 모두에서 우리에게 정말 중요합니다. 제가 말했듯이 우리는 HDR10과 HDR10+에 전념해 왔으며 이제는 Dolby Vision 형식을 사용하고 있습니다. Snapdragon 845부터, 그리고 최근에는 Dolby Vision용 Snapdragon 865까지 알고 계십니다.
미샤알 라만: 또한 실제로 Dolby Vision 녹음을 구현한 공급업체가 있는지 확실하지 않았지만 그 질문에 대한 답이 아닐까 싶습니다. [그것은] 우리가 미래에 보게 될 것입니다.
저드 힙: 물론입니다. 어떤 공급업체가 관심을 갖고 있는지에 대해서는 언급할 수 없습니다. 그것은 Dolby에 대한 질문이 될 것입니다. 이는 해당 기능이므로 이에 대한 추가 정보를 원하시면 Dolby에 문의하시기 바랍니다. 하지만 제가 아는 한 현재까지 Dolby Vision Capture가 탑재된 단말기는 출시되지 않았습니다.
이드리스 파텔: 디스플레이 지원도 필요하기 때문입니다. 스마트폰 디스플레이는 HDR10 및 HDR10+를 지원하지만 Dolby Vision은 지원하지 않는 것으로 나타났습니다.
저드 힙: 그렇죠. 하지만 과거에는 Snapdragon에서 Dolby Vision 재생이 지원되었습니다. 특정 디스플레이와 함께 작동할 수 있으며 디스플레이가 Dolby Vision을 준수하기 위해 반드시 특정 기준을 충족할 필요는 없습니다. Dolby는 디스플레이 등급을 지정하고 특정 색역, 감마, 특정 비트 깊이, 특정 밝기 및 대비를 갖추고 있는지 확인합니다. 비율.
아시다시피 HDR10 디스플레이를 구입할 수 있지만 Dolby Vision을 지원하는 휴대폰도 구입할 수 있습니다. 재생되지만 Doby는 해당 디스플레이가 엄격한 규정을 준수하는지 확인하기 위해 자격을 갖추게 됩니다. 요구 사항.
소프트웨어 공급업체와의 협력: Imint, Morpho 및 Arcsoft
미샤알 라만: 제가 후속 조치를 취하고 더 많은 조사를 해야 할 질문이 하나 있는데, 최근에 우리가 이야기를 나눴던 한 회사는 다음과 같습니다. 곧. 그들은 최근에 업그레이드했습니다. Vidhance 안정화 소프트웨어 에게 Spectra 480으로 작업하세요. 저는 여러분이 Spectra 480 처리 기술을 활용하는 많은 회사와 협력하고 있다는 것을 알고 있습니다. 귀하가 보유하고 있는 이러한 기술 또는 보유하고 있는 파트너의 더 많은 예를 공개할 수 있는지 궁금합니다. 우리가 후속 조치를 취할 수 있도록 Spectra 480이 어떻게 사용되는지 자세히 알아보십시오. 필드.
저드 힙: 우리는 많은 소프트웨어 공급업체와 협력하고 있습니다. 과거에 언급한 것처럼 Dolby도 그중 하나입니다. 당신이 언급한 것과 같은 EIS(전자 영상 안정화)용 Imint/Vidhance도 있습니다. 이전에 Morpho와 Arcsoft도 언급했는데, 그들과도 매우 긴밀하게 협력하고 있습니다.
하지만 우리가 그들과 협력하는 방식에 관한 한, 우리의 정책은 이러한 독립 소프트웨어 공급업체와 긴밀하게 협력하여 소프트웨어에서 무엇을 하든 Snapdragon의 하드웨어를 활용하여 최저 전력 소비를 얻을 수 있는지 확인하세요. 가능한.
따라서 우리가 이들 벤더들과 함께 하고 있는 일 중 하나는 그들이 HVX 엔진이나 Hexagon DSP 코어에 대해 정말 좋은 접근권을 갖고 있는지 확인하는 것입니다. 그들은 또한 EVA 엔진을 사용하여 모션 벡터를 얻고 하드웨어를 사용하며 이미지 조작을 위해 EVA 엔진을 사용합니다. GPU를 사용하는 대신 하드웨어에서 이미지 이동, 변환, 디워핑 등의 작업을 수행할 수 있습니다. 저것.
그래서 우리는 이러한 ISV, 특히 제가 특별히 언급한 ISV와 긴밀히 협력하여 그들이 모든 것을 그냥 쏟아 붓는 것이 아닌지 확인합니다. 및 소프트웨어를 CPU에 사용하지만 더 나은 성능과 더 낮은 전력을 얻기 위해 EVA의 DSP 및 하드웨어 가속기와 같은 것을 사용하고 있습니다. 소비. 고객에게 기능과 전력 소비를 최대한 조합할 수 있는 기능을 제공하기 때문에 이는 우리에게도 매우 중요합니다.
[Judd의 마무리 코멘트]: 정말 좋은 질문을 해주셔서 감사하다는 말씀을 드리고 싶었습니다. 정말, 정말 상세해요. 저는 Qualcomm에 입사한 지 약 3년이 되었으며, 이전에 Spectra를 시작했던 이곳에서 근무한 이후에도 우리의 과거를 살펴보았습니다. Snapdragon 845, 우리는 지난 몇 년 동안 ISP와 카메라, 그리고 전반적인 경험을 획기적으로 개선하기 위해 정말 열심히 노력했습니다. 연령. 미래가 어떻게 될지 정말 기대됩니다. 그리고 저는 여러분이 질문하고 글을 쓸 수 있는 향후 Tech Summit에서 발표할 내용에 대해 기대하고 있습니다. [Spectra Camera]는 아마도 Qualcomm의 가장 흥미로운 기술 중 하나일 것입니다.
마지막 생각들
스마트폰 사진 촬영에 대한 Qualcomm의 기여에 대해 Judd와 토론할 수 있어서 좋았습니다. 회사와 특허 라이센스 시스템에 대해 엇갈린 감정을 가질 수 있지만, 스마트폰 업계에서 Qualcomm의 흔적은 누구에게나, 누구에게나 느껴집니다. 특허, 4G 및 5G, Wi-Fi, Adreno GPU, Spectra ISP 및 Android 스마트폰의 황금 표준으로 여겨지는 Snapdragon 칩 자체 시장.
스마트폰 사진 촬영에는 아직 해결해야 할 문제점이 많지만 앞으로는 Qualcomm은 광범위하게 성장하고 있는 ML 분야에서 더 많은 발전을 이루겠다고 약속합니다. 일체 포함. 다음 Snapdragon Tech Summit에서 Qualcomm이 이 분야에 대해 무엇을 발표할지 살펴보겠습니다.