Sony IMX378: Google Pixel 센서 및 기능의 종합 분석

IMX378 개요

우리는 곧 출시될 Google에서 사용되는 IMX378 센서에 대해 좀 더 알아보기 위해 Sony에 연락했습니다. 픽셀 그리고 픽셀 XL 휴대폰은 물론이고 샤오미 미 5S. 안타깝게도 Sony는 아직 Exmor RS IMX378 센서에 대한 데이터시트를 배포할 수 없었습니다. 매우 도움이 되었으며 이전에 공개되지 않은 정보를 제공할 수 있었습니다. IMX378.

우선 이름 자체가 잘못됐다. 그것이 일부가 될 것이라는 소문에도 불구하고 엑스모어 R 이전에 IMX377과 같은 BSI(Backside Illuminated) CMOS 센서 라인이 사용되었습니다. 넥서스 5X 그리고 넥서스 6P, Sony 담당자는 IMX378이 대신 Sony의 일부로 간주될 것이라고 알려왔습니다. 엑스모어 RS 스택형 BSI CMOS 센서 라인.

픽셀 크기(1.55μm)와 센서 크기(7.81mm)를 포함하여 IMX377에서 IMX378까지 많은 사항이 동일하게 유지되었지만 몇 가지 주요 기능이 추가되었습니다. 즉, 이제 스택형 BSI CMOS 디자인이고 PDAF가 있으며 Sony의 SME-HDR 기술을 추가하고 높은 프레임 속도(슬로우 모션) 비디오에 대한 지원이 향상되었습니다.

스택형 BSI CMOS

후면 조명 자체는 지난 몇 년간 플래그십 스마트폰에서 거의 표준이 된 매우 유용한 기능입니다. HTC 에보 4G 2010 년에. 이를 통해 카메라는 일부를 이동하여 훨씬 더 많은 빛을 포착할 수 있습니다(노이즈가 더 많이 발생함). 전통적으로 전면 조명 센서의 포토다이오드 앞에 있던 구조, 그것.

놀랍게도 대부분의 카메라 기술과 달리 후면 조명은 원래 DSLR보다 먼저 휴대폰에 나타나기 시작했는데, 그 이유는 더 큰 BSI 센서를 만드는 데 어려움이 있었기 때문입니다. 최초의 BSI APS-C 센서는 2014년 NX1 카메라에서 발견된 Samsung S5KVB2였으며, 최초의 풀프레임 센서는 지난번 Sony α7R II에 탑재된 Sony Exmor R IMX251이었습니다. 년도.

스택형 BSI CMOS 기술은 전면 레이어에서 포토다이오드 뒤의 지지 기판으로 더 많은 회로를 이동하여 한 단계 더 발전했습니다. 이를 통해 Sony는 이미지 센서의 크기를 크게 줄일 수 있을 뿐만 아니라(동일한 설치 공간에 더 큰 센서를 사용할 수 있음) Sony가 픽셀과 회로를 인쇄할 수 있습니다. 별도로(다른 제조 공정에서도) 결함 위험을 줄이고 수율을 향상시키며 포토다이오드와 지지체 간의 전문화가 가능해집니다. 회로.

PDAF

IMX378에는 작년 Nexus 휴대폰과 IMX377이 지원하지 않았던 위상차 검출 자동 초점이 추가되었습니다.. 이를 통해 카메라는 센서의 서로 다른 지점 사이의 빛 강도 차이를 효과적으로 사용하여 식별할 수 있습니다. 카메라가 초점을 맞추려는 물체가 초점 앞이나 뒤에 있는지 확인하고 센서를 조정하세요. 따라서. 이는 과거 많은 카메라에서 볼 수 있었던 기존 대비 기반 자동 초점에 비해 속도와 정확성 측면에서 크게 향상된 것입니다. 그 결과, PDAF를 사용하는 휴대폰이 폭발적으로 증가했으며 이는 업계 전반에 걸쳐 카메라 마케팅의 중심으로 여겨지는 거대한 마케팅 유행어가 되었습니다.

듀얼 포토다이오드 PDAF만큼 초점을 맞추는 속도가 빠르지는 않지만 삼성 갤럭시 S7 (라고도 함) “듀얼 픽셀 PDAF” 그리고 “듀오 픽셀 자동 초점”), 픽셀당 2개의 포토다이오드를 포함하여 모든 단일 픽셀을 위상 검출에 사용할 수 있게 해주는 PDAF와 레이저 자동 초점의 병합은 여전히 ​​강력한 조합이 될 것입니다.

높은 프레임 속도

최근에 높은 프레임 속도의 카메라(소비자용 및 전문 영화 제작용)에 대해 많은 이야기가 있었습니다. 더 높은 프레임 속도로 촬영할 수 있다는 점은 놀라울 정도로 부드러운 비디오를 만드는 데 사용될 수 있습니다. 일반 속도(스포츠 및 기타 고속 시나리오에 환상적일 수 있음)를 생성하고 정말 흥미로운 동영상 모든 것을 느리게 할 때.

불행히도 더 높은 프레임 속도로 비디오를 촬영하는 것은 극히 어렵습니다. 센서는 더 높은 프레임 속도로 촬영할 수 있지만 휴대폰의 이미지 신호 프로세서가 프레임 속도를 유지하기 어려울 수 있습니다. 위로. 그렇기 때문에 Nexus 5X 및 6P에 사용된 IMX377은 300Hz에서 720p 비디오를, 120Hz에서 1080p 비디오를 촬영할 수 있었지만 Nexus 5X에서는 120Hz 720p, 6P에서는 240Hz 720p만 볼 수 있었습니다. IMX377은 Nexus 장치가 30Hz로 제한되어 있음에도 불구하고 60Hz 4k 비디오도 지원했습니다.

Pixel 휴대폰은 모두 최대 120Hz 1080p 비디오와 240Hz 720p 비디오를 제공할 수 있습니다. IMX378과 관련된 개선 사항 중 일부는 최대 240Hz의 성능 향상을 보여줍니다. 1080p.

또한 이 센서는 10비트 출력에서 ​​최대 60Hz, 12비트에서 40Hz까지 증가하여 전체 해상도 버스트 샷을 더 빠르게 촬영할 수 있습니다. 출력(각각 40Hz 및 35Hz에서 최대)을 사용하면 모션 블러 및 카메라 흔들림의 양을 줄이는 데 도움이 됩니다. HDR+.

SME-HDR

전통적으로 비디오용 HDR은 절충안이었습니다. 프레임 속도를 절반으로 줄이거나, 해상도를 절반으로 줄여야 했습니다. 결과적으로 많은 OEM은 이 기능에 신경도 쓰지 않았으며 삼성과 소니는 이를 구현하는 소수에 속합니다. 심지어 삼성 갤럭시 노트 7 부분적으로 HDR 비디오의 높은 계산 비용으로 인해 1080p 30Hz 녹화로 제한됩니다.

Red Digital Cinema Camera Company가 부르는 HDR 비디오의 두 가지 주요 전통적인 방법 중 첫 번째 방법 HDRx Sony에서는 이를 Digital Overlap HDR(DOL-HDR)는 두 개의 연속 이미지(하나는 더 어두운 노출, 다른 하나는 밝은 노출)를 촬영하고 이를 병합하여 단일 비디오 프레임을 만드는 방식으로 작동합니다. 이를 통해 카메라의 전체 해상도를 유지할 수 있지만 두 개의 개별 카메라에 대해 서로 다른 셔터 속도를 설정할 수 있습니다. 프레임), 두 프레임 사이의 시간 차이로 인해 문제가 발생할 수 있습니다(특히 빠르게 움직이는 경우). 사물). 또한 DOL-HDR의 경우 전화기의 ISP가 별도의 프레임을 병합하는 작업을 처리하므로 프로세서가 이를 따라가는 것이 매우 어려울 수 있습니다.

Sony가 BME-HDR(Binning Multiplexed Exposure HDR)이라고 부르는 또 다른 전통적인 방법은 모든 쌍 센서에 있는 두 줄의 픽셀을 사용하여 두 개의 절반 해상도 이미지를 동시에 생성한 다음 비디오용 하나의 HDR 프레임으로 병합합니다. 이 방법은 HDRx와 관련된 문제, 즉 프레임 속도 감소를 방지하지만 다른 문제도 있습니다. 특히 해상도 감소와 두 세트 간의 노출 변경 방법에 대한 제한이 있습니다. 윤곽.

SME-HDR(공간 다중 노출)은 소니가 센서가 지원하는 전체 해상도와 전체 프레임 속도로 HDR을 촬영할 수 있도록 하기 위해 사용하는 새로운 방법입니다. 그것은의 변종이다 공간적으로 변화하는 노출 Sony가 어둡고 밝은 픽셀에서 정보를 캡처할 수 있도록 독점 알고리즘을 사용하는 기술입니다. 체커보드 스타일 패턴으로 배열하고 어두운 노출과 밝은 노출 모두에 대한 전체 해상도 이미지를 추론합니다. 이미지.

불행하게도 Sony는 정확한 패턴에 대해 더 자세한 설명을 제공할 수 없었고 결코 공개하지 못할 수도 있습니다. 기업은 카드를 사용하는 경향이 있습니다. HDR에서 볼 수 있는 것과 같은 최첨단 기술에 관해서는 매우 가깝습니다. Google조차도 HDR 사진에 대한 자체 독점 알고리즘을 보유하고 있습니다. HDR+. 하지만 이를 달성하는 방법을 종합하는 데 사용할 수 있는 공개적으로 이용 가능한 정보가 아직 남아 있습니다. Shree K가 몇 편의 논문을 출판했습니다. 컬럼비아대학교 나야르(그것 중 하나 공간 변화 노출을 사용하는 다양한 방법과 이를 달성할 수 있는 다양한 레이아웃이 포함된 Sony의 Tomoo Mitsunaga와 공동 작업했습니다. 다음은 RGBG 이미지 센서에 4가지 노출 수준이 있는 레이아웃의 예입니다. 이 레이아웃은 약 20%의 밝기만으로 단일 캡처 전체 해상도 HDR 이미지를 얻을 수 있다고 주장합니다. 시나리오에 따라 공간 해상도 손실(소니가 주장하는 것과 동일한 성과) SME-HDR).

Sony는 최근 많은 인기를 얻고 있는 IMX214를 포함하여 이미 몇 개의 이미지 센서에 SME-HDR을 사용했습니다. 아수스 젠폰 3 레이저, 모토Z, 그리고 엑스페리아 X 성능), 작년에 사용된 IMX377과 비교하여 IMX378에 새로 추가된 것입니다. 이를 통해 카메라 센서는 SME-HDR이 활성화된 상태에서 60Hz에서 10비트 전체 해상도와 4k 비디오를 모두 출력할 수 있습니다. 프로세스의 다른 곳에서 병목 현상이 발생하면 한계가 낮아지게 되지만 이는 IMX377이 할 수 있었던 것보다 환상적인 개선이며 미래에 좋은 일이 일어날 것이라는 신호입니다.

IMX377에 비해 IMX378이 크게 개선된 점 중 하나는 온칩에서 더 많은 이미지 처리를 처리할 수 있다는 것입니다. ISP의 작업량(ISP는 여전히 RAW 이미지 데이터를 요청할 수 있지만 OEM이 RAW 이미지 데이터를 사용하기로 결정한 방식에 따라 다름) 감지기). 로컬에서 결함 수정 및 미러링과 같은 많은 작은 작업을 처리할 수 있지만 더 중요한 것은 ISP를 개입시키지 않고도 BME-HDR 또는 SME-HDR도 처리할 수 있다는 것입니다. 이는 향후 휴대폰에서 ISP에 대한 일부 오버헤드를 확보함으로써 앞으로 큰 차이가 될 수 있습니다.

이 기사를 작성하는 데 도움을 주신 Sony에게 다시 한 번 감사의 말씀을 전하고 싶습니다. 우리는 Sony가 이 정보의 정확성과 깊이를 보장하기 위해 노력한 노력에 진심으로 감사드립니다. 특히 이전에 공개되지 않은 일부 정보를 발견할 수 있게 해주는 기능입니다. IMX378.

하지만 이러한 정보 중 일부, 심지어 기본적인 제품 정보에도 접근하기가 너무 어렵다는 점은 정말 안타까운 일입니다. 기업이 웹사이트에 정보를 넣으려고 할 때 대체로 접근하기 어렵고 불완전할 수 있습니다. 이는 회사 직원들의 주된 관심사인 부차적인 관심사로 취급되는 경우가 많기 때문입니다. 일하다. 홍보를 전담하는 한 사람이 이러한 유형의 정보를 만드는 데 큰 변화를 가져올 수 있습니다. 일반 대중이 이용할 수 있고 접근할 수 있으며 일부 사람들은 무료로 그렇게 하려고 노력하고 있습니다. 시간. 심지어 소니 엑스모어 Wikipedia 기사 자체, 몇 달 동안 한 사람이 여가 시간에 거의 쓸모 없는 내용을 가져오기 위해 대부분의 기반을 마련했습니다. 1,715바이트 기사 그것은 수년 동안 거의 동일했는데, 오늘날 우리가 볼 수 있는 185명의 개별 편집자가 있는 약 50,000바이트의 기사가 되었습니다. 온라인에서 사용할 수 있는 Sony Exmor 센서 제품군에 대한 최고의 정보 저장소인 기사는 다른 기사에서도 매우 유사한 패턴을 볼 수 있습니다. 단일 전담 작성자는 고객이 서로 다른 제품을 얼마나 쉽게 비교할 수 있는지에 상당한 차이를 만들 수 있습니다. 제품에 관심이 있는 교육받은 소비자가 해당 주제에 대해 얼마나 관심을 갖고 있는지에 따라 광범위한 영향을 미칠 수 있습니다. 효과. 그러나 그것은 다른 시간에 다룰 주제입니다.

언제나 그렇듯이 이러한 하드웨어 변경이 장치 자체에 어떤 영향을 미칠지 궁금합니다. 우리는 분명히 4k 60Hz HDR 비디오를 얻지 못할 것입니다(Google이 아직 언급하지 않았기 때문에 HDR 비디오를 전혀 얻지 못할 수도 있습니다). 그러나 전체 해상도는 더 빠릅니다. 촬영은 HDR+에 상당한 도움이 될 것이며, 유사한 작지만 실질적인 방식으로 최신 센서의 개선이 휴대폰에 적용되는 것을 볼 수 있을 것입니다. 또한.

DXOMark에서는 픽셀을 나열합니다. 휴대폰은 Samsung Galaxy S7 및 HTC 10보다 약간 더 나은 성능을 보였으며 Pixel 휴대폰에 작은 리드를 준 많은 것은 주요 소프트웨어였습니다. HDR+(완전히 환상적인 결과를 생성하고 DXOMark가 리뷰의 전체 섹션을 전념한) 및 Google의 특별 EIS와 같은 개선 사항 자이로스코프를 초당 200회 샘플링하여 최고의 전자 이미지 안정화 기능을 제공하는 시스템(OIS와 함께 작동 가능) 본. 예, Pixel 휴대폰에는 훌륭한 카메라가 있지만 OIS와 듀얼 픽셀 PDAF를 추가하면 더 좋아질 수 있었을까요? 전적으로.

내가 말했듯이 Pixel 휴대폰에는 정말 멋진 카메라가 있지만 특히 더 많은 것을 원한다고 나를 비난할 수는 없습니다. 이러한 개선을 향한 길이 너무나 분명할 때(그리고 휴대전화의 가격이 최고 수준의 플래그십 가격으로 책정되어 최고의 성능을 기대하는 경우) 최상의). 내 안에는 항상 더 많은 것을 원하고, 더 나은 배터리 수명, 더 빠른 프로세서, 더 나은 배터리 수명, 더 밝은 것을 원하는 부분이 있을 것입니다. 더 생생한 화면, 더 큰 스피커, 더 나은 카메라, 더 많은 저장 공간, 더 나은 배터리 수명, 그리고 가장 중요한 것은 더 나은 배터리 수명입니다. (다시). 즉, Pixel 휴대폰에는 정말 유망한 장치를 만들기 위해 함께 모일 수 있는 작은 환상적인 기능이 많이 포함되어 있어 매우 기대됩니다.