Google은 Pixel의 인물 사진 조명 기능에 대한 기술을 자세히 설명합니다.

여러 번의 유출과 소문 끝에 Google은 마침내 올해 9월 Pixel 5와 Pixel 4a 5G를 공개했습니다. 예상대로 장치에는 다양한 장치가 함께 제공되었습니다. 새로운 Google 카메라 기능 이는 시중의 다른 Android 휴대전화와 차별화되는 점입니다. 여기에는 비디오의 흔들림 없는 패닝을 위한 Cinematic Pan, 잠금 및 활성 안정화 모드, 야간 인물 모드의 시력 지원 및 인물 사진 조명을 조정하는 인물 조명 기능 자동으로. 출시 후 몇 주 후에 Google은 이러한 기능의 대부분을 다음과 같이 출시했습니다. 구형 Pixel 기기 Google 포토 업데이트를 통해. 이제 회사는 인물 사진 조명 기능 뒤에 있는 기술에 대한 몇 가지 세부 정보를 공유했습니다.

최근에 따르면 블로그 게시물 회사에서 인물 사진 조명 기능은 인물 사진 작가가 사용하는 오프 카메라 조명에서 영감을 받았습니다. 장면에 추가할 수 있는 재배치 가능한 광원을 모델링하여 인물 사진을 향상시킵니다. 자동으로 추가되면 인공 광원이 기계 학습을 통해 방향과 강도를 자동으로 조정하여 사진의 기존 조명을 보완합니다.

Google이 설명했듯이 이 기능은 사진에서 캡처한 다양한 사진 데이터 세트를 사용하여 훈련된 새로운 기계 학습 모델을 사용합니다. 라이트 스테이지 전산 조명 시스템. 이러한 모델은 두 가지 알고리즘 기능을 지원합니다.

• 자동 방향 조명 배치: 기계 학습 알고리즘을 기반으로 인공 조명을 자동으로 배치하는 기능입니다. 전문 사진작가가 실제에 오프카메라 광원을 배치한 방식과 일치하는 광원 세계.
• 합성 후 캡처 재조명: 기존 조명의 방향과 강도를 기반으로 합니다. 인물 사진을 촬영할 때 기계 학습 알고리즘이 사실적으로 보이는 합성 조명을 추가합니다. 자연스러운.

자동 방향 조명 배치를 위해 Google은 기계 학습 모델을 학습하여 높은 다이내믹 레인지

, 입력 인물 사진을 기반으로 한 장면의 전방향 조명 프로필입니다. 이 새로운 조명 추정 모델 얼굴을 하나의 물체로 간주하여 모든 방향에서 오는 장면의 모든 광원의 방향, 상대 강도 및 색상을 찾을 수 있습니다. 라이트 프로브. 또한 이를 사용하여 피사체의 헤드 포스트를 추정합니다. MediaPipe 페이스 메쉬. 앞서 언급한 데이터를 기반으로 알고리즘은 합성 조명의 방향을 결정합니다.

합성 조명의 방향과 강도가 설정되면 다음 기계 학습 모델이 원본 사진에 합성 광원을 추가합니다. 두 번째 모델은 추가 조명이 있거나 없는 수백만 쌍의 인물 사진을 사용하여 훈련되었습니다. 이 데이터 세트는 Light Stage 컴퓨터 조명 시스템을 사용하여 70명의 다양한 사람들을 촬영하여 생성되었습니다. 다양한 시점을 가진 64개의 카메라와 개별적으로 프로그래밍 가능한 331개의 LED 조명을 포함하는 구형 조명 장치입니다. 소스.

70명의 피사체 각각은 331개의 LED가 각각 한 번에 하나씩(OLAT) 빛을 비추는 동안 캡처되었습니다. 이로 인해 그들의 반사율 필드즉, 구형 환경의 개별 부분에 의해 조명된 모양입니다. 반사 필드는 피사체의 피부, 머리카락, 옷의 고유한 색상과 빛 반사 특성을 인코딩하고 사진에서 각 재료가 얼마나 반짝이거나 흐릿하게 나타나는지 결정합니다.

그런 다음 이러한 OLAT 이미지를 선형적으로 추가하여 어떤 화면에도 나타나는 것처럼 피사체의 사실적인 이미지를 렌더링했습니다. 이미지 기반 조명 환경, 다음과 같은 복잡한 빛 전달 현상이 있습니다. 지하 산란 올바르게 표현되었습니다.

그런 다음 출력 조명 이미지를 직접 예측하기 위해 기계 학습 알고리즘을 훈련시키는 대신 Google은 모델을 훈련하여 저해상도 이미지를 출력했습니다. 몫 이미지 원하는 출력을 생성하기 위해 원본 입력 이미지에 적용할 수 있습니다. 이 방법은 계산적으로 효율적이며 조명 변경 없이 저주파 조명 변경만 권장합니다. 유지하기 위해 입력 이미지에서 직접 전송되는 고주파 이미지 세부 사항에 영향을 미칩니다. 품질.

또한 Google은 비교적 무광택 표면에서 반사되는 광원의 광학적 동작을 에뮬레이트하기 위해 기계 학습 모델을 교육했습니다. 이를 위해 회사는 입력 사진을 바탕으로 표면 법선을 추정하도록 모델을 훈련한 다음 이를 적용했습니다. 램버트의 법칙 원하는 조명 방향에 대한 "빛 가시성 맵"을 계산합니다. 그런 다음 이 조명 가시성 맵은 모델이 물리학 기반 통찰력을 사용하여 훈련되도록 하기 위해 몫 이미지 예측기에 대한 입력으로 제공됩니다.

이 모든 것이 Pixel 5의 중급 하드웨어를 처리하는 데 상당한 시간이 걸리는 긴 프로세스처럼 보일 수 있지만 Google은 인물 사진 조명 기능은 모바일 장치에서 대화형 프레임 속도로 실행되도록 최적화되었으며 전체 모델 크기는 10MB.