소니는 IMX500과 IMX501의 형태로 AI 처리 기능을 갖춘 세계 최초의 카메라 이미지 센서를 발표했습니다.
소니는 스마트폰용 카메라 이미지 센서 공급 분야에서 가장 큰 업체입니다. 인기 있는 센서의 예로는 2019년 다양한 가격대의 휴대폰에 사용된 48MP IMX586이 있습니다. 그만큼 IMX586 64MP IMX686이 뒤를 이었습니다. 물론 이 회사는 스마트폰 이미지 센서만 취급하는 것은 아닙니다. 종종 표준으로 여겨지는 프리미엄 미러리스 카메라의 매우 성공적인 라인업을 보유하고 있습니다. 끊임없는 혁신 속도는 이제 AI 처리 기능을 갖춘 첫 번째 이미지 센서인 IMX500과 IMX501을 각각 출시할 예정이라고 발표하면서 포기할 기미가 보이지 않습니다.
Sony IMX500과 IMX501은 곧 출시될 지능형 비전 센서의 두 가지 모델입니다. 소니는 AI 처리 기능을 탑재한 세계 최초의 이미지 센서라고 주장합니다. 이미지센서 자체에 AI 처리 기능을 탑재하면 초고속 엣지 AI 처리와 필요한 데이터만 추출이 가능하다는 게 회사 측 설명이다. 이를 통해 클라우드 서비스를 사용할 때보다 데이터 전송 지연 시간이 줄어들고 개인 정보 보호 문제가 해결되며 전력 소비 및 통신 비용이 절감됩니다.
이 두 센서는 휴대폰 카메라용이 아니라는 점에 유의하는 것이 중요합니다. 대신 해당 애플리케이션은 소매업, 산업기기 산업에 있을 뿐만 아니라 클라우드와 연계되는 '최적의 시스템' 구축에도 기여하고 있다.
AI 처리가 센서 자체와 통합된 이유는 무엇입니까? 소니는 IoT의 확산으로 인해 모든 유형의 장치가 클라우드에 연결되고 있다고 설명합니다. 정보 처리 시스템은 일반적이며, 이러한 장치에서 얻은 정보는 AI를 통해 처리됩니다. 구름. 이러한 접근 방식과 관련된 문제는 실시간 정보 처리를 방해하는 데이터 전송 대기 시간이 증가한다는 것입니다. 클라우드에 개인 식별 데이터를 저장하는 것과 관련된 사용자의 보안 문제 클라우드 서비스에 따른 전력 소비 증가, 통신 비용 증가 등의 기타 문제도 있습니다.
IMX500과 IMX501은 픽셀 칩과 로직 칩으로 구성된 스택 구성이 특징입니다. 로직칩에는 AI 이미지 분석 및 처리 기능이 탑재됐다. 픽셀 칩에서 획득한 신호는 센서의 AI를 통해 처리되므로 고성능 프로세서나 외부 메모리가 필요하지 않습니다. 이는 결국 엣지 AI 시스템의 개발을 가능하게 합니다.
센서는 이미지 정보 대신 메타데이터를 출력하므로 데이터 양이 줄어들고 개인 정보 보호 문제가 해결됩니다. AI 기능을 통해 고속 AI 처리를 통한 실시간 객체 추적과 같은 애플리케이션이 가능해졌습니다. 사용자의 요구 사항이나 시스템이 사용되는 장소의 조건에 따라 내부 메모리를 다시 작성하여 다양한 AI 모델을 선택할 수 있습니다.
이 센서의 픽셀 칩에는 BSI가 있으며 정보 캡처에 약 12.3 유효 MP가 있습니다. 광학 형식은 1.55미크론 픽셀 크기의 1/2.3"(대각선 7.857mm)입니다. 그들은 Bayer 컬러 필터 배열을 가지고 있습니다. 이 센서는 AI 처리 없이 60fps에서 4K 비디오 녹화가 가능하고 AI 처리를 통해 30fps에서 4K 비디오 녹화가 가능합니다. 로컬 칩에는 기존 이미지 센서 작동 회로 외에 소니 고유의 DSP도 탑재되어 있습니다. DSP는 AI 신호 처리 및 AI 모델용 메모리 전용입니다. 이를 통해 고성능 프로세서와 외부 메모리가 필요하지 않으므로 엣지 AI 시스템에 도움이 됩니다.
이미지 센서의 작업 흐름은 Sony에서 설명합니다. 픽셀 칩에서 획득한 신호는 ISP를 통해 실행되며 AI 처리는 ISP의 프로세스 단계에서 수행됩니다. 추출된 정보를 메타데이터 형태로 출력하는 로직 칩으로, 데이터의 양을 줄여줍니다. 처리. 실제 이미지 정보 자체는 출력되지 않으므로 보안 및 개인정보 보호에 유리합니다. 사용자는 ISP 형식 이미지(YUV/RGB) 및 ROI(Region of Interest) 특정 영역 추출 이미지를 포함한 데이터 출력 형식을 선택할 수 있습니다.
소니는 또한 속도를 장려하고 있습니다. 기존의 이미지 센서를 이용해 영상을 녹화할 때 개인별로 데이터를 보내야 한다고 한다. AI 처리를 위한 출력 프레임으로 인해 데이터 전송이 증가하고 실시간 달성이 어려워집니다. 성능. 반면 새로운 IMX 센서는 ISP 처리와 고속 AI 처리(3.1ms)를 수행합니다. MobileNet V1*2)을 로직 칩에서 처리하여 전체 프로세스를 단일 비디오로 완료합니다. 액자. 이를 통해 "비디오를 녹화하는 동안 개체를 고정밀, 실시간으로 추적"할 수 있다고 Sony는 말합니다.
마지막으로 사용자는 자신이 선택한 AI 모델을 내장 메모리에 기록하고 요구 사항이나 시스템이 사용되는 위치의 조건에 따라 업데이트할 수 있습니다. Sony는 이 제품을 사용하는 여러 대의 카메라가 소매점에 설치된 예를 제시합니다. 단일 유형의 카메라를 다양한 위치, 시간, 다양한 용도로 사용할 수 있습니다. 목적. 시설 입구에 카메라를 설치하면 시설에 입장하는 방문객 수를 계산하는 데 사용할 수 있습니다. 매장 선반에 설치하면 재고 부족을 감지하는 데 사용할 수 있습니다. 천장에 설치하면 히트맵 매장 방문객 등이 사용할 수 있습니다. 특정 카메라의 AI 모델은 열 지도를 감지하는 데 사용되는 모델에서 소비자 행동을 식별하는 데 사용되는 모델로 다시 작성될 수 있습니다.
들리는 대로, 다가오는 이미지 센서 출시 발표는 실제로 주목할 만한 성과입니다. 그러나 감시에는 그 자체의 의미가 있습니다. 현재 센서는 보안 카메라와 같은 저전력 솔루션용으로 설계되었습니다. 몇 년 후에는 스마트폰 카메라에 이 기술이 포함될 수도 있지만 현재로서는 지원되지 않습니다. 임베디드 로직 칩은 최신 ISP(예: 스펙트럼 ISP Qualcomm Snapdragon SoC에서). 현재 스마트폰 카메라는 다르게 작동합니다. 센서 자체는 상대적으로 멍청하고 휴대폰 SoC의 일부인 스마트 ISP와 함께 작동합니다. ISP가 이미지 처리의 모든 작업을 수행하므로 센서 자체의 실제 역할은 상당히 제한적입니다. 최신 스마트폰 카메라에서는(이미지 처리가 뛰어난 카메라 하드웨어를 갖추는 것보다 이미지 처리가 더 중요함) 품질). 컴퓨터 사진은 새로운 유행어이지만, 산업계에서는 IMX500과 IMX501이 AI 처리의 영광을 센서 자체에 가져오려고 시도합니다.
IMX500과 IMX501은 내년에 제품으로 출시될 예정이다. 소니는 각각 2020년 4월과 6월에 제품 샘플을 출시할 계획입니다. 사양에 대한 자세한 내용을 보려면 독자는 소스 링크를 확인하는 것이 좋습니다.
원천: 소니