Сони је најавио прве сензоре слике камере на свету са опремљеном АИ обрадом у облику ИМКС500 и ИМКС501.
Сони је највећи играч када је у питању снабдевање сензорима слике камере за паметне телефоне. Примери популарних сензора укључују 48МП ИМКС586, који је 2019. године користио велики број телефона у распону цена. Тхе ИМКС586 наследио га је 64МП ИМКС686. Компанија се, наравно, не бави само сензорима слике за паметне телефоне. Има изузетно успешну линију врхунских камера без огледала за које се често сматра да су златни стандард. Његов немилосрдан темпо иновација не показује знаке да посустаје, јер је сада најавио надолазеће издање својих првих сензора слике са АИ обрадом, ИМКС500 и ИМКС501.
Сони ИМКС500 и ИМКС501 су надолазећа два модела интелигентних сензора вида. Сони тврди да су то први сензори слике на свету који су опремљени функционалношћу обраде вештачке интелигенције. Компанија каже да укључивање функционалности АИ обраде на сам сензор слике омогућава брзу АИ обраду и екстракцију само неопходних података. Ово смањује кашњење у преносу података, решава проблеме приватности и смањује потрошњу енергије и трошкове комуникације у поређењу са коришћењем услуга у облаку.
Важно је напоменути да ова два сензора нису намењена камерама телефона. Уместо тога, апликације су у индустрији малопродаје и индустријске опреме, као и доприносе изградњи „оптималних система“ који се повезују са облаком.
Зашто је АИ обрада интегрисана са самим сензором? Сони објашњава да је ширење ИоТ-а довело до тога да су све врсте уређаја повезане са облаком, што чини системи за обраду информација су уобичајени, при чему се информације добијене од таквих уређаја обрађују путем АИ на облак. Проблем повезан са таквим приступом је повећана латенција преноса података која омета обраду информација у реалном времену; безбедносне бриге корисника у вези са складиштењем личних података у облаку; и друга питања као што су повећана потрошња енергије и трошкови комуникације који долазе са услугама у облаку.
ИМКС500 и ИМКС501 имају наслагану конфигурацију, која се састоји од чипа пиксела и логичког чипа. АИ анализа слике и функционалности обраде су опремљене на логичком чипу. Сигнал који добије пиксел чип се обрађује путем АИ на сензору, што елиминише потребу за процесорима високих перформанси или спољном меморијом. Ово, заузврат, омогућава развој ивичних АИ система.
Сензор шаље метаподатке уместо информација о слици, што доводи до смањења обима података и решава проблеме приватности. Могућност АИ омогућава апликације као што је праћење објеката у реалном времену уз брзу АИ обраду. Различити модели вештачке интелигенције се могу изабрати преписивањем интерне меморије у складу са захтевима корисника или условима локације на којој се систем користи.
Пикселски чип ових сензора има БСИ и има приближно 12,3 ефективних МП за хватање информација. Оптички формат је 1/2,3" (дијагонала 7,857 мм) са величином пиксела од 1,55 микрона. Имају низ Баиер филтера у боји. Сензори су способни за 4К при 60фпс видео снимање без АИ обраде и 4К при 30фпс видео снимање са АИ обрадом. Локални чип такође опрема Сонијев оригинални ДСП поред конвенционалног радног кола сензора слике. ДСП је посвећен АИ обради сигнала као и меморији за АИ модел. Уз ово, процесори високих перформанси и екстерна меморија нису потребни, чиме се користе ивични АИ системи.
Сони је објаснио ток рада сензора слике. Сигнали које добије пиксел чип се покрећу преко ИСП-а, а АИ обрада се обавља у фази процеса на логички чип, са екстрахованим информацијама које се излазе у облику метаподатака, што смањује количину података руковао. Саме стварне информације о слици се не емитују, што је корисно за безбедност и приватност. Корисници могу да изаберу формат излаза података укључујући слике у ИСП формату (ИУВ/РГБ) и РОИ (Регион од интереса) специфичне области издвајања слика.
Сони такође промовише брзину. Каже да када се видео снима помоћу конвенционалног сензора слике, потребно је послати податке за сваког појединца излазни оквир за АИ обраду, што резултира повећаним преносом података и отежава постизање у реалном времену перформансе. Нови ИМКС сензори, с друге стране, обављају ИСП обраду и брзу АИ обраду (3,1 мс обрада за МобилеНет В1*2) на логичком чипу, чиме се цео процес завршава у једном видео снимку Рам. Ово, заузврат, омогућава испоруку „високо прецизног праћења објеката у реалном времену током снимања видеа“, наводи Сони.
Коначно, корисници могу да запишу АИ моделе по свом избору у уграђену меморију и ажурирају је у складу са њеним захтевима или условима локације на којој се систем користи. Сони даје пример где је више камера које користе овај производ инсталирано на малопродајној локацији, и један тип камере се може користити са свестраношћу на различитим локацијама, временима и сврхе. Када је камера постављена на улазу у објекат, може се користити за бројање посетилаца који улазе у објекат; када се постави на полицу продавнице, може се користити за откривање несташица залиха; када се на плафону може користити за топлотно мапирање посетилаца продавнице, и тако даље. АИ модел у датој камери може се преписати са оног који се користи за откривање топлотних мапа у модел за идентификацију понашања потрошача.
Као што звучи, најава предстојећег издања сензора слике је заиста значајно достигнуће. Међутим, то долази са сопственим импликацијама за надзор. Тренутно су сензори намењени решењима мале снаге као што су сигурносне камере. Камере за паметне телефоне ће можда укључити ову технологију неколико година касније, али то за сада није на плану због ограничења јер уграђени логички чип не може да се упореди са разноврсношћу коју нуде савремени ИСП-ови (као што је Спецтра ИСП у Куалцомм Снапдрагон СоЦ). Тренутно, камере паметних телефона функционишу другачије, где је сензор сам по себи релативно глуп и функционише са паметним ИСП-ом који се налази као део СоЦ телефона. ИСП обавља сав посао обраде слике, што значи да је стварна улога самог сензора прилично ограничена у модерним камерама паметних телефона (обрада слике је важнија од поседовања одличног хардвера камере за слику квалитет). Рачунарска фотографија је нова популарна реч, али у индустријском свету, ИМКС500 и ИМКС501 покушавају да донесу славу АИ обраде самим сензорима.
Планирано је да ИМКС500 и ИМКС501 буду представљени у производима следеће године. Сони планира да објави узорке производа у априлу и јуну 2020. За више информација о њиховим спецификацијама, читаоцима се саветује да погледају везу извора.
Извор: Сони