Sony обяви първите в света сензори за изображения на камера с оборудвана AI обработка под формата на IMX500 и IMX501.
Sony е най-големият играч, когато става дума за доставка на сензори за изображения на камери за смартфони. Примери за популярни сензори включват 48MP IMX586, който беше използван от изумително разнообразие от телефони в различни ценови диапазони през 2019 г. The IMX586 беше наследен от 64MP IMX686. Компанията не се занимава само със сензори за изображения на смартфони, разбира се. Той има изключително успешна гама от първокласни безогледални фотоапарати, които често се смятат за златен стандарт. Неговият безмилостен темп на иновации не показва признаци на отслабване, тъй като сега обяви предстоящото пускане на своите първи сензори за изображения с AI обработка, съответно IMX500 и IMX501.
Sony IMX500 и IMX501 са предстоящи два модела интелигентни сензори за зрение. Sony твърди, че те са първите в света сензори за изображения, оборудвани с функционалност за обработка на AI. Компанията казва, че включването на функционалност за AI обработка на самия сензор за изображения позволява високоскоростна крайна AI обработка и извличане само на необходимите данни. Това намалява закъснението при предаване на данни, адресира опасенията за поверителността и намалява консумацията на енергия и разходите за комуникация в сравнение с използването на облачни услуги.
Важно е да се отбележи, че тези два сензора не са предназначени за камери на телефони. Вместо това, приложенията са в индустрията за търговия на дребно и промишлено оборудване, както и допринасят за изграждането на „оптимални системи“, които се свързват с облака.
Защо AI обработката е интегрирана със самия сензор? Sony обяснява, че разпространението на IoT е довело до свързване на всички видове устройства към облака, което прави често срещани системи за обработка на информация, при които информацията, получена от такива устройства, се обработва чрез AI на облак. Проблемът, свързан с такъв подход, е повишеното забавяне на предаването на данни, което възпрепятства обработката на информация в реално време; опасения за сигурността на потребителите, свързани със съхраняването на лични данни в облака; и други проблеми като повишената консумация на енергия и разходите за комуникация, които идват с облачните услуги.
IMX500 и IMX501 разполагат с подредена конфигурация, която се състои от пикселен чип и логически чип. Функцията за анализ и обработка на изображения с изкуствен интелект е оборудвана на логическия чип. Сигналът, получен от пикселния чип, се обработва чрез AI на сензора, което елиминира нуждата от високопроизводителни процесори или външна памет. Това от своя страна дава възможност за разработване на крайни AI системи.
Сензорът извежда метаданни вместо информация за изображението, което води до намален обем данни и адресира опасенията за поверителност. Възможността за AI прави възможни приложения като проследяване на обекти в реално време с високоскоростна обработка на AI. Могат да се избират различни модели на AI чрез пренаписване на вътрешната памет според изискванията на потребителя или условията на мястото, където се използва системата.
Пикселният чип на тези сензори има BSI и има приблизително 12,3 ефективни MP за улавяне на информация. Оптичният формат е 1/2,3" (диагонал 7,857 мм) с размер на пиксела 1,55 микрона. Имат цветен филтър Bayer. Сензорите са способни на 4K при 60fps видеозапис без AI обработка и 4K при 30fps видеозапис с AI обработка. Локалният чип също оборудва оригиналния DSP на Sony в допълнение към конвенционалната работна схема на сензора за изображения. DSP е предназначен за обработка на AI сигнали, както и за памет за AI модела. С това не са необходими процесори с висока производителност и външна памет, като по този начин се облагодетелстват крайните AI системи.
Работният процес на сензорите за изображения се обяснява от Sony. Сигналите, получени от пикселния чип, се пускат през ISP, а обработката на AI се извършва в етапа на процеса на логически чип, като извлечената информация се извежда под формата на метаданни, което намалява количеството данни обработван. Самата информация за действителното изображение не се извежда, което е от полза за сигурността и поверителността. Потребителите могат да изберат изходния формат на данните, включително изображения във формат на ISP (YUV/RGB) и ROI (регион на интерес) извлечени изображения за специфична област.
Sony също насърчава скоростта. В него се казва, че когато видео се записва с помощта на конвенционален сензор за изображения, е необходимо да се изпращат данни за всеки отделен човек изходен кадър за AI обработка, което води до повишено предаване на данни и затруднява постигането на реално време производителност. Новите IMX сензори, от друга страна, извършват ISP обработка и високоскоростна AI обработка (3,1 ms обработка за MobileNet V1*2) на логическия чип, като по този начин завършва целия процес в едно видео кадър. Това от своя страна прави възможно доставянето на „високо прецизно проследяване в реално време на обекти по време на запис на видео“, според Sony.
И накрая, потребителите могат да запишат AI моделите по свой избор във вградената памет и да я актуализират според нейните изисквания или условията на мястото, където се използва системата. Sony дава пример, когато множество камери, използващи този продукт, са инсталирани в магазин на дребно, и един тип камера може да се използва с гъвкавост в различни местоположения, времена и цели. Когато камерата е монтирана на входа на обекта, тя може да се използва за отчитане на броя на посетителите, влизащи в обекта; когато се инсталира на рафта на магазин, може да се използва за откриване на недостиг на запаси; когато е на тавана, може да се използва за топлинно картографиране на посетителите на магазина и т.н. AI моделът в дадена камера може да бъде пренаписан от такъв, използван за откриване на топлинни карти, до такъв за идентифициране на потребителското поведение.
Както звучи, съобщението за предстоящото пускане на сензорите за изображения е наистина забележително постижение. Това обаче идва със своите собствени последици за наблюдението. В момента сензорите са предназначени за решения с ниска мощност, като охранителни камери. Камерите на смартфоните може да включват тази технология след няколко години, но засега не е в плановете поради ограничения, тъй като вграденият логически чип не може да достигне гъвкавостта, предлагана от съвременните интернет доставчици (като Spectra ISP в Qualcomm Snapdragon SoC). В момента камерите на смартфоните функционират по различен начин, където сензорът сам по себе си е сравнително тъп и работи с интелигентен ISP, намиращ се като част от SoC на телефона. Интернет доставчикът върши цялата работа по обработката на изображенията, което означава, че действителната роля на самия сензор е доста ограничена в съвременните камери на смартфони (обработката на изображения е по-важна от наличието на страхотен хардуер на камерата за изображение качество). Компютърната фотография е новата модна дума, но в индустриалния свят IMX500 и IMX501 се опитват да донесат славата на AI обработката на самите сензори.
IMX500 и IMX501 са планирани да бъдат пуснати в продукти през следващата година. Sony планира да пусне проби от продуктите съответно през април и юни 2020 г. За повече информация относно техните спецификации, читателите се съветват да проверят връзката към източника.
източник: Sony