Sony анонсировала первые в мире датчики изображения для камер со встроенной обработкой искусственного интеллекта — IMX500 и IMX501.
Sony является крупнейшим игроком на рынке поставок датчиков изображения для смартфонов. Примеры популярных датчиков включают 48-мегапиксельную IMX586, которая в 2019 году использовалась в ошеломляющем разнообразии телефонов разных ценовых диапазонов. IMX586 На смену ему пришла 64-мегапиксельная IMX686. Конечно, компания занимается не только датчиками изображения для смартфонов. Компания имеет чрезвычайно успешную линейку беззеркальных камер премиум-класса, которые часто считаются золотым стандартом. Неустанный темп инноваций не показывает никаких признаков ослабления, поскольку теперь компания объявила о предстоящем выпуске своих первых датчиков изображения с обработкой искусственного интеллекта, IMX500 и IMX501 соответственно.
Sony IMX500 и IMX501 — две новые модели интеллектуальных датчиков технического зрения. Sony утверждает, что это первые в мире датчики изображения, оснащенные функцией обработки искусственного интеллекта. Компания заявляет, что включение функции обработки искусственного интеллекта в сам датчик изображения обеспечивает высокоскоростную обработку краевого искусственного интеллекта и извлечение только необходимых данных. Это уменьшает задержку передачи данных, решает проблемы конфиденциальности, а также снижает энергопотребление и затраты на связь по сравнению с использованием облачных сервисов.
Важно отметить, что эти два датчика не предназначены для камер телефонов. Вместо этого приложения используются в сфере розничной торговли и промышленного оборудования, а также способствуют созданию «оптимальных систем», связанных с облаком.
Почему обработка ИИ интегрирована с самим датчиком? Sony объясняет, что распространение Интернета вещей привело к тому, что все типы устройств подключаются к облаку, что делает обычные системы обработки информации, в которых информация, полученная от таких устройств, обрабатывается с помощью ИИ на облако. Проблема, связанная с таким подходом, заключается в увеличении задержки передачи данных, затрудняющей обработку информации в реальном времени; проблемы безопасности со стороны пользователей, связанные с хранением личных данных в облаке; и другие проблемы, такие как повышенное энергопотребление и затраты на связь, связанные с облачными сервисами.
IMX500 и IMX501 имеют многоуровневую конфигурацию, состоящую из пиксельного чипа и логического чипа. Функции анализа и обработки изображений AI встроены в логический чип. Сигнал, полученный пиксельным чипом, обрабатывается с помощью искусственного интеллекта на датчике, что устраняет необходимость в высокопроизводительных процессорах или внешней памяти. Это, в свою очередь, позволяет разрабатывать периферийные системы искусственного интеллекта.
Датчик выводит метаданные вместо информации об изображении, что приводит к уменьшению объема данных и решению проблем конфиденциальности. Возможности искусственного интеллекта делают возможными такие приложения, как отслеживание объектов в реальном времени с высокоскоростной обработкой искусственного интеллекта. Различные модели ИИ можно выбирать путем перезаписи внутренней памяти в соответствии с требованиями пользователя или условиями места, где используется система.
Пиксельный чип этих датчиков имеет BSI и имеет примерно 12,3 эффективных МП для захвата информации. Оптический формат составляет 1/2,3 дюйма (диагональ 7,857 мм) с размером пикселя 1,55 микрона. У них есть набор цветных фильтров Байера. Датчики способны записывать видео 4K со скоростью 60 кадров в секунду без обработки AI и записывать видео 4K со скоростью 30 кадров в секунду с обработкой AI. Локальный чип также оснащен оригинальным DSP Sony в дополнение к обычной схеме работы датчика изображения. DSP предназначен для обработки сигналов AI, а также памяти для модели AI. При этом не требуются высокопроизводительные процессоры и внешняя память, что дает преимущества периферийным системам искусственного интеллекта.
Рабочий процесс датчиков изображения объясняется Sony. Сигналы, полученные пиксельным чипом, проходят через интернет-провайдера, а обработка искусственного интеллекта выполняется на этапе обработки на логический чип, извлекаемая информация которого выводится в виде метаданных, что уменьшает объем данных обработан. Сама информация об изображении не выводится, что полезно для безопасности и конфиденциальности. Пользователи могут выбрать формат вывода данных, включая изображения в формате ISP (YUV/RGB) и изображения извлечений конкретной области ROI (область интереса).
Sony также пропагандирует скорость. Там написано, что при записи видео с помощью обычного датчика изображения необходимо отправлять данные для каждого отдельного выходной кадр для обработки ИИ, что приводит к увеличению передачи данных и затрудняет достижение режима реального времени производительность. С другой стороны, новые датчики IMX выполняют обработку ISP и высокоскоростную обработку AI (3,1 мс). обработка для MobileNet V1*2) на логическом чипе, таким образом завершая весь процесс в одном видео рамка. По словам Sony, это, в свою очередь, позволяет обеспечить «высокоточное отслеживание объектов в реальном времени во время записи видео».
Наконец, пользователи могут записать модели ИИ по своему выбору во встроенную память и обновлять ее в соответствии с требованиями или условиями места, где используется система. Sony приводит пример, когда несколько камер, использующих этот продукт, установлены в магазине розничной торговли. и один и тот же тип камеры можно универсально использовать в разных местах, в разное время и в разных местах. целей. При установке камеры на входе на объект с ее помощью можно подсчитывать количество посетителей, входящих на объект; при установке на полке магазина его можно использовать для обнаружения дефицита товара; когда он установлен на потолке, его можно использовать для теплового картирования посетителей магазина и так далее. Модель искусственного интеллекта в конкретной камере можно переписать с модели, используемой для определения тепловых карт, на модель для определения поведения потребителей.
Как бы то ни было, анонс предстоящего выпуска датчиков изображения действительно является заметным достижением. Однако это имеет свои последствия для наблюдения. На данный момент датчики предназначены для решений с низким энергопотреблением, таких как камеры видеонаблюдения. Камеры смартфонов могут реализовать эту технологию через несколько лет, но на данный момент об этом речь не идет. из-за ограничений, поскольку встроенный логический чип не может соответствовать универсальности, предлагаемой современными интернет-провайдерами (такими как Спектра Интернет-провайдер в процессорах Qualcomm Snapdragon). В настоящее время камеры смартфонов работают по-другому: датчик сам по себе относительно глупый и работает с интеллектуальным интернет-провайдером, встроенным в SoC телефона. Интернет-провайдер выполняет всю работу по обработке изображений, а это означает, что реальная роль самого датчика весьма ограничена. в современных камерах смартфонов (обработка изображений более важна, чем наличие хорошего аппаратного обеспечения камеры для обработки изображений). качество). Вычислительная фотография — новое модное слово, но в промышленном мире IMX500 и IMX501 пытаются принести славу обработки искусственного интеллекта самим датчикам.
IMX500 и IMX501 планируется выпустить в продажу в следующем году. Sony планирует выпустить образцы продуктов в апреле и июне 2020 года соответственно. Для получения дополнительной информации об их спецификациях читателям рекомендуется перейти по ссылке на источник.
Источник: Сони