Sony анонсувала перші в світі датчики зображення для камер із обладнаною технологією штучного інтелекту у формі IMX500 та IMX501.
Sony є найбільшим гравцем, коли мова заходить про постачання датчиків зображення камери для смартфонів. Приклади популярних датчиків включають 48-мегапіксельний IMX586, який у 2019 році використовувався на величезній кількості телефонів у різних цінових діапазонах. The IMX586 його змінив 64-мегапіксельний IMX686. Звичайно, компанія займається не лише датчиками зображення для смартфонів. Він має надзвичайно успішну лінійку бездзеркальних камер преміум-класу, які часто вважаються золотим стандартом. Його невпинний темп інновацій не втрачає жодних ознак, оскільки він оголосив про майбутній випуск своїх перших датчиків зображення з обробкою штучного інтелекту, IMX500 та IMX501 відповідно.
Sony IMX500 і IMX501 — це дві майбутні моделі датчиків інтелектуального зору. Sony стверджує, що це перші в світі датчики зображення, оснащені функцією обробки AI. Компанія стверджує, що включення функції обробки штучного інтелекту на сам датчик зображення забезпечує високу швидкість крайової обробки ШІ та вилучення лише необхідних даних. Це зменшує затримку передавання даних, вирішує проблеми конфіденційності та зменшує споживання енергії та витрати на зв’язок порівняно з використанням хмарних служб.
Важливо зазначити, що ці два датчики не призначені для камер телефону. Натомість ці додатки призначені для роздрібної торгівлі та промислового обладнання, а також для створення «оптимальних систем», які підключаються до хмари.
Чому штучний інтелект інтегрований із самим датчиком? Sony пояснює, що поширення IoT призвело до підключення всіх типів пристроїв до хмари звичайні системи обробки інформації, де інформація, отримана з таких пристроїв, обробляється за допомогою ШІ на хмара. Проблема, пов'язана з таким підходом, полягає в підвищеній затримці передачі даних, що перешкоджає обробці інформації в реальному часі; занепокоєння користувачів щодо безпеки, пов’язані зі зберіганням особистих даних у хмарі; та інші проблеми, такі як збільшення споживання енергії та витрати на зв’язок, пов’язані з хмарними службами.
IMX500 і IMX501 мають складену конфігурацію, яка складається з піксельного чіпа та логічного чіпа. Функції аналізу та обробки зображень AI оснащені логічним чіпом. Сигнал, отриманий піксельним чіпом, обробляється за допомогою ШІ на датчику, що усуває потребу у високопродуктивних процесорах або зовнішній пам’яті. Це, у свою чергу, дозволяє розробляти периферійні системи ШІ.
Датчик виводить метадані замість інформації про зображення, що призводить до зменшення обсягу даних і вирішення проблем конфіденційності. Завдяки можливостям штучного інтелекту можливі такі програми, як відстеження об’єктів у реальному часі з високошвидкісною обробкою штучного інтелекту. Різні моделі штучного інтелекту можна вибрати шляхом перезапису внутрішньої пам’яті відповідно до вимог користувача або умов місця, де використовується система.
Піксельний чіп цих датчиків має BSI та має приблизно 12,3 ефективних МП для захоплення інформації. Оптичний формат — 1/2,3" (діагональ 7,857 мм) із розміром пікселя 1,55 мікрона. Вони мають кольоровий фільтр Bayer. Датчики здатні записувати відео 4K зі швидкістю 60 кадрів в секунду без обробки штучним інтелектом і записувати відео 4K зі швидкістю 30 кадрів в секунду з обробкою штучного інтелекту. Місцева мікросхема також оснащена оригінальним DSP від Sony на додаток до звичайної схеми роботи датчика зображення. DSP призначений для обробки сигналів AI, а також для пам’яті для моделі AI. Завдяки цьому не потрібні високопродуктивні процесори та зовнішня пам’ять, що приносить користь периферійним системам ШІ.
Роботу датчиків зображення пояснює Sony. Сигнали, отримані піксельним чіпом, проходять через Інтернет-провайдера, а обробка ШІ виконується на етапі процесу на логічний чіп, витягнута інформація виводиться у вигляді метаданих, що зменшує обсяг даних обробляється. Сама фактична інформація про зображення не виводиться, що є корисним для безпеки та конфіденційності. Користувачі можуть вибрати формат виводу даних, включаючи зображення у форматі ISP (YUV/RGB) і зображення окремих ділянок ROI (регіон інтересів).
Sony також рекламує швидкість. Там сказано, що коли відео записується за допомогою звичайного датчика зображення, необхідно надсилати дані для кожного окремо вихідний кадр для обробки AI, що призводить до збільшення передачі даних і ускладнює досягнення реального часу продуктивність. Нові датчики IMX, з іншого боку, виконують обробку ISP і високошвидкісну обробку AI (3,1 мс обробка для MobileNet V1*2) на логічній мікросхемі, таким чином завершуючи весь процес в одному відео рамка. Це, у свою чергу, дає змогу забезпечити «високоточне відстеження об’єктів у режимі реального часу під час запису відео», за словами Sony.
Нарешті, користувачі можуть записати моделі штучного інтелекту на свій вибір у вбудовану пам’ять і оновити її відповідно до своїх вимог або умов місця, де використовується система. Sony наводить приклад, коли в роздрібному магазині встановлено кілька камер, на яких використовується цей продукт, і один тип камери можна використовувати з універсальністю в різних місцях, часах і цілей. При встановленні камери на вході в заклад можна використовувати для підрахунку відвідувачів, які заходять в заклад; якщо він встановлений на полиці магазину, його можна використовувати для виявлення дефіциту запасів; коли на стелі його можна використовувати для теплової карти відвідувачів магазину тощо. Модель штучного інтелекту в певній камері можна переписати з моделі, що використовується для визначення теплових карт, на модель для визначення поведінки споживачів.
Як це звучить, оголошення про майбутній випуск датчиків зображення справді є помітним досягненням. Однак це має свої наслідки для стеження. На даний момент датчики призначені для рішень з низьким енергоспоживанням, таких як камери безпеки. Камери смартфонів можуть включати цю технологію через кілька років, але наразі це не планується через обмеження, оскільки вбудована логічна мікросхема не може відповідати універсальності, яку пропонують сучасні провайдери (наприклад, Spectra ISP в процесорах Qualcomm Snapdragon SoC). Наразі камери смартфонів працюють по-іншому, де датчик сам по собі відносно тупий і працює з інтелектуальним провайдером, який є частиною SoC телефону. Інтернет-провайдер виконує всю роботу з обробки зображень, що означає, що фактична роль самого датчика досить обмежена у сучасних камерах смартфонів (обробка зображень важливіша, ніж наявність чудового апаратного забезпечення камери для зображення якість). Обчислювальна фотографія є новим модним словом, але в індустріальному світі IMX500 і IMX501 намагаються принести славу обробки ШІ самим датчикам.
IMX500 і IMX501 заплановано на наступний рік. Sony планує випустити зразки продуктів у квітні та червні 2020 року відповідно. Щоб дізнатися більше про їхні характеристики, читачам радимо переглянути посилання на джерело.
Джерело: Sony