Qualcomm Spectra 380 робить величезний стрибок вперед у обчислювальній фотографії та ШІ камери. Прочитайте все про величезні покращення, які плануються цього року!
Вчора на Гаваях на довгоочікуваному технологічному саміті Snapdragon Qualcomm Snapdragon 855 було запущено. У той час як новий чіп приносить різні суттєві зміни (від значно більш точного GPS до першої нової версії WiFi 2,4 ГГц у десятиліття, до стільникового зв’язку 5G), дискусія продовжує повертатися до зображень і величезних покращень Qualcomm Spectra 380 приносить.
Традиційно Інтернет-провайдер камери перетворював необроблені кольорові виходи камери на те, що решта телефон можна використовувати для машинного зору, але оскільки обробка штучного інтелекту стала складнішою, інтеграція зі спеціальним апаратним забезпеченням стала більш складною критичний. Компанія Qualcomm зробила перші кроки до цього Qualcomm Spectra 280, підтримку багатокадрового шумозаглушення та визначення глибини безпосередньо в ISP, але попереду ще довгий шлях. Цього року Qualcomm робить цей стрибок, вбудовуючи апаратне прискорення комп’ютерного зору прямо в Qualcomm Spectra 380 ISP і створюючи те, що вони називають першим у світі CV-ISP.
Qualcomm Spectra 380 усуне вузькі місця в конвеєрі обробки зображень і призведе до 4-кратної економії електроенергії порівняно з попередніми поколіннями за рахунок машинного зору. обробка безпосередньо на самому провайдері, усуваючи необхідність прокидатися ЦП, ГП і HSP для виконання складних завдань штучного інтелекту фотографії та значно покращуючи AR процесора можливості.
Це означає, що апаратне визначення глибини, класифікація об’єктів і сегментація об’єктів можуть відбуватися в режимі реального часу для до 4k HDR 60 Гц на Qualcomm Snapdragon 855. Це дасть нам змогу замінити живий об’єкт або фон у відео в реальному часі, відкриваючи нові можливості для додатки розширеної реальності (XR) із чіпсетом Qualcomm Snapdragon 855 як у телефонах, так і в AR гарнітури.
Однак удосконалення для Qualcomm Spectra 380 не обмежуються ШІ та AR. Компанія Qualcomm доклала багато зусиль для покращення колірного простору та яскравості, додавши підтримку повного відеозапису HDR10+, завдяки чому можна записувати відео з більшим динамічним діапазоном і ширшим колірним простором, щоб повною мірою скористатися можливостями сучасних телефонів і телевізори.
Новий ISP також забезпечує покращене апаратне прискорення для відео VP9 і для формату зображення HEIF на основі HEVC, який може бути на 50% меншим ніж старіші формати зображень і забезпечує розширену функціональність (хоча ми дуже очікуємо додавання апаратного прискорення для в AV1 AVIF на основі, який, сподіваємося, буде доступний у наступні роки)
Qualcomm Spectra 380 також зможе обробляти зображення з вищою роздільною здатністю, ніж у попередні роки, завдяки подвійному 14-бітному процесору. Конвеєр CV-ISP підтримує одночасне захоплення 22 МП 30 Гц подвійними камерами та захоплення 48 МП 30 Гц одним зображенням датчик. У цьому випадку швидший конвеєр зчитування датчика не перетворюється на відео Qualcomm Spectra 380 підтримує ту саму рідну роздільну здатність 720p 480 Гц (без використання вбудованого кешу), що й Spectra 280 зробили.
Найкраще те, що Qualcomm Spectra 380 може продовжувати вдосконалюватися в майбутньому, оскільки його новий модульний дизайн ISP приносить нові гнучкість конвеєра зображень, що відкриває потенціал для різних методів обробки пікселів RAW і YUV домени.
Ви в захваті від розширеної функціональності штучного інтелекту в камерах? Для чого ви сподіваєтесь використовувати машинний зір? Розкажіть нам у коментарях нижче!