Qualcomm Spectra 380 stanowi ogromny krok naprzód w fotografii obliczeniowej i sztucznej inteligencji aparatów. Przeczytaj wszystko o ogromnych ulepszeniach, które nadejdą w tym roku!
Wczoraj na Hawajach na szczycie technologii Snapdragon odbyło się długo oczekiwane wydarzenie Qualcomma Snapdragona 855 została uruchomiona. Chociaż nowy chip przynosi różne istotne zmiany (od znacznie dokładniejszego GPS do pierwszej nowej wersji Wi-Fi 2,4 GHz w dekady, do łączności komórkowej 5G), dyskusja wciąż powraca do obrazowania i ogromnych ulepszeń, które Qualcomm Spectra 380 przynosi.
Tradycyjnie dostawca usług internetowych aparatu zajmował się przekształcaniem surowych kolorów wyjściowych aparatu w coś innego niż reszta telefon może służyć do widzenia maszynowego, ale w miarę jak przetwarzanie sztucznej inteligencji stało się bardziej złożone, pojawiła się integracja ze specjalistycznym sprzętem krytyczny. Qualcomm zrobił pierwsze kroki w tym kierunku dzięki swojemu Qualcomma Spectra 280, wsparcie dla redukcji szumów w wielu klatkach i wykrywania głębi bezpośrednio u dostawcy usług internetowych, ale wciąż było jeszcze wiele do zrobienia. W tym roku Qualcomm dokonuje tego skoku, wbudowując sprzętowe przyspieszenie widzenia komputerowego bezpośrednio do Qualcomm Spectra 380 ISP i tworząc coś, co nazywają pierwszym na świecie CV-ISP.
Qualcomm Spectra 380 usunie wąskie gardła w procesie przetwarzania obrazu i zapewni nawet 4-krotnie większą oszczędność energii w porównaniu z poprzednimi generacjami dzięki wykorzystaniu funkcji widzenia maszynowego przetwarzanie bezpośrednio na samym dostawcy usług internetowych, eliminując potrzebę budzenia procesora, karty graficznej i HSP w przypadku złożonych zadań AI w zakresie fotografii oraz znacznie poprawiając AR procesora możliwości.
Oznacza to, że sprzętowe wykrywanie głębi, klasyfikacja obiektów i segmentacja obiektów mogą odbywać się w czasie rzeczywistym w rozdzielczości do 4K HDR 60 Hz na Qualcomm Snapdragon 855. Dzięki temu będziemy mogli zastępować obiekty na żywo lub tło w wideo w czasie rzeczywistym, otwierając nowe możliwości aplikacje rozszerzonej rzeczywistości (XR) z chipsetem Qualcomm Snapdragon 855 zarówno w telefonach, jak i w AR zestawy słuchawkowe.
Ulepszenia Qualcomm Spectra 380 nie kończą się jednak na AI i AR. Qualcomm włożył dużo pracy w ulepszenia przestrzeni kolorów i jasności, dodając obsługę nagrywania wideo w pełnym HDR10+, dzięki czemu możliwość nagrywania filmów o większym zakresie dynamicznym i szerszych przestrzeniach kolorystycznych, aby w pełni wykorzystać możliwości nowoczesnych telefonów i telewizory.
Nowy dostawca usług internetowych zapewnia także ulepszone przyspieszenie sprzętowe dla wideo VP9 i formatu obrazu HEIF opartego na HEVC, który może być o 50% mniejszy niż starsze formaty obrazów i zapewnia rozszerzoną funkcjonalność (chociaż nie możemy się doczekać dodania akceleracji sprzętowej dla the AV1 oparty na AVIF, który, miejmy nadzieję, będzie dostępny w przyszłych latach)
Qualcomm Spectra 380 będzie także w stanie obsłużyć obrazowanie w wyższej rozdzielczości niż w poprzednich latach dzięki podwójnemu 14-bitowemu procesorowi Potok CV-ISP obsługujący jednoczesne przechwytywanie 22 MP przy 30 Hz na dwóch aparatach i przechwytywanie 48 MP przy 30 Hz na pojedynczym obrazie czujnik. Jednak w tym przypadku szybszy potok odczytu czujnika nie przekłada się na wideo Qualcomm Spectra 380 obsługuje tę samą natywną rozdzielczość 720p 480 Hz (bez użycia pamięci podręcznej wbudowanej w czujnik), co Spectra 280 tak.
A co najważniejsze, Qualcomm Spectra 380 może być w przyszłości udoskonalany, ponieważ jego nowa modułowa konstrukcja ISP zapewnia nowe elastyczność procesu obrazowania, otwierając potencjał dla różnych metod przetwarzania zarówno pikseli RAW, jak i YUV domeny.
Czy jesteś podekscytowany rozszerzoną funkcjonalnością AI w aparatach? Do czego masz nadzieję wykorzystać wizję maszynową? Powiedz nam o tym w komentarzach poniżej!