Qualcomm Spectra 380 robí obrovský skok vpred v oblasti výpočtovej fotografie a umelej inteligencie fotoaparátu. Prečítajte si všetko o masívnych vylepšeniach, ktoré prichádzajú tento rok!
Včera na Havaji na Snapdragon Technology Summit, dlho očakávanom Qualcomm Snapdragon 855 bol spustený. Zatiaľ čo nový čip prináša rôzne podstatné zmeny (od výrazne presnejšieho GPS až po prvú novú 2,4 GHz WiFi verziu v a desaťročí, na 5G mobilné pripojenie), diskusia sa neustále vracia k zobrazovaniu a obrovským vylepšeniam, ktoré Qualcomm Spectra 380 prináša.
Tradične by ISP fotoaparátu zvládol transformáciu surových farebných výstupov fotoaparátu na niečo, čo zvyšok telefón možno použiť na strojové videnie, ale keďže sa spracovanie AI stalo zložitejším, integrácia so špecializovaným hardvérom sa stala kritický. Qualcomm urobil prvé kroky k tomu s ich Qualcomm Spectra 280, podpora pečenia pre redukciu šumu s viacerými snímkami a snímanie hĺbky priamo do ISP, ale pred nami bola ešte dlhá cesta. Tento rok Qualcomm urobil tento skok, zabudoval hardvérovú akceleráciu počítačového videnia priamo do Qualcomm Spectra 380 ISP a vytvoril to, čo nazývajú prvým CV-ISP na svete.
Qualcomm Spectra 380 odstráni prekážky v procese spracovania obrazu a výsledkom je až 4-násobná úspora energie v porovnaní s predchádzajúcimi generáciami vďaka strojovému videniu. spracovanie priamo na samotnom ISP, čím sa odstraňuje potreba prebúdzať CPU, GPU a HSP pre zložité fotografické úlohy AI a výrazne sa zlepšuje AR procesora schopnosti.
To znamená, že hardvérové hĺbkové snímanie, klasifikácia objektov a segmentácia objektov – to všetko môže prebiehať v reálnom čase až do 4k HDR 60 Hz na Qualcomm Snapdragon 855. To nám poskytne živú náhradu objektu alebo pozadia vo videu v reálnom čase, čím sa nám otvárajú nové možnosti aplikácie rozšírenej reality (XR) s čipovou sadou Qualcomm Snapdragon 855 v telefónoch aj v AR náhlavné súpravy.
Vylepšenia pre Qualcomm Spectra 380 však nekončia pri AI a AR. Qualcomm vložil veľa práce do zlepšenia farebného priestoru a jasu, pridal podporu pre nahrávanie videa v plnom rozlíšení HDR10+. možné nahrávať videá s väčším dynamickým rozsahom a širšími farebnými priestormi, aby ste mohli naplno využiť možnosti moderných telefónov a televízory.
Nový ISP tiež prináša vylepšenú hardvérovú akceleráciu pre video VP9 a pre obrazový formát HEIF založený na HEVC, ktorý môže byť o 50 % menší. než staršie obrazové formáty a prináša rozšírenú funkcionalitu (hoci veľmi očakávame pridanie hardvérovej akcelerácie pre na AV1 založené na AVIF, ktorý bude snáď dostupný v budúcich rokoch)
Qualcomm Spectra 380 bude tiež schopný zvládnuť zobrazovanie vo vyššom rozlíšení ako v predchádzajúcich rokoch, a to vďaka duálnemu 14-bitovému Systém CV-ISP podporujúci súbežné snímanie 22 MP 30 Hz na dvoch fotoaparátoch a snímanie 48 MP 30 Hz s jedným obrázkom senzor. Rýchlejšie čítanie zo snímača sa v tomto prípade neprenáša na video, avšak tam, kde je Qualcomm Spectra 380 podporuje rovnaké natívne 720p 480 Hz (bez použitia vyrovnávacej pamäte na snímači), ako Spectra 280 urobilo.
Najlepšie zo všetkého je, že Qualcomm Spectra 380 sa môže v budúcnosti naďalej zlepšovať, pretože jeho nový modulárny dizajn ISP prináša nový objav flexibilita pre zobrazovacie potrubie, čím sa otvára potenciál pre rôzne metódy spracovania pre pixely RAW aj YUV domén.
Tešíte sa na rozšírenú funkčnosť AI vo fotoaparátoch? Na čo dúfate, že budete môcť využívať strojové videnie? Povedzte nám to v komentároch nižšie!