Qualcomm Spectra 380 udělal obrovský skok vpřed v oblasti výpočetní fotografie a umělé inteligence fotoaparátu. Přečtěte si vše o masivních vylepšeních, která letos přijdou!
Včera na Havaji na Snapdragon Technology Summit, dlouho očekávaný Qualcomm Snapdragon 855 byla spuštěna. Zatímco nový čip přináší různé podstatné změny (od výrazně přesnější GPS až po první novou 2,4 GHz WiFi verzi v a desetiletí, k mobilnímu připojení 5G), diskuse se neustále vrací k zobrazování a masivním vylepšením, která Qualcomm Spectra 380 přináší.
Tradičně by ISP fotoaparátu zvládl transformaci surových barevných výstupů fotoaparátu na něco, co zbytek telefon lze použít pro strojové vidění, ale jak se zpracování AI stalo složitějším, stala se integrace se specializovaným hardwarem kritický. Qualcomm učinil první kroky k tomu s jejich Qualcomm Spectra 280, podpora pečení pro redukci šumu více snímků a hloubkové snímání přímo do ISP, ale k tomu byla ještě dlouhá cesta. Letos Qualcomm udělal tento skok, zabudoval hardwarovou akceleraci počítačového vidění přímo do Qualcomm Spectra 380 ISP a vytvořil to, čemu říkají první CV-ISP na světě.
Qualcomm Spectra 380 odstraní úzká hrdla v procesu zpracování obrazu a výsledkem je až 4x úspora energie oproti předchozím generacím díky strojovému vidění. zpracování přímo na samotném ISP, což odstraňuje nutnost probouzet CPU, GPU a HSP pro složité fotografické úkoly AI a výrazně zlepšuje AR procesoru schopnosti.
To znamená, že hardwarové hloubkové snímání, klasifikace objektů a segmentace objektů – to vše může probíhat v reálném čase až do 4k HDR 60 Hz na Qualcomm Snapdragon 855. To nám umožní nahradit živý objekt nebo pozadí ve videu v reálném čase, což nám otevře nové možnosti aplikace rozšířené reality (XR) s čipovou sadou Qualcomm Snapdragon 855 v telefonech i v AR náhlavní soupravy.
Vylepšení pro Qualcomm Spectra 380 však nekončí u AI a AR. Qualcomm vložil hodně práce do barevného prostoru a vylepšení jasu, přidal podporu pro nahrávání videa v plném rozlišení HDR10+. možné nahrávat videa s větším dynamickým rozsahem a širšími barevnými prostory, abyste mohli plně využít možností moderních telefonů a televizory.
Nový ISP také přináší vylepšenou hardwarovou akceleraci pro video VP9 a pro obrazový formát HEIF založený na HEVC, který může být o 50 % menší. než starší obrazové formáty a přináší rozšířenou funkčnost (ačkoli velmi očekáváme přidání hardwarové akcelerace pro a AV1 založené na AVIF, který bude snad dostupný v budoucích letech)
Qualcomm Spectra 380 bude také schopen zpracovat zobrazování ve vyšším rozlišení než v předchozích letech, a to díky duálnímu 14bitovému CV-ISP potrubí podporující 22MP 30Hz souběžné snímání na dvou kamerách a 48MP 30Hz snímání s jedním snímkem senzor. Rychlejší čtecí potrubí senzoru se v tomto případě nepřevádí na video, avšak tam, kde je Qualcomm Spectra 380 podporuje stejné nativní 720p 480 Hz (bez použití mezipaměti na snímači), jako Spectra 280 udělal.
Nejlepší ze všeho je, že Qualcomm Spectra 380 se může v budoucnu nadále zlepšovat, protože jeho nový modulární design ISP přináší nově nalezené flexibilita pro zobrazovací potrubí, což otevírá potenciál pro různé metody zpracování pro RAW i YUV pixel domény.
Jste nadšení z rozšířené funkce umělé inteligence ve fotoaparátech? K čemu doufáte, že budete moci používat strojové vidění? Řekněte nám to v komentářích níže!