Qualcomm-ის Judd Heape განმარტავს, თუ როგორ აუმჯობესებს Qualcomm კამერის გამოცდილებას Android ტელეფონებზე ახალი ფუნქციებით მის Spectra ISP-ებში.
როგორც სისტემურ ჩიპებზე (SoCs) მწარმოებელი, რომელიც უზრუნველყოფს მსოფლიოს სმარტფონებისა და ტარების მოწყობილობების დიდ ნაწილს, აშშ-ში დაფუძნებული Qualcomm უდავოდ არის ჩიპების მწარმოებლის ინდუსტრიის ერთ-ერთი გიგანტი. მაგალითად, SoC-ების Snapdragon ხაზს იყენებს თითქმის ყველა მსხვილი Android მოწყობილობის მწარმოებელი ფლაგმანური, საშუალო დონის და ბიუჯეტის სმარტფონებისთვის. Qualcomm ყოველწლიურად იღებს მოწონებას კომპანიის ყოველწლიურ ტექნიკურ სამიტზე CPU, GPU და AI სფეროებში წინსვლისთვის, რადგან ის აერთიანებს ARM-ის ახალ CPU მიკროარქიტექტურებს. და ავსებს მათ ყოველწლიური გაუმჯობესებებით მის მორგებულ GPU-ებში. თუმცა, მისი წინსვლა კამერების სფეროში არ შეიმჩნევა იმდენად, რამდენადაც ისინი მიდრეკილნი არიან რადარი.
თუმცა, ეს არ ნიშნავს, რომ Qualcomm-ის მუშაობა სმარტფონების კამერებში უმნიშვნელოა. პირიქით, Qualcomm-ის Spectra ISP-ები მის Snapdragon SoC-ებში გვეხმარება თანამედროვე სმარტფონის კამერების დიდი ნაწილის გაზრდით შესაძლებელი გახადოს. გამოთვლითი დამუშავების სიმძლავრე, ფუნქციები, როგორიცაა 8K ვიდეოს ჩაწერა, HDR10 ვიდეო, მაღალი მეგაპიქსელიანი QCFA კამერების მხარდაჭერა და ბევრი, ბევრი მეტი. Qualcomm-მა დააწინაურა, რომ Spectra 380 ISP Snapdragon 855-ში
იყო მსოფლიოში პირველი CV-ISPდა მან ხელი შეუწყო მსოფლიოში პირველი 4K HDR ვიდეო ჩაწერის ფუნქციებს, რომელსაც ახლა უკვე დაემატა მე-2 თაობის 4K HDR10+ ვიდეო ჩაწერა. Spectra 480 ISP უახლესი თაობის Snapdragon 865 არის მაღალი უნარი - მას შეუძლია წამში ორი გიგაპიქსელის დამუშავება, რაც 40%-ით მეტია წინამორბედთან შედარებით. ეს არის ინტელექტუალური საკუთრება (IP), რომელიც განასხვავებს Qualcomm-ს კონკურენტებისგან მობილური ჩიპების გამყიდველის სივრცეში.მიუხედავად იმისა, რომ Qualcomm განმარტავს სათაურების უმეტეს მახასიათებლებს თავის პრესრელიზებში და პროდუქტის ძირითადი ნოტებში, ზემოთ ამ დრომდე, მომხმარებლებს არ ჰქონდათ შესაძლებლობა იცოდნენ დაბალი დონის დეტალების უმეტესობა, რაც ამ ნივთებს ქმნის მუშაობა.
სწორედ ამიტომ, ჩვენ XDA Developers-ში სიამოვნებით მივიღეთ შეთავაზება, რომ გვესაუბრა Qualcomm-ის პროდუქტების მენეჯმენტის უფროს დირექტორთან, ჯად ჰეპთან. XDA-ს მთავარ რედაქტორს, მიშაალ რაჰმანს და მე გვქონდა ინტერვიუ ჯადსთან 2020 წლის ივნისში, რათა გვესწავლა და გვენახა, როგორ უბიძგებს Qualcomm მიზანს სმარტფონის ფოტოგრაფიითა და ვიდეოჩანაწერით. ჩვენ ვისაუბრეთ ისეთ თემებზე, როგორიცაა AI გამოსახულების დამუშავება, მრავალ კადრის ხმაურის შემცირება (MFNR), AV1, Dolby Vision ვიდეოს ჩაწერა, პიქსელების ბინირება მაღალი მეგაპიქსელიანი კამერებში და მრავალი სხვა. მოდით გადავხედოთ ჯადის შეხედულებებს თითოეულ თემაზე სათითაოდ:
AI გამოსახულების დამუშავების დატვირთვა
მიშაალ რაჰმანი: დავიწყებ ერთ-ერთით, რომელიც იდრესს ჰქონდა, რომელიც საინტერესოა და მეც მაინტერესებდა. ასე რომ, ჩვენ გვაინტერესებს რა არის AI გამოსახულების დამუშავების დატვირთვა, რომელსაც Qualcomm იყენებს Spectra ISP-ში და რამდენად არის მათი კონფიგურირებადი მოწყობილობების მწარმოებლების მიერ?
ჯად ჰეპი: დიახ, ასე რომ, ჩვენ ვუყურებთ ბევრ AI სამუშაო დატვირთვას და არის გარკვეული AI, რომელიც შეიძლება იმუშაოს თავად ISP-ში მაგალითად, ჩვენი შემდეგი თაობის 3A: ავტომატური ექსპოზიცია, ავტომატური თეთრი ბალანსი და ავტომატური ფოკუსი არის AI დაფუძნებული.
მაგრამ ჩვენ ასევე ვუყურებთ რამდენიმე სხვა AI სამუშაო დატვირთვას, რომელიც იმუშავებს ISP-ის გარეთ, ერთ-ერთ სხვა გამოთვლით ელემენტში. კერძოდ, ჩვენ ვუყურებთ ისეთ საკითხებს: ჩვენ გვაქვს AI-ზე დაფუძნებული ხმაურის შემცირების ბირთვი, რომელიც მუშაობს გარედან ISP-დან, ჩიპის AI ძრავის (AIE) ნაწილში.
ასევე, ჩვენ გვაქვს სახის ამოცნობა, რომელიც არის სრული ღრმა სწავლის ძრავა, რომელიც ასევე მუშაობს AIE კომპლექსში, მაგრამ რა თქმა უნდა ეხმარება კამერას. და არის სხვა საკითხებზე, რომლებზეც ჩვენ ვმუშაობთ, გარდა სახის ამოცნობისა და დენოიზისა; ჩვენ ასევე განვიხილავთ ისეთი რამის გაკეთებას, როგორიცაა სნეპშოტების ავტომატური რეგულირება AI-ის გამოყენებით, რომელიც ავტომატურად დაყენდება პარამეტრებს თითო სცენაზე დაფუძნებული HDR კონტენტზე, ჩვენ ვამუშავებთ ჩრდილის, ხაზგასმის და ფერის შეცვლას და მსგავსი ნივთი.
ჩვენმა ერთ-ერთმა პარტნიორმა, მორფომ, ახლახან მოიგო უზარმაზარი AI სამუშაო დატვირთვის ჯილდო წელს Embedded Vision Summit-ზე. დამოუკიდებელ პროგრამული უზრუნველყოფის გამყიდველ პარტნიორებს ასევე აქვთ ბევრი მართლაც ინტენსიური AI-ზე დაფუძნებული ალგორითმები და ეს შეიძლება იყოს გლუვი კამერის მსგავსი. გარდამავალი, ისევე როგორც ის, რასაც აკეთებს Arcsoft, (მე აღვნიშნე ეს ბოლო Snapdragon Tech Summit-ზე, რომელიც დაფუძნებულია AI-ზე), მორფოს სემანტიკურ სეგმენტაციაზე ძრავა. მორფოს გამოსავალი არის ხელოვნური ინტელექტის ძრავა, რომელსაც ესმის სცენის სხვადასხვა ნაწილი, მაგალითად, რაც იცით, ქსოვილი კანის წინააღმდეგ ცისა და ბალახის წინააღმდეგ და შენობა და მსგავსი რამ და შემდეგ ISP-ს შეუძლია მიიღოს ეს ინფორმაცია და დაამუშავოს ეს პიქსელები განსხვავებულად ტექსტურის, ხმაურის და ფერის მიხედვით. მაგალითი.
Qualcomm-ის განცხადება: ML & AI-სთვის, ჩვენ ასევე არ ვაცხადებთ ახალ განახლებებს სახის ამოცნობის ფუნქციების და „3A“ (AE, AF და AWB) ფუნქციებისთვის დღესაც. თუმცა, როგორც ჯადმა თქვა, ჩვენ მზად ვართ, მომავალში მივიტანოთ მეტი ML/AI შესაძლებლობები კამერაზე, ამ ორი ფუნქციური სფეროს ჩათვლით.
ანალიზი და კონტექსტი: სმარტფონებში ხელოვნური ხელოვნური ინტელექტი ძირითადად მას შემდეგ ითვლებოდა, რომ პირველი ნერვული დამუშავების ერთეულები (NPU) და "AI-ზე დაფუძნებული" ფუნქციები Android ტელეფონებში გამოჩნდა. თუმცა, ეს არ ნიშნავს იმას, რომ AI თავისთავად უაზროა. პირიქით, AI-ს აქვს დიდი პოტენციალი მობილურში, იქამდე, რომ ჩიპების გამყიდველები და მოწყობილობების მწარმოებლები ერთნაირად ჭრიან ზედაპირს, რაც შესაძლებელია.
ხელოვნური ინტელექტის წყალობით, სმარტფონების კამერები უკეთესი გახდა - ზოგჯერ სწრაფად, ზოგჯერ ტანჯვით ნელა, მაგრამ ისინი იქ მიდიან. სმარტფონის კამერები გადალახავს ფუნდამენტურ შეზღუდვებს, როგორიცაა შედარებით მცირე სენსორები, ფიქსირდება ფოკუსური მანძილი და ღარიბი ოპტიკა ჭკვიანი გამოთვლითი ფოტოგრაფიით, რომელიც აღჭურვილია მანქანური სწავლით (ML). ავტომატური ექსპოზიცია, ხმაურის შემცირება, სახის ამოცნობა და სეგმენტაცია მხოლოდ რამდენიმე სფეროა, სადაც AI-მ სმარტფონის ფოტოგრაფიაში გავლენა მოახდინა. მომდევნო ხუთი წლის განმავლობაში, ხელოვნური ინტელექტის ახალი სფეროები, რომლებიც აუმჯობესებენ ფოტოგრაფიის სხვადასხვა ასპექტს, ძალიან მომწიფდება.
მრავალ ჩარჩოს ხმაურის შემცირება
იდრეს პატელი: Qualcomm ასახელებს მრავალ კადრის ხმაურის შემცირებას, როგორც ფუნქციას. მსურს ვიცოდე უფრო დეტალურად ამის შესახებ, ისევე როგორც როგორ მუშაობს სურათის დაწყობა. მსგავსია თუ არა ის, რომ მოგწონს ის, რასაც Google აკეთებს მათი HDR+ ტექნოლოგიით თუ სრულიად განსხვავებულია?
ჯად ჰეპი: მსგავსია, მაგრამ განსხვავებული. წარმოიდგინეთ, რომ კამერა ადიდებს და იღებს ხუთ-შვიდ კადრს ზედიზედ. შემდეგ ISP ძრავა ათვალიერებს ამ ჩარჩოებს და ირჩევს საუკეთესოს (ე.წ. "წამყვანის ჩარჩო") ამისთვის. ფოკუსირება და სიცხადე და შემდეგ მას შეუძლია შეარჩიოს 3-4 კადრი ამ ჩარჩოს ორივე მხარეს და შემდეგ ყველა მათგანს საშუალოდ ერთად. ის ცდილობს შეარჩიოს ჩარჩოები, რომლებიც საკმარისად ახლოს არის ერთმანეთთან ისე, რომ ძალიან მცირე მოძრაობა იყოს.
და როდესაც ის დგას ამ კადრებზე, შემდეგ საშუალოდ ანაწილებს მათ ერთად, რათა გაარკვიოს რა არის განსხვავებული, მაგალითად, რა არის რეალური სურათის მონაცემები და რა არის ხმაურის მონაცემები. ასე რომ, როდესაც თქვენ გაქვთ მეტი და მეტი ინფორმაცია, უფრო და უფრო მეტი ჩარჩოდან, შეგიძლიათ რეალურად გააკეთოთ მარტივი რამ, როგორიცაა გადახედოთ ჩარჩოებს შორის განსხვავებებს. განსხვავებები, ალბათ, ხმაურია, ხოლო ჩარჩოებში ტოლია, ალბათ, სურათის მონაცემები.
ასე რომ, ჩვენ შეგვიძლია გავაკეთოთ ეს რეალურ დროში ჩარჩო კომბინაციით, რათა შევამციროთ ხმაური. ახლა, თქვენ ასევე შეგიძლიათ იგივე გააკეთოთ დაბალი განათებით და HDR-ით და ეს ძალიან ჰგავს იმას, რასაც Google აკეთებს. ჩვენ არ ვიცით მათი ალგორითმი. მაგრამ ისინი იყენებენ მრავალ ჩარჩოს ტექნიკას მგრძნობელობის გასაზრდელად, რათა უკეთ შეძლოთ „დანახვა“; როგორც კი შეამცირებთ ხმაურის დონეს, ახლა შეგიძლიათ შეხედოთ მეტი ლოკალური ტონის რუკების გაკეთებას, ან სურათზე მომატების დამატებას მეტი ხმაურის გარეშე.
ასე რომ, ისინი უმკლავდებიან დაბალ განათებას, ისევე როგორც HDR. ხმაურის შემცირების მრავალ კადრიანი ფუნქციის გაუმჯობესებები მოვა Qualcomm-ისგან, რომელიც ასევე მოიცავს დაბალ განათებას და HDR-ს. მაგრამ ეს არის ის, რასაც ჩვენ მალე გამოვაქვეყნებთ.
მიშაალ რაჰმანი: ასე რომ, თქვენ ახსენეთ ამ ფუნქციის მალე გაშვება. ეს შემოდის როგორც BSP-ის განახლება პარტნიორებისთვის?
ჯად ჰეპი: ჩვენს შემდეგი თაობის პროდუქტებში, პროგრამული უზრუნველყოფის დამატების საშუალებით, ჩვენ გვექნება შესაძლებლობა ჩაერთონ - რეალურად ეს ხდება ახლავე შემდეგში თაობის პროდუქტები - ჩვენ ახლა ვთანამშრომლობთ მომხმარებლებთან, რათა გავაკეთოთ მეტი მრავალფრემიანი ტექნიკა ხმაურის შემცირების მიღმა, მაგრამ ასევე ვიმუშაოთ HDR და დაბალი განათებით სიტუაციები. ის იყენებს იმავე საბაზისო ISP HW ძრავას, მაგრამ ჩვენ ვამატებთ უფრო მეტ პროგრამულ უზრუნველყოფას ამ მრავალ ჩარჩოს დასამუშავებლად, ვიდრე უბრალოდ ხმაურის შემცირებისთვის.
ასე რომ, ეს არ არის რაღაც, რაც გამოვიდა, მაგრამ ჩვენ ვთანამშრომლობთ რამდენიმე მთავარ მომხმარებელთან ამ ფუნქციებით.
ანალიზი და კონტექსტი: ყოველი ახალი Snapdragon SoC-ის გამოცხადებით, Qualcomm-ის სპეციფიკაციების ცხრილი შეიცავს სპეციფიკაციებს, რომლებიც დაკავშირებულია მრავალ კადრის ხმაურის შემცირებასთან. მაგალითად, Snapdragon 865, თავისი ორმაგი 14-ბიტიანი CV-ISP-ებით მხარს უჭერს ჰიპოთეტურ 200 მეგაპიქსელამდე ერთ კამერას (მიუხედავად იმისა, რომ კამერის სენსორის გამყიდველებმა, როგორიცაა Sony, Samsung და OmniVision, ჯერ არ გამოუშვეს სმარტფონის კამერის სენსორი 108 მეგაპიქსელზე მეტი). თუმცა, როდესაც საქმე ეხება ერთჯერადი კამერის მხარდაჭერას MFNR-ით, ნულოვანი ჩამკეტის ჩამორჩენით (ZSL) და 30fps მხარდაჭერა, სპეციფიკაცია იცვლება 64 მეგაპიქსელამდე, ხოლო იგივე სპეციფიკაციების მქონე ორმაგი კამერისთვის, სპეციფიკაცია იცვლება 25 MP.
Qualcomm-ის მრავალ კადრიანი ხმაურის შემცირება ძალიან ჰგავს HDR+-ს, მაგრამ არა მთლად იგივე, როგორც ზემოთ ჯადმა ახსნა. მიუხედავად იმისა, რომ HDR+ იღებს არასაკმარისი ექსპოზიციის სერიას და აფასებს მათ საშუალოდ საუკეთესო ფოტოს მისაღებად, MFNR იღებს ხუთ-შვიდ ნორმალურ კადრს. როგორც ჩანს, Qualcomm-ის MFNR ისეთივე მოწინავეა, როგორც Google-ის გადაწყვეტა, რადგან HDR და დაბალი განათება არ არის ნახსენები კონკრეტულ პრიორიტეტებად ამჟამინდელში. სამუშაო მიმდინარეობა Spectra-სთვის, ხოლო Google-ის HDR+ მიზნად ისახავს HDR-ს, დაბალი განათების ფოტოგრაფიას და ხმაურის შემცირებას ერთდროულად, ღამის ხედვით კი მას მაღლა ასწევს. უფრო. თუმცა, გამამხნევებელია იმის გაგება, რომ MFNR იღებს გაუმჯობესებებს და Qualcomm გაავრცელებს ამ გაუმჯობესებებს „ზოგიერთ მთავარ მომხმარებელს“. მომავალში, შესაძლოა, არ დაგვჭირდეს Google Camera-ის არაოფიციალური პორტები, რათა მივაღწიოთ არა Google Android-ის სმარტფონების კამერების სრულ პოტენციალს.
სუპერ გარჩევადობა ვიდეოსთვის
მიშაალ რაჰმანი: მაშ, რაღაც რაც გავიგე ტექნიკურ სამიტზე. სინამდვილეში, მე ვფიქრობ, რომ ეს იყო ინტერვიუში ანდროიდის ავტორიტეტი. არის ის, რომ Qualcomm გეგმავს სუპერ გარჩევადობის გაფართოებას ვიდეოზე, როგორც პროგრამული გადაწყვეტა პარტნიორებისთვის და ეს, როგორც ჩანს, განახლდება. მაინტერესებს, გაქვთ თუ არა რაიმე განახლება ამ ფუნქციის გასაზიარებლად.
ჯად ჰეპი: დიახ, ასე რომ, ეს არის ფუნქცია, რომლის გაკეთების შესაძლებლობაც გარკვეული პერიოდის განმავლობაში გვქონდა და ის ახლა ამოქმედდა. მე არ ვიტყოდი, რომ ეს არის პროგრამული უზრუნველყოფის განახლებაში, მაგრამ მე ვიტყოდი, რომ ეს არის ერთგვარი დამატებითი უპირატესობა არსებული მრავალ ჩარჩოს, დაბალი განათების ფუნქციის შესაძლებლობის შესახებ. ჩვენ ვთანამშრომლობთ კონკრეტულ წამყვან მომხმარებლებთან ამ მახასიათებლის შესახებ. ჰო, ვიდეოს სუპერ გარჩევადობა არის რაღაც სხვა თაობაში ან ასე გვექნება ის, რაც ჩვენ გვაქვს გამოიძახეთ ჩანაწერის ფუნქციის გეგმა, სადაც ის რეალურად არის ჩაშენებული პროგრამული კოდის ბაზაში [ კამერა. მაგრამ ახლა, ეს უფრო კონკრეტულად მომხმარებელთა ჩართულობის დონეზეა ამ ახალი ფუნქციისთვის.
ანალიზი და კონტექსტი: ვიდეოს სუპერ გარჩევადობა არის ფუნქცია, რომელიც აქამდე არ გამოჩენილა სმარტფონის კამერებში. ეს ისეთი ახალი სფეროა, რომ ამის შესახებ კვლევითი ნაშრომები ჯერ კიდევ იწერება. ფოტოგრაფიისთვის მრავალ კადრის ტექნიკის გამოყენება ერთია, მაგრამ მათი გამოყენება ვიდეოსთვის ვიდეოს უფრო მაღალ გარჩევადობამდე გასაუმჯობესებლად სრულიად განსხვავებული საკითხია. Qualcomm აცხადებს, რომ ის კვლავ ავრცელებს ფუნქციას „ზოგიერთ მთავარ მომხმარებელს“, მაგრამ ახლა ის არ არის ჩაშენებული კამერის პროგრამული კოდის ბაზაში. სამომავლოდ, ის შეიძლება ყველასთვის ხელმისაწვდომი იყოს, მაგრამ ამ დროისთვის, ეს არის ფუნქცია, რომლის გამოყენებაც საბოლოო მომხმარებლებმა ჯერ არ მიუღიათ.
მაღალი მეგაპიქსელიანი Quad Bayer სენსორები
იდრეს პატელი: მოდით ვისაუბროთ Quad Bayer სენსორებზე. 2019 წლიდან, ბევრ ტელეფონს ახლა აქვს 48 მეგაპიქსელი, 64 მეგაპიქსელი და ახლა 108 მეგაპიქსელიანი სენსორებიც კი. ეს არის Quad Bayer სენსორები; თქვენ არ გაქვთ ნამდვილი ფერის გარჩევადობა 48 ან 64 ან 108 MP. ერთი რამ მინდოდა მეკითხა არის ის, თუ როგორ განსხვავდება ISP გამოსახულების დამუშავების თვალსაზრისით ამ Quad Bayer ან Nona-სთვის Bayer Sensors (4-in-1-ში ან 9-in-1 pixelaning), ტრადიციულ სენსორებთან შედარებით, რომლებსაც არ აქვთ პიქსელი ბინინგი.
ჯად ჰეპი: დიახ, რა თქმა უნდა, ამ ოთხმხრივი CFA (Quad Color Filter Array) სენსორების უპირატესობა არის ნათელ შუქზე მუშაობის შესაძლებლობა. ისინი სრული გარჩევადობით, შემდეგ კი ISP-ს შეუძლია მათი დამუშავება სრული 108 მეგაპიქსელით ან 64 მეგაპიქსელით ან რაც არის ხელმისაწვდომი.
თუმცა, როგორც წესი, უმეტეს განათების სიტუაციებში, როგორიცაა შიდა ან ბნელი, თქვენ უნდა ჩაყაროთ, რადგან სენსორის პიქსელები იმდენად პატარაა, რომ თქვენ უნდა დააკავშიროთ პიქსელები უკეთესი სინათლის მგრძნობელობის მისაღებად. ასე რომ, მე ვიტყოდი, რომ უმეტეს შემთხვევაში, განსაკუთრებით თუ იღებ ვიდეოს ან თუ ხარ დაბალ განათებაზე სნეპშოტისთვის, თქვენ მუშაობთ ბინურ რეჟიმში.
ახლა, ISP-ს შეუძლია სენსორის დამუშავება ნებისმიერი გზით. თქვენ შეგიძლიათ შეხედოთ სენსორს ბინურ რეჟიმში, ამ შემთხვევაში, ეს არის მხოლოდ Bayer-ის ჩვეულებრივი სურათი, რომელიც შემოდის, ან მას შეუძლია შეხედოს მას სრული გარჩევადობის რეჟიმში, რომელშიც შემომავალი მონაცემები არის quad CFA. და თუ ის ამ რეჟიმშია, ISP აკონვერტებს მას ბაიერში.
ასე რომ, ჩვენ ვაკეთებთ - რასაც ჩვენ ვუწოდებთ - "რემოზაიკა". ეს აკეთებს Quad CFA გამოსახულების გარკვეულ ინტერპოლაციას, რათა ის კვლავ გამოიყურებოდეს სრული გარჩევადობით Bayer. და ეს ჩვეულებრივ კეთდება სნეპშოტის პროგრამულ უზრუნველყოფაში, თუმცა ჩვენ ვაპირებთ საბოლოოდ დავამატოთ ეს შესაძლებლობა აპარატურაში ვიდეოს მხარდასაჭერად.
ის, რაც დღეს არის ISP-ის აპარატურაში, ბინინგია. ასე რომ, თქვენ შეგიძლიათ ჩაყაროთ სენსორი და რეალურად შეგიძლიათ სენსორმა გადაწყვიტოს, გამოსცემს თუ არა მას სრული, მეოთხედი ან 1/9 გარჩევადობა, ან შეგიძლიათ ჩაყაროთ ISP-ში. და ეს არის ფუნქცია, რომელიც ჩვენ დავამატეთ Snapdragon 865-ში, რეალურად. ასე რომ, თუ თქვენ ჩადებთ ISP-ში და შემდეგ აწარმოებთ სენსორს სრული გარჩევადობით, რაც იძლევა, ISP-ს ექნება შესაძლებლობა ჰქონდეს ერთდროულად სრული გარჩევადობის სურათი და დაბლოკილი სურათი. აქედან გამომდინარე, მას შეუძლია გამოიყენოს უფრო მცირე გარჩევადობა ან „შეფუთული“ გამოსახულება ვიდეოსთვის (კამერა) და გადახედვისთვის (ხედვის მაძიებელი) და ერთდროულად გამოიყენოს სრული გარჩევადობის სურათი სრული ზომის სნეპშოტისთვის.
მაგრამ ისევ, ეს იქნება ნათელი განათების პირობებში. მაგრამ ყოველ შემთხვევაში, თუ თქვენ იყენებთ ISP-ში, თქვენ გაქვთ შესაძლებლობა გაუმკლავდეთ როგორც დიდ, ასევე პატარა სურათს ამავე დროს, და, შესაბამისად, შეგიძლიათ მიიღოთ ერთდროული ვიდეო და სნეპშოტი, ასევე შეგიძლიათ მიიღოთ სრული გარჩევადობა ZSL; ეს ყველაფერი სენსორის წინ და უკან გადართვის გარეშე, რასაც დიდი დრო სჭირდება.
ეს ნამდვილად კარგი თვისებაა. და როგორც Quad CFA სენსორები და თქვენც იცით, გამოდის 9x სენსორები და შესაძლოა უფრო მეტიც, და რაც უფრო იზრდება ეს სენსორები ყველგან - ჩვენ უფრო და უფრო ვეძებთ ამ სენსორების დამუშავებას აპარატურაში, არა მხოლოდ ბინისთვის, არამედ რემოზაიკა.
და მაშასადამე, ამის სარგებელი ის არის, რომ თუ ამას აკეთებთ აპარატურაში, პროგრამულ უზრუნველყოფასთან შედარებით, თქვენ ამცირებთ შეყოვნება თქვენი მომხმარებლებისთვის და, შესაბამისად, თქვენი სროლის დრო და თქვენი ადიდების სიხშირე ბევრად უფრო სწრაფი იქნება. ასე რომ, როდესაც ჩვენ წინ მივიწევთ ახალი ინტერნეტ პროვაიდერებისა და ახალი ჩიპების საშუალებით, თქვენ დაიწყებთ ბევრად მეტს, რასაც ჩვენ ვაკეთებთ ამ ახალი ტიპის სენსორებისთვის, რომლებიც ჩართულია აპარატურაში.
ანალიზი და კონტექსტი: Huawei იყო პირველი, ვინც გამოიყენა 40MP Quad Bayer სენსორი Huawei P20 Pro 2018 წელს და Quad Bayer-ის სენსორების პოპულარობა იმდენად მაღალი იყო, რომ ახლა უკვე 150$-იანი ტელეფონებისთვისაც კი მიაღწია Snapdragon/Exynos/MediaTek ჩიპებს. კერძოდ, ჩვენ ვნახეთ, რომ სმარტფონების ინდუსტრია 48 მეგაპიქსელიანი და 64 მეგაპიქსელიანი კამერებით მიიღწევა, როგორც ტკბილი ადგილი, მაშინ როცა რამდენიმე ტელეფონი 108 მეგაპიქსელამდე აღწევს. Quad Bayer და Nona Bayer სენსორები არ მოდის ნეგატივების გარეშე, რადგან მათი სრული გარჩევადობა მოყვება გაფრთხილებებს.
თუმცა, მარკეტინგული მიზეზების გამო, 48 მეგაპიქსელიანი სენსორი ბევრად უკეთესად ჟღერს, ვიდრე 12 მეგაპიქსელი, მაშინაც კი, თუ მომხმარებელი უმეტეს დროს იღებს 12 მეგაპიქსელიანი პიქსელებით ჩადგმულ ფოტოებს. 48 მეგაპიქსელიანი სენსორმა თეორიულად უნდა გამოიტანოს უკეთესი 12 მეგაპიქსელიანი პიქსელიანი ფოტოები დაბალ განათებაში, ვიდრე ტრადიციული 12 მეგაპიქსელი სენსორი, მაგრამ სურათის დამუშავება უნდა შენარჩუნდეს და როგორც ქვემოთ აღვნიშნავ, ამისთვის დიდი გზაა გასავლელი მოხდეს. მიუხედავად ამისა, საინტერესო იყო იმის დანახვა, თუ როგორ უმკლავდება Spectra ISP Quad Bayer სენსორებს remosaicing. ამ სენსორებს და ტელეფონებს, როგორიცაა OnePlus 8 Pro (რომელიც იყენებს Sony IMX689 Quad Bayer სენსორს დიდი პიქსელებით) დიდი პოტენციალი აქვს. ამჟამად სმარტფონების კამერების მწვერვალზე არიან.
ML-ზე დაფუძნებული სახის ამოცნობა
მიშაალ რაჰმანი: ასე რომ, ვფიქრობ, ადრე ახსენეთ, რომ ML-ზე დაფუძნებული სახის ამოცნობა მხარდაჭერილია Spectra 480-ში. ეს არის ის, რაც მე რეალურად მოვისმინე ტექნიკურ სამიტზე. [ეს არის] ერთ-ერთი გაუმჯობესება 380-დან 480-მდე; რომ ეს არის ნაწილი - არის ახალი ობიექტური გამოვლენის ბლოკი ვიდეო ანალიტიკის ძრავაში, რომელიც გამოიყენება სივრცის ამოცნობისთვის მომავალში.
შეგიძლიათ მეტი ისაუბროთ იმაზე, თუ რამდენად აუმჯობესებს ეს სახის ამოცნობას და როგორ ხედავთ, რომელ პოტენციურ აპლიკაციებს იყენებენ ის მომწოდებლების მიერ?
ჯად ჰეპი: დიახ, სინამდვილეში, თქვენ მართალი ხართ ჩაშენებულ კომპიუტერულ ხედვის ბლოკში, რომელიც არის "EVA" ბლოკი, რომელზეც ვისაუბრეთ ტექნიკურ სამიტზე. მას აქვს ზოგადი ობიექტის ამოცნობის ბირთვი, რომელსაც ჩვენ ვიყენებთ, როდესაც კამერა მუშაობს, ჩვენ ვიყენებთ მას სახეების აღმოსაჩენად. ამ ბლოკის ტექნიკა უფრო ტრადიციული ტექნიკაა, ამიტომ ობიექტის ამოცნობა ხდება ტრადიციულით კლასიფიკატორები, მაგრამ ამის გარდა, ჩვენ გვაქვს პროგრამული უზრუნველყოფის ძრავა გაშვებული, რომ რეალურად გააუმჯობესოს ამის სიზუსტე ბლოკი.
ასე რომ, ჩვენ ვიყენებთ ML-ზე დაფუძნებულ პროგრამულ უზრუნველყოფას ცრუ დადებითი შედეგების გასაფილტრად, რადგან აპარატურამ შესაძლოა აღმოაჩინოს მეტი რამ, როგორც სახეები სცენაზე, და შემდეგ ML პროგრამული უზრუნველყოფა არის ამბობდა, "კარგი, ეს არის სახე", ან "ეს ნამდვილად არ არის სახე" და ასე ზრდის სიზუსტეს რამდენიმე პროცენტული პუნქტით ML ფილტრის თავზე გაშვებით. აპარატურა.
მომავლის შესახებ ბევრი რამ ვახსენე. მომავალში, რასაც ჩვენ ასევე ვგეგმავთ, არის მთლიანი სახის ამოცნობის გაშვება თავად ML-ში ან ღრმა სწავლის რეჟიმში პროგრამულ უზრუნველყოფაში. განსაკუთრებით, ეს ასე იქნება ქვედა საფეხურებზე, ასე რომ, მაგალითად, ისეთ დონეზე, სადაც არ გვაქვს EVA ტექნიკის ძრავა, ჩვენ დავიწყებთ ღრმა სწავლის ფაზას. როგორც ამოცნობა, რომელიც მუშაობს ჩიპის ხელოვნური ხელოვნური ინტელექტის ძრავში და შემდეგ, 700-800 იარუსის ზედა ფენებში, ჩვენ გვაქვს EVA აპარატურა ამის გასაკეთებლად...
ზოგადად ვიტყვი, რომ ჩვენ უფრო მეტად მივიწევთ ML მიდგომებისკენ, რათა გავაკეთოთ სახის ამოცნობა და ეს მოიცავს როგორც პროგრამულ უზრუნველყოფას საშუალოვადიან პერსპექტივაში, ასევე აპარატურას მოგვიანებით. მე არ ვაპირებ გამჟღავნებას, თუ რომელ პროდუქტს ექნება ის, მაგრამ რა თქმა უნდა, რაც წინ მივიწევთ ISP-ის გასაუმჯობესებლად, ჩვენ დავამატებთ უფრო და უფრო მეტ ტექნიკურ შესაძლებლობებს ML-ის გასაკეთებლად.
მიშაალ რაჰმანი: გასაოცარია. კარგი, ვფიქრობ, რომ ეს არის მოცემული, რომ მიმართულება, რომელსაც თქვენ მიდიხართ, 800 სერიის მანქანური სწავლების გაუმჯობესებას ქვედა დონეზე ჩამოაქვს, ასე რომ, ვფიქრობ, ეს ზოგადად მოცემულია. მაგრამ, რა თქმა უნდა, ვერაფერს ვერ მოგცემთ ამის შესახებ. Მადლობა განახლებისთვის.
ჯად ჰეპი: სახის ამოცნობა არის ის, რაც ჩვენ ძალიან გვაინტერესებს. ჩვენ გვინდა გავაუმჯობესოთ ეს სიზუსტე, თქვენ იცით თაობა თაობაზე ყველა დონეზე, 800-დან 400-მდე. ML არის ამის დიდი ნაწილი.
ანალიზი და კონტექსტი: ეს ასპექტები არის ის, რაც სმარტფონის ფოტოგრაფიას უფრო მეტ პოტენციალს ანიჭებს უახლეს სარკისებურ კამერებსაც კი. დიახ, სარკისებურ კამერებს აქვთ უკეთესი გამოსახულების ხარისხი დაბალ შუქზე და ბევრად უფრო მოქნილები არიან, მაგრამ სმარტფონების კამერები ძლევენ შეზღუდვებს გენიალური გზებით. ML-ზე დაფუძნებული სახის ამოცნობა ამის მხოლოდ ნაწილია.
გაუმჯობესება გამოსახულების დამუშავების ძრავაში
მიშაალ რაჰმანი: გასაოცარია. ასე რომ, ერთ-ერთი რამ, რაც მოკლედ მოვისმინე მრგვალი მაგიდის დისკუსიების დროს Snapdragon Tech Summit-ის შემდეგ, იყო გამოსახულების დამუშავების ძრავის გაუმჯობესება. გავიგე, რომ გაუმჯობესდა დაბალი საშუალო სიხშირის ხმაურის შემცირება ან LEANR. და რომ თქვენ იყენებთ დინამიური საპირისპირო მომატების რუკას; არის ის, რაც ადრე საუბარში ახსენეთ?
ჯად ჰეპი: Ოჰ, კარგი. ასე რომ, მე ვფიქრობ, რომ თქვენ ურევთ ორ რამეს. დიახ, არსებობს LEANR ბირთვი, რომელიც არის ბირთვი, რომელიც მუშაობს ხმაურის შემცირებაზე უფრო მსხვილ მარცვლებზე, რაც ეხმარება დაბალი განათების დროს. ეს არის ახალი ბლოკი, რომელიც დამატებულია Snapdragon 865-ში ISP-ში და ეს ერთია.
საპირისპირო მოგების რუკა სხვა რამეა. ეს არის სხვა რამ, რაც მე აღვნიშნე მრგვალ მაგიდებზე, მაგრამ ეს არის ლინზების დაჩრდილვის ეფექტის შეცვლა. ასე რომ, მოგეხსენებათ, თუ თქვენ გაქვთ ტელეფონი და მას აქვს პატარა ლინზა; ლინზების ცენტრი იქნება ნათელი, ხოლო კიდეები უფრო ვინეტირებული; რაც იმას ნიშნავს, რომ ისინი უფრო მუქი გახდებიან.
ასე რომ, გასულ წლებში ISP-ში, რაც გვქონდა, გამოვიყენეთ სტატიკური საპირისპირო მოპოვების რუკა, რომ თავი დაეღწია ამ ბნელ კიდეებს. ასე რომ, ეს არის ISP-ში საკმაოდ დიდი ხნის განმავლობაში. ის, რაც ჩვენ დავამატეთ Snapdragon 865-ში, არის შესაძლებლობა დინამიურად შეიცვალოს ამ მოპოვების რუკა კონკრეტული სურათის ჩარჩოს გათვალისწინებით, რადგან თუ თქვენ გამოიყენებთ ბევრ მოგებას კიდეებზე. რა ხდება, კიდეები შეიძლება მოიკვეთოს, განსაკუთრებით თუ უყურებთ კაშკაშა სინათლის სცენებს გარეთ, მაგალითად, ცისფერი ცა შეიძლება გათეთრდეს ან კიდეები მოიკვეთოს ბევრის გამო. მოგება.
ასე რომ, Snapdragon 865-ში, საპირისპირო მომატების რუკა არ არის სტატიკური; დინამიურია. ასე რომ, ჩვენ ვუყურებთ სურათს და ვამბობთ: "კარგი, სურათის ეს ნაწილები იჭრება და ისინი არ უნდა იყოს", ასე რომ, ჩვენ შეგვიძლია გავაბრტყელოთ ამოიღეთ გამაძლიერებელი რუკა ბუნებრივად ისე, რომ არ მიიღოთ ნათელი ფრაგმენტები ან ჰალო ეფექტები ან მსგავსი რამ ლინზის შესწორებით დაჩრდილვა. ასე რომ, ეს განსხვავდება ხმაურის შემცირებისგან და ისინი ორი განსხვავებული ბირთვია.
დაბალი სინათლის ფოტოგრაფია და აგრესიული ხმაურის შემცირება
იდრეს პატელი: ასე რომ, ერთი რამ, რის შესახებაც მინდოდა მეკითხა, იყო დაბალი განათების ფოტოგრაფია. გასული რამდენიმე წლის მსგავსად, იყო ბევრი [OEM-ში დანერგილი] ღამის რეჟიმი, მაგრამ ერთი რამ, რაც მე შევნიშნე არის ის მოწყობილობების მრავალი მწარმოებელი მიმართავს ხმაურის აგრესიულ შემცირებას, რაც ამცირებს დეტალებს იმ დონემდე, რომ სიკაშკაშის ხმაც კი არის ამოღებულია.
ასე რომ, ჩემი შეკითხვა არის ის, რომ Qualcomm ურჩევს მოწყობილობების ნებისმიერ მწარმოებელს, არ გააკეთონ ეს და არის თუ არა ეს ისეთი რამ, რასაც აკეთებენ მათი გადამამუშავებელი მილსადენები, თუ ეს არის რაიმე გავლენას SoC-ში ISP-ის მიერ.
ჯად ჰეპი: ბევრი რამ უკავშირდება ტუნინგს და თუ არ გაქვთ მრავალ ჩარჩო, ან მე ვიტყოდი, რომ გამოსახულების ძალიან კარგი სენსორი არ არის ხელმისაწვდომი, მაღალი მგრძნობელობით ან ოპტიკით დაბალი f ნომრებით. ხმაურის თავიდან აცილების ერთ-ერთი გზა განსაკუთრებით დაბალი განათების პირობებში არის მეტი ხმაურის შემცირების გამოყენება, მაგრამ რაც ხდება, როდესაც უფრო მეტ ხმაურის შემცირებას იყენებთ არის ის, რომ კარგავთ დეტალებს, ამიტომ მკვეთრი კიდეები ბუნდოვანი ხდება. ახლა თქვენ შეგიძლიათ თავიდან აიცილოთ ეს, თუ გამოიყენებთ მრავალ ჩარჩოს ტექნიკას. ან თუ იყენებთ ხელოვნური ინტელექტის ტექნიკებს, რომელთა საშუალებითაც შეგიძლიათ გაარკვიოთ, სად არის ობიექტების კიდეები და სახეები და ასეთი რამ. ასე რომ, უხეში ძალის ხმაურის შემცირების გამოყენება ამ დღეებში და ასაკში ნამდვილად არ არის ამის გამკლავება, რადგან საბოლოოდ კარგავთ დეტალებს.
ის, რისი გაკეთებაც გსურთ, არის მრავალ ჩარჩოს ტექნიკის ან AI ტექნიკის გაკეთება, რათა კვლავ შეძლოთ ხმაურის გამოყენება დაქვეითება ობიექტების შიდა უბნებად, ხოლო ლამაზი სუფთა კიდეები ან მკვეთრი კიდეები ობიექტები. ასე რომ, მე ვიტყოდი: ხელოვნური ინტელექტის ან მრავალ ჩარჩოს გამოყენებით ხმაურის შემცირების და შემდგომი გამოსახულების გაუმჯობესება დაბალი განათების პირობებში.
იდრეს პატელი: დიახ, და სწორედ ამის მოსმენა მინდოდა. [ეს] იმიტომ, რომ ეს არის მთავარი, რაც განასხვავებს დიდ სმარტფონის კამერებს საშუალო დონის ან ბიუჯეტის დონის კამერებისგან.
ჯად ჰეპი: ჰო.
იდრეს პატელი: სმარტფონის დიდმა კამერებმა იციან, როდის გამოიყენონ ხმაურის შემცირება და როდის არა.
ჯად ჰეპი: ზუსტად. დიახ, და როგორც ვთქვი, კამერის დარეგულირება ნამდვილად ხდება ჩვენი მომხმარებლების ან OEM-ების მიერ და ზოგიერთი OEM ურჩევნია უფრო რბილი სურათი ნაკლები ხმაურით. ზოგს ურჩევნია მეტი დეტალის გამოვლენა, შესაძლოა, ცოტა მეტი ხმაურით.
ასე რომ, ეს არის კომპრომისი და ასე რომ თქვენ გაქვთ შეზღუდვები. და როგორც ვთქვი, საუკეთესო რამ არის უკეთესი გამოსახულების სენსორის მიღება უფრო მაღალი მგრძნობელობით, უფრო დიდი პიქსელი ან უფრო დაბალი f-ნომრის ოპტიკა, რადგან თავიდანვე მიიღებთ მეტ შუქს, ეს ყოველთვის არის უკეთესი. მაგრამ თუ თქვენ არ შეგიძლიათ ამის გაკეთება, მაშინ იმის ნაცვლად, რომ უბრალოდ გაზარდოთ ხმაურის შემცირება და დეტალები დაკარგოთ, ის, რაც გსურთ გააკეთოთ, არის გამოიყენოთ მრავალ ჩარჩო ან AI ტექნიკა.
ანალიზი და კონტექსტი: ეს, ჩემი აზრით, ამჟამად ყველაზე დიდი პრობლემაა სმარტფონების კამერებთან დაკავშირებით. დიახ, შეგიძლიათ გამოიყენოთ 48MP ან 64MP ან თუნდაც 108MP სენსორი. თუმცა, თუ არ აირჩევთ ხმაურის შეზღუდულ შემცირების გამოყენებას MFNR ან AI ტექნიკით, ყველა ეს მეგაპიქსელი, 4-1-ში და 9-in-1-შიც კი არ არის სასარგებლო. Galaxy S20 Ultra აქ მთავარი მაგალითია, როგორც მისი 108 MP ძირითადი კამერა დიდწილად იმედგაცრუებად ითვლებოდა. Samsung-მა უკან წაიწია გამოსახულების დამუშავებაში 2020 წლის ფლაგმანებში ღამის რეჟიმებში ხმაურის უკიდურესად აგრესიული შემცირების გამო, ხოლო 2019 წლის Galaxy S10 სერიას ირონიულად უკეთესი გამოსახულების ხარისხი ჰქონდა.
ჯადი ცხადყოფს, რომ ზოგიერთი OEM რეალურად ურჩევნია უფრო რბილი სურათი ნაკლები ხმაურით, რაც ფუნდამენტურად არასწორი არჩევანია. ტუნინგს ახორციელებენ მოწყობილობების მწარმოებლები და, შესაბამისად, ორ ტელეფონს ერთი და იგივე სენსორის გამოყენებით და ერთი და იგივე SoC-ით იკვებება, შეუძლია ძალიან, ძალიან განსხვავებული ფოტოების გამოტანა. იმედი უნდა გვქონდეს, რომ ამ მოწყობილობების მწარმოებლები ისწავლიან სიმართლეს მათი უკეთესი კონკურენტებისგან. მიუხედავად იმისა, რომ Samsung-მა დაკარგა გზა გამოსახულების დამუშავებაში წელს, OnePlus იყო მკვეთრი კონტრასტი. OnePlus 8 Pro არის ერთ-ერთი საუკეთესო სმარტფონის კამერა ბაზარზე, რაც შესამჩნევი მიღწევაა OnePlus 5T-ის კამერის ძალიან ცუდი გამომუშავების გათვალისწინებით 2017 წელს. გამოსახულების დამუშავების აზროვნება უნდა შეიცვალოს, რომ ფოტოები მკვეთრი გამოვიდეს, მიუხედავად იმისა, თუ რამდენად მძვინვარებს მეგაპიქსელიანი ომები.
AV1 დეკოდირება და კოდირება
მიშაალ რაჰმანი: ასე რომ, ეს ცოტათი განცალკევებულია სხვა დისკუსიებისგან, რომლებსაც ჩვენ ვაწარმოებთ კამერის ხარისხთან დაკავშირებით. ერთ-ერთი რამ, რაც ზოგიერთ ადამიანს აინტერესებს ღია კოდის მედიის კოდეკების საზოგადოებაში, არის როდის დაუჭერს მხარს Qualcomm AV1 დეკოდირება და შესაძლოა კოდირება. მე ვიცი, რომ ერთი ცოტა რთულია, მაგრამ Google მოითხოვს 4K HDR და 8K ტელევიზორებს Android 10-ზე AV1 დეკოდირების და Netflix-ის მხარდასაჭერად. YouTube, ისინი იწყებენ AV1-ში კოდირებული ვიდეოების გავრცელებას. ასე რომ, როგორც ჩანს, AV1 კოდირებული ვიდეოების ნელი მატება. ასე რომ, ჩვენ გვაინტერესებს, როდის იქნება მინიმუმ დეკოდირების მხარდაჭერა Spectra-ში.
Qualcomm-ის განცხადება: თქვენი კითხვით AV1-ზე - დღეს არაფერი გვაქვს გასაცხადები. თუმცა, Snapdragon-ს ამჟამად შეუძლია AV1 დაკვრა პროგრამული უზრუნველყოფის საშუალებით. Qualcomm ყოველთვის მუშაობს პარტნიორებთან შემდეგი თაობის კოდეკებზე პროგრამული უზრუნველყოფის და აპარატურის შექმნის საშუალებით Snapdragon ლიდერია HDR კოდეკებში, მათ შორის გადაღება და დაკვრა HEIF, HLG, HDR10, HDR10+ და Dolby-ში ხედვა. რა თქმა უნდა, ჩვენ ვაცნობიერებთ, რომ ჩვენს მომხმარებლებს მივაწოდოთ საუკეთესო CODEC გამოცდილება, მათ შორის მაღალი გარჩევადობისა და დაბალი სიმძლავრის მხარდაჭერა, რაც სასურველია მათი დანერგვა HW-ში.
ვიდეო ჩაწერა - მოძრაობის კომპენსაცია
მიშაალ რაჰმანი: ასე რომ, არ ვიცი, აქვს თუ არა იდრესს მეტი შეკითხვები, მაგრამ მე მქონდა ერთი შეკითხვა იმის შესახებ, რაც წავიკითხე Snapdragon Tech Summit-ზე. საუბარია მოძრაობით კომპენსირებულ ვიდეო ბირთვზე. გავიგე, რომ არის მსგავსი გაუმჯობესებები მოძრაობის კომპენსაციის ძრავაში, რათა შეამციროს ხმაური ვიდეოს ჩაწერისას. მაინტერესებდა, შეგიძლიათ თუ არა გააფართოვოთ, რა არის გაუმჯობესებული და რა გაკეთდა.
ჯად ჰეპი: EVA (ძრავა ვიდეო ანალიტიკისთვის) გაუმჯობესდა უფრო მკვრივი მოძრაობის რუქის ბირთვით ისე, რომ EVA ძრავი, იცით, მაგალითად, ყოველთვის უყურებს შემომავალ ვიდეოს და მას აქვს ბირთვი, რომელიც მოძრაობას აკეთებს შეფასება. რაც ჩვენ გავაკეთეთ არის ის, რომ ეს ბირთვი უფრო ზუსტი გავხადეთ, სადაც ის ამას აკეთებს თითქმის თითო პიქსელის დონეზე, ვიდრე უფრო უხეში ბლოკის დონე და ასე რომ, ჩვენ ვიღებთ ბევრად მეტ მოძრაობის ვექტორს EVA ძრავიდან Snapdragon 865-ში, ვიდრე წინაში. თაობებს. და ეს ნიშნავს, რომ ვიდეო ბირთვს, რომელიც აკეთებს კოდირებას, შეუძლია გამოიყენოს ეს მოძრაობის ვექტორები მეტი ზუსტი კოდის შესახებ, მაგრამ კამერის მხარეს ISP ასევე იყენებს ამ ინფორმაციას ხმაურისთვის შემცირება.
ასე რომ, მოგეხსენებათ, თაობების განმავლობაში ჩვენ გვქონდა მოძრაობით კომპენსირებული დროებითი ფილტრაცია, რაც რეალურად წარმოადგენს ხმაურის აქტიურ შემცირებას ვიდეოს დროს, რომელიც დროთა განმავლობაში აფასებს საშუალო კადრებს ხმაურის მოსაშორებლად.
თუმცა, ამ ტექნიკის პრობლემა ის არის, თუ თქვენ გაქვთ მოძრაობა სცენაზე. მოძრაობა მთავრდება უბრალოდ უარის თქმა ხმაურის შემცირების გამო, რადგან მისი დამუშავება შეუძლებელია ან ის ჭუჭყიანდება, და თქვენ მიიღებთ ამ მახინჯ ბილიკებს და ნივთებს მოძრავ ნივთებზე. ასე რომ, მოძრაობით კომპენსირებული დროებითი ფილტრაცია, რაც ჩვენ გავაკეთეთ წარსულში, რადგან არ გვქონდა ეს მკვრივი მოძრაობის რუკა ადგილობრივისთვის მოძრაობა, ჩვენ გვაქვს - უბრალოდ დამუშავებულია მხოლოდ შემთხვევები, როცა კამერას მოძრაობთ, ეს საკმაოდ მარტივია, რადგან ყველაფერი მოძრაობს გლობალურად.
მაგრამ თუ თქვენ იღებ რაღაცას და გაქვთ ობიექტი, რომელიც მოძრაობს სცენის შიგნით, ის, რაც ჩვენ გავაკეთეთ ადრე [ეს იყო] ჩვენ უბრალოდ უგულებელვყავით ეს პიქსელები, რადგან არ შეგვეძლო მათი დამუშავება ხმაურისთვის, რადგან ეს იყო ლოკალურად მოძრავი ობიექტი. და ამიტომ, თუ კადრ-კადრის საშუალებებს აძლევდით, ობიექტი ყოველი კადრის განსხვავებულ ადგილას იყო, ასე რომ თქვენ ნამდვილად ვერ შეძლებდით მის დამუშავებას.
მაგრამ Snapdragon 865-ზე, რადგან ჩვენ გვაქვს უფრო მკვრივი მოძრაობის რუკა და გვაქვს შესაძლებლობა შევხედოთ მოძრაობის ვექტორებს თითქმის პიქსელზე. პიქსელების მიხედვით, ჩვენ რეალურად შეგვიძლია დავამუშაოთ ლოკალურად გადაადგილებული პიქსელები კადრ-კადრით ხმაურის შესამცირებლად, მაშინ როცა ადრე ვერ ვახერხებდით. ვფიქრობ, საუბრისას აღვნიშნე მეტრიკა. ნომერი არ მახსოვს (ეს იყო 40%) მაგრამ ეს იყო პიქსელების დიდი პროცენტი საშუალოდ ვიდეოების უმეტესობისთვის, რომლებიც ახლა შეიძლება დამუშავდეს ხმაურის გამო, მაშინ როცა წინა თაობაში ეს არ შეიძლებოდა. და ეს მართლაც ნაწილობრივ არის ადგილობრივი მოძრაობის და არა მხოლოდ გლობალური მოძრაობის გაგების უნარი.
ვიდეო გადაღება - HDR
იდრეს პატელი: კიდევ ერთი შეკითხვა მაქვს HDR ვიდეოს შესახებ. წელს ვხედავ, რომ მოწყობილობების კიდევ ბევრი მწარმოებელი გვთავაზობს HDR10 ვიდეოს ჩაწერას. ასე რომ, არის ის, რაც დაწინაურდა Snapdragon 865-ით, ან არსებობს რამდენიმე თაობის შემდეგ.
ჯად ჰეპი: ოჰ, ასე რომ, როგორც ამაზე ვისაუბრეთ ტექნიკურ სამიტზე, გვქონდა HDR10, რომელიც არის ვიდეო სტანდარტი HDR-ისთვის კამერის დაშიფვრა უკვე რამდენიმე თაობაა, Snapdragon 845-ის შემდეგ, მე მჯერა, და ჩვენ მუდმივად ვუმჯობესდებით რომ.
ასე რომ, შარშან, ჩვენ ვისაუბრეთ HDR10+-ზე, რომელიც არის 10-ბიტიანი HDR ჩაწერა, მაგრამ სტატიკური მეტამონაცემების ნაცვლად მას აქვს დინამიური მეტამონაცემები, ასე რომ, მეტამონაცემები, რომლებიც აღბეჭდილია კამერით. სცენის დროს ფაქტობრივად ჩაწერილია რეალურ დროში, ასე რომ, როდესაც მას უკრავთ, დაკვრის ძრავა მიხვდება, ბნელი ოთახი იყო თუ ნათელი ოთახი, და მას შეუძლია კომპენსირება მოახდინოს რომ.
ჩვენ ასევე გასულ წელს ტექნიკურ სამიტზე ვისაუბრეთ Dolby Vision-ის გადაღებაზე, რომელიც არის Dolby-ის ალტერნატივა HDR10+-ისთვის. ეს ძალიან ჰგავს, სადაც ისინი რეალურად აწარმოებენ დინამიურ მეტამონაცემებსაც. ასე რომ, დღეს Snapdragon-ს შეუძლია ამ სამივე ფორმატის მხარდაჭერა: HDR10, HDR10+ და Dolby Vision გადაღება. ასე რომ, ნამდვილად არ არსებობს შეზღუდვა, ჩვენს OEM-ებს შეუძლიათ აირჩიონ რომელი მეთოდი ურჩევნიათ. ჩვენ გვყავს კლიენტები, რომლებიც იყენებენ HDR10-ს უკვე დიდი ხანია, და გვყავს შარშან და წელს უფრო და უფრო მეტი მომხმარებელი ირჩევს HDR10+-ს. და ვფიქრობ, მომავალში, თქვენ ნახავთ Dolby Vision Capture-ის გარკვეულ მიღებასაც.
ჰო, ჩვენ ამას დიდად ვუჭერდით პოპულარიზაციას. HDR ძალიან მნიშვნელოვანია ჩვენთვის, როგორც სნეპშოტის, ასევე ვიდეოს მხრიდან. და როგორც ვთქვი, ჩვენ ერთგული ვართ HDR10 და HDR10+ და ახლა Dolby Vision ფორმატებისთვის, თქვენ იცით Snapdragon 845-დან და ახლაც ახლახან Snapdragon 865 Dolby Vision-ისთვის.
მიშაალ რაჰმანი: ასევე, მე ნამდვილად არ ვიყავი დარწმუნებული, რომ რომელიმე მომწოდებელმა ჯერ კიდევ განახორციელა Dolby Vision ჩანაწერი, მაგრამ ვფიქრობ, რომ ეს პასუხობს ამ კითხვას. [ეს არის ის, რასაც მომავალში ვიხილავთ.
ჯად ჰეპი: რა თქმა უნდა - კომენტარს ვერ გავაკეთებ იმაზე, თუ რომელი მოვაჭრეები არიან დაინტერესებული და რა სახის. ეს იქნება Dolby-ს შეკითხვა; ეს მათი მახასიათებელია და ასე რომ, თუ გინდოდათ მეტი ინფორმაცია ამის შესახებ, გირჩევთ დაუკავშირდეთ Dolby-ს. მაგრამ დღემდე, რამდენადაც მე ვიცი, არ ყოფილა არც ერთი ტელეფონი, რომელიც ჯერ არ გამოვიდა Dolby Vision Capture-ით.
იდრეს პატელი: იმიტომ, რომ თქვენ ასევე გჭირდებათ ჩვენების მხარდაჭერა. მე შევამჩნიე, რომ სმარტფონის დისპლეი მხარს უჭერს HDR10 და HDR10+-ს, მაგრამ არა Dolby Vision-ს.
ჯად ჰეპი: დიახ, სინამდვილეში, მაგრამ Dolby Vision-ის დაკვრა წარსულში მხარდაჭერილი იყო Snapdragon-ზე. მას შეუძლია იმუშაოს მოცემულ ეკრანთან და დისპლეი არ უნდა აკმაყოფილებდეს რაიმე კონკრეტულ კრიტერიუმს, რომ იყოს Dolby Vision-ის თავსებადი, გარდა იმისა, რომ Dolby შეაფასებს ეკრანს და დარწმუნდება, რომ მას აქვს გარკვეული ფერის გამა, გამა, გარკვეული სიღრმე, გარკვეული სიკაშკაშე და გარკვეული კონტრასტი. თანაფარდობა.
ასე რომ, თქვენ იცით, შეგიძლიათ შეიძინოთ HDR10 დისპლეი, მაგრამ ასევე შეგიძლიათ შეიძინოთ ტელეფონი, რომელიც მხარს უჭერს Dolby Vision-ს. დაკვრა, მაგრამ Doby ექნება ამ დისპლეის კვალიფიკაციას, რათა დარწმუნდეს, რომ იგი შეესაბამება მათ მკაცრ მოთხოვნებს მოთხოვნები.
თანამშრომლობა პროგრამული უზრუნველყოფის მომწოდებლებთან: Imint, Morpho და Arcsoft
მიშაალ რაჰმანი: ვფიქრობ, მხოლოდ ერთი შეკითხვა უნდა გავაგრძელო, რომ გავაკეთო მეტი კვლევა, არის ერთი კომპანია, რომელსაც ახლახან ვესაუბრეთ. იმიტ. მათ ახლახან განაახლეს თავიანთი Vidhance სტაბილიზაციის პროგრამა რომ მუშაობა Spectra 480-თან. მე ვიცი, რომ თქვენ მუშაობთ უამრავ კომპანიასთან, რომლებიც ასევე სარგებლობენ Spectra 480, დამუშავებით. მაინტერესებს, შეგიძლიათ თუ არა გაამჟღავნოთ ამ ტექნოლოგიების მეტი მაგალითები - ან პარტნიორები, რომლებიც თქვენ გაქვთ ვიმუშავეთ, ასე რომ ეს არის] ის, რასაც ჩვენ შეგვიძლია მივყვეთ, შეიტყვეთ მეტი იმის შესახებ, თუ როგორ გამოიყენება Spectra 480 ველი.
ჯად ჰეპი: ჩვენ ვმუშაობთ უამრავ პროგრამული უზრუნველყოფის გამყიდველთან. როგორც ადრე აღვნიშნეთ, დოლბიც ერთ-ერთი მათგანია. არის სხვა ისეთი, როგორიც თქვენ ახსენეთ, Imint/Vidhance for EIS (Electronic Image Stabilization). ჩვენ ასევე აღვნიშნეთ Morpho და Arcsoft ადრე, ჩვენ მათთან ძალიან მჭიდროდ ვთანამშრომლობთ.
რაც შეეხება იმას, თუ როგორ ვმუშაობთ მათთან, ჩვენი პოლიტიკა არის ის, რომ ჩვენ ნამდვილად გვსურს მჭიდროდ ვითანამშრომლოთ ამ დამოუკიდებელ პროგრამული უზრუნველყოფის მომწოდებლებთან და დარწმუნებულები არიან, რომ რასაც ისინი აკეთებენ პროგრამული უზრუნველყოფის საშუალებით, შეუძლიათ გამოიყენონ Snapdragon-ის აპარატურა, რათა მიიღონ ენერგიის ყველაზე დაბალი მოხმარება შესაძლებელია.
ასე რომ, ერთ-ერთი რამ, რასაც ჩვენ ვაკეთებთ ამ მომწოდებლებთან არის ის, რომ დავრწმუნდებით, რომ მათ ნამდვილად აქვთ კარგი წვდომა HVX ძრავზე, ან Hexagon DSP ბირთვზე. ისინი ასევე იყენებენ EVA ძრავას მოძრაობის ვექტორების მისაღებად და აპარატურის და EVA ძრავის გამოსაყენებლად გამოსახულების მანიპულირებისთვის. მათ შეუძლიათ შეასრულონ გამოსახულების მოძრაობა, თარგმნა და დეფორმირება და მსგავსი რამ აპარატურაში, ვიდრე GPU-ს გამოყენება. რომ.
ასე რომ, ჩვენ ნამდვილად მჭიდროდ ვთანამშრომლობთ ამ ISV-ებთან, განსაკუთრებით მათთან, რაც მე კონკრეტულად აღვნიშნე, რათა დავრწმუნდეთ, რომ ისინი უბრალოდ არ აყენებენ ყველაფერს და პროგრამული უზრუნველყოფა CPU-ში, მაგრამ ისინი იყენებენ ისეთ რამეებს, როგორიცაა DSP და აპარატურის ამაჩქარებლები EVA-ში უკეთესი მუშაობისა და დაბალი სიმძლავრის მისაღებად მოხმარება. ასე რომ, ეს ჩვენთვისაც ძალიან მნიშვნელოვანია, რადგან ის ჩვენს მომხმარებლებს აძლევს ფუნქციებისა და ენერგიის მოხმარების საუკეთესო შესაძლო ნაზავს.
[დახურვის კომენტარები ჯადისგან]: უბრალოდ მინდოდა მეთქვა, მადლობა ბიჭებს ყველა კარგი კითხვისთვის. ისინი მართლაც, ძალიან დეტალურია. მე უკვე დაახლოებით სამი წელია Qualcomm-ში ვარ და ვუყურებ ჩვენს წარსულს, თუნდაც ჩემი ვადის მიღმა აქ, სადაც ადრე ვიწყებდით Spectra-ს Snapdragon 845, ჩვენ ძალიან ბევრი ვიმუშავეთ, რათა მკვეთრად გაუმჯობესებულიყო ISP, კამერა და მხოლოდ საერთო გამოცდილება ბოლო რამდენიმე წლები. მე ნამდვილად აღფრთოვანებული ვარ იმითაც კი, რაც მომავალს მოაქვს. და მე აღფრთოვანებული ვარ იმით, რასაც ჩვენ გამოვაცხადებთ მომავალ ტექნიკურ სამიტებზე, რომლებზეც შეგიძლიათ იკითხოთ და დაწეროთ. [Spectra Camera], ალბათ, ჩემი აზრით, Qualcomm-ის ერთ-ერთი ყველაზე საინტერესო ტექნოლოგიაა.
საბოლოო აზრები
ძალიან კარგი იყო ჯადთან დისკუსია Qualcomm-ის წვლილის შესახებ სმარტფონების ფოტოგრაფიაში. ჩვენ შეგვიძლია არაერთგვაროვანი გრძნობები გვქონდეს კომპანიისა და მათი საპატენტო ლიცენზირების სისტემის მიმართ, მაგრამ Qualcomm-ის კვალი სმარტფონების ინდუსტრიაზე ყველა იგრძნობა, მიუხედავად იმისა, ამაზე საუბრობთ. პატენტები, 4G და 5G, Wi-Fi, Adreno GPU, Spectra ISP და თავად Snapdragon ჩიპები, რომლებიც მეტწილად ითვლება ოქროს სტანდარტად Android სმარტფონში. ბაზარი.
ჯერ კიდევ ბევრი ტკივილის წერტილია, რომლებიც უნდა გადაწყდეს სმარტფონის ფოტოგრაფიაში, მაგრამ მომავალი ასეა ნათელი, როგორც Qualcomm გვპირდება, რომ მეტი წინსვლის მიღწევა ML-ის უზარმაზარ, მზარდ სფეროებში, რაც უფლებამოსილია AI. ვნახოთ, რა უნდა გამოაცხადოს Qualcomm ამ სფეროში მომდევნო Snapdragon ტექნიკურ სამიტზე.