Ο Judd Heape της Qualcomm εξηγεί πώς η Qualcomm βελτιώνει τις εμπειρίες της κάμερας σε τηλέφωνα Android με νέες δυνατότητες στους Spectra ISP της.
Ως κατασκευαστής συστημάτων-σε-τσιπ (SoC) που τροφοδοτούν μεγάλο μέρος των smartphone και φορητών συσκευών του κόσμου, η Qualcomm με έδρα τις ΗΠΑ είναι αναμφίβολα ένας από τους γίγαντες της βιομηχανίας κατασκευής τσιπ. Η σειρά SoC Snapdragon, για παράδειγμα, χρησιμοποιείται από σχεδόν κάθε μεγάλο κατασκευαστή συσκευών Android για smartphones ναυαρχίδα, μεσαίας κατηγορίας και προϋπολογισμού. Η Qualcomm λαμβάνει επαίνους κάθε χρόνο στο ετήσιο Tech Summit της εταιρείας για τις προόδους στους τομείς CPU, GPU και AI, καθώς ενσωματώνει τις νέες μικροαρχιτεκτονικές CPU της ARM και τις συμπληρώνει με ετήσιες βελτιώσεις στις προσαρμοσμένες GPU της. Ωστόσο, οι προόδους του στον τομέα των καμερών δεν παρατηρούνται τόσο πολύ, καθώς τείνουν να υποχωρούν ραντάρ.
Αυτό δεν σημαίνει, ωστόσο, ότι η δουλειά της Qualcomm στις κάμερες smartphone δεν είναι σημαντική. Αντίθετα, οι ISP της Qualcomm Spectra στα SoC Snapdragon βοηθούν να γίνουν δυνατές πολλές σύγχρονες κάμερες smartphone με αυξημένη υπολογιστική ισχύς επεξεργασίας, χαρακτηριστικά όπως εγγραφή βίντεο 8K, βίντεο HDR10, υποστήριξη για κάμερες QCFA υψηλής megapixel και πολλά, πολλά περισσότερο. Η Qualcomm έχει προωθήσει ότι ο ISP Spectra 380 στον Snapdragon 855
ήταν το πρώτο CV-ISP στον κόσμο, και έχει προωθήσει τις πρώτες δυνατότητες εγγραφής βίντεο 4K HDR στον κόσμο, οι οποίες έχουν πλέον συμπληρωθεί με εγγραφή βίντεο 2ης γενιάς 4K HDR10+. Ο Spectra 480 ISP τελευταίας γενιάς Snapdragon 865 είναι εξαιρετικά ικανό - μπορεί να επεξεργαστεί δύο gigapixel ανά δευτερόλεπτο, αύξηση 40% σε σχέση με τον προκάτοχό του. Είναι μια πνευματική ιδιοκτησία (IP) που διαφοροποιεί την Qualcomm από τους ανταγωνιστές της στον χώρο των προμηθευτών τσιπ για κινητά.Ενώ η Qualcomm εξηγεί τα περισσότερα από τα βασικά χαρακτηριστικά στα δελτία τύπου και τις βασικές σημειώσεις προϊόντων, επάνω Μέχρι τώρα, οι καταναλωτές δεν είχαν την ευκαιρία να μάθουν τις περισσότερες λεπτομέρειες χαμηλού επιπέδου που δημιουργούν αυτά τα πράγματα δουλειά.
Αυτός είναι ο λόγος για τον οποίο εμείς στην XDA Developers δεχθήκαμε μια προσφορά να μιλήσουμε με τον Judd Heape, Senior Director, Product Management στην Qualcomm. Ο αρχισυντάκτης του XDA, Mishaal Rahman, και εγώ είχαμε μια συνέντευξη με τον Judd τον Ιούνιο του 2020 για να μάθουμε και να δούμε πώς η Qualcomm προωθεί τα γκολπόστ με τη λήψη φωτογραφιών και βίντεο από smartphone. Μιλήσαμε για θέματα όπως η επεξεργασία εικόνας AI, η μείωση του θορύβου πολλαπλών καρέ (MFNR), το AV1, η εγγραφή βίντεο Dolby Vision, το binning pixel σε κάμερες υψηλής megapixel και πολλά άλλα. Ας ρίξουμε μια ματιά στις ιδέες του Judd για κάθε θέμα ένα προς ένα:
Φόρτος εργασίας επεξεργασίας εικόνας AI
Μισάαλ Ραχμάν: Θα ξεκινήσω με ένα από αυτά που είχε ο Idrees, το οποίο είναι ενδιαφέρον και το οποίο με ενδιέφερε επίσης. Αναρωτιόμαστε λοιπόν ποιοι είναι οι φόρτοι εργασίας επεξεργασίας εικόνας AI που χρησιμοποιεί η Qualcomm στον Spectra ISP και σε ποιο βαθμό μπορούν να προσαρμόζονται από τους κατασκευαστές συσκευών;
Τζαντ Χιπ: Ναι, επομένως εξετάζουμε πολλούς φόρτους εργασίας AI και υπάρχουν ορισμένες τεχνητές νοημοσύνης που μπορούν να εκτελεστούν στον ίδιο τον ISP όπως, για παράδειγμα, η επόμενη γενιά 3A: η αυτόματη έκθεση, η αυτόματη ισορροπία λευκού και η αυτόματη εστίαση είναι AI με βάση.
Αλλά εξετάζουμε επίσης μερικούς άλλους φόρτους εργασίας AI, οι οποίοι θα εκτελούνται εκτός του ISP, σε ένα από τα άλλα υπολογιστικά στοιχεία. Έτσι, εξετάζουμε συγκεκριμένα πράγματα όπως: έχουμε έναν πυρήνα μείωσης θορύβου που βασίζεται σε τεχνητή νοημοσύνη, ο οποίος εκτελείται εξωτερικά από τον ISP, στο τμήμα του κινητήρα AI (AIE) του τσιπ.
Επίσης, έχουμε πράγματα όπως η ανίχνευση προσώπου, η οποία είναι μια μηχανή πλήρους βαθιάς εκμάθησης που λειτουργεί επίσης στο συγκρότημα AIE, αλλά φυσικά βοηθάει την κάμερα. Και υπάρχουν και άλλα πράγματα στα οποία εργαζόμαστε εκτός από την ανίχνευση προσώπου και την αφαίρεση θορύβου. εξετάζουμε επίσης να κάνουμε πράγματα όπως η αυτόματη προσαρμογή των στιγμιότυπων χρησιμοποιώντας AI που θα ρυθμίζουν αυτόματα παραμέτρους ανά σκηνή με βάση το περιεχόμενο HDR, θα επεξεργαστούμε την τροποποίηση της σκιάς και των επισημάνσεων και του χρώματος και αυτού του είδους πράγμα.
Ένας από τους συνεργάτες μας, η Morpho, μόλις κέρδισε ένα τεράστιο βραβείο φόρτου εργασίας AI στο Embedded Vision Summit φέτος. Οι ανεξάρτητοι προμηθευτές λογισμικού έχουν επίσης πολλούς αλγόριθμους βασισμένους σε τεχνητή νοημοσύνη και αυτοί μπορούν να κυμαίνονται από οτιδήποτε όπως ομαλή κάμερα μετάβαση, όπως αυτό που κάνει η Arcsoft, (το ανέφερα στο τελευταίο Snapdragon Tech Summit που βασίζεται σε AI), στη σημασιολογική τμηματοποίηση της Morpho κινητήρας. Η λύση της Morpho είναι μια μηχανή τεχνητής νοημοσύνης που κατανοεί διαφορετικά μέρη της σκηνής, όπως αυτό που ξέρετε, ύφασμα έναντι δέρματος έναντι ουρανού και χόρτου και κτίριο και κάτι τέτοιο και στη συνέχεια ο ISP μπορεί να λάβει αυτές τις πληροφορίες και να επεξεργαστεί αυτά τα pixel διαφορετικά για την υφή και το θόρυβο και το χρώμα για παράδειγμα.
Η δήλωση της Qualcomm: Για το ML & AI, επίσης, δεν ανακοινώνουμε νέες ενημερώσεις για τις δυνατότητες ανίχνευσης προσώπου και "3A" (AE, AF και AWB) σήμερα. Ωστόσο, όπως είπε ο Judd, δεσμευόμαστε, στο εξής, να προσφέρουμε περισσότερες δυνατότητες ML/AI στην κάμερα, συμπεριλαμβανομένων αυτών των δύο περιοχών χαρακτηριστικών.
Ανάλυση και πλαίσιο: Η τεχνητή νοημοσύνη στα smartphone θεωρείται σε μεγάλο βαθμό ως η λέξη τσιτάτο από τότε που άρχισαν να έρχονται οι πρώτες μονάδες νευρωνικής επεξεργασίας (NPU) και οι λειτουργίες "βασισμένες σε AI" στα τηλέφωνα Android. Ωστόσο, αυτό δεν σημαίνει ότι η ίδια η τεχνητή νοημοσύνη δεν έχει νόημα. Αντίθετα, η τεχνητή νοημοσύνη έχει πολλές δυνατότητες στα κινητά, σε σημείο που οι πωλητές τσιπ και οι κατασκευαστές συσκευών εξισορροπούν μέχρι στιγμής ό, τι είναι δυνατό.
Χάρη στην τεχνητή νοημοσύνη, οι κάμερες των smartphone έχουν γίνει καλύτερες - μερικές φορές γρήγορα, μερικές φορές αγωνιωδώς αργά, αλλά φτάνουν εκεί. Οι κάμερες smartphone ξεπερνούν θεμελιώδεις περιορισμούς, όπως σχετικά μικρότερους αισθητήρες, σταθερούς εστιακές αποστάσεις και φτωχότερη οπτική με έξυπνη υπολογιστική φωτογραφία που τροφοδοτείται από μηχανική μάθηση (ML). Η αυτόματη έκθεση, η μείωση θορύβου, η ανίχνευση προσώπου και η τμηματοποίηση είναι μόνο μερικά από τα πεδία στα οποία η τεχνητή νοημοσύνη στη φωτογραφία με smartphone μπόρεσε να επηρεάσει. Τα επόμενα πέντε χρόνια, αυτά τα εκκολαπτόμενα πεδία τεχνητής νοημοσύνης που βελτιώνουν διαφορετικές πτυχές της φωτογραφίας θα ωριμάσουν πολύ.
Μείωση θορύβου πολλαπλών καρέ
Idrees Patel: Η Qualcomm αναφέρει τη μείωση θορύβου πολλαπλών καρέ ως χαρακτηριστικό. Θα ήθελα να μάθω περισσότερες λεπτομέρειες σχετικά με το πώς λειτουργεί η στοίβαξη εικόνων. Είναι παρόμοιο με οποιονδήποτε τρόπο να αρέσει αυτό που κάνει η Google με την τεχνολογία HDR+ ή είναι εντελώς διαφορετικό;
Τζαντ Χιπ: Είναι παρόμοιο αλλά διαφορετικό. Φανταστείτε την κάμερα να κάνει μια ριπή και να τραβήξει πέντε έως επτά καρέ σε γρήγορη διαδοχή. Στη συνέχεια, ο κινητήρας ISP ρίχνει μια ματιά σε αυτά τα πλαίσια και επιλέγει το καλύτερο (που ονομάζεται "πλαίσιο αγκύρωσης") για εστίαση και ευκρίνεια και στη συνέχεια μπορεί να επιλέξει 3-4 καρέ και στις δύο πλευρές αυτού του πλαισίου και στη συνέχεια να τα καταγράψει όλα κατά μέσο όρο μαζί. Προσπαθεί να επιλέξει πλαίσια που είναι αρκετά κοντά μεταξύ τους, ώστε να υπάρχει πολύ λίγη κίνηση.
Και όταν εγκατασταθεί σε αυτά τα καρέ, στη συνέχεια τα υπολογίζει κατά μέσο όρο για να διακρίνει τι είναι διαφορετικό, για παράδειγμα, ποια είναι τα πραγματικά δεδομένα εικόνας έναντι των δεδομένων θορύβου. Έτσι, όταν έχετε όλο και περισσότερες πληροφορίες, από όλο και περισσότερα καρέ, μπορείτε πραγματικά να κάνετε απλά πράγματα όπως να δείτε τις διαφορές μεταξύ των πλαισίων. Οι διαφορές είναι πιθανώς ο θόρυβος, ενώ αυτό που είναι ίσο στα καρέ είναι πιθανώς δεδομένα εικόνας.
Έτσι μπορούμε να κάνουμε αυτό το πλαίσιο σε πραγματικό χρόνο συνδυάζοντας για να μειώσουμε το θόρυβο. Τώρα, μπορείτε επίσης να κάνετε το ίδιο πράγμα με χαμηλό φωτισμό και HDR και αυτό μοιάζει πολύ με αυτό που πιθανώς κάνει η Google. Δεν γνωρίζουμε τον αλγόριθμό τους. Αλλά χρησιμοποιούν τεχνικές πολλαπλών καρέ για να αυξήσουν την ευαισθησία, ώστε να μπορείτε να "βλέπετε" καλύτερα. Μόλις μειώσετε το επίπεδο θορύβου, μπορείτε τώρα να κοιτάξετε να κάνετε περισσότερη αντιστοίχιση τοπικών τόνων ή να προσθέσετε κέρδος στην εικόνα χωρίς να προσθέσετε περισσότερο θόρυβο.
Έτσι, λοιπόν, χειρίζονται χαμηλό φωτισμό, καθώς και HDR. Βελτιώσεις στη λειτουργία μείωσης θορύβου πολλαπλών καρέ θα προέρχονται από την Qualcomm, η οποία θα περιλαμβάνει επίσης χαμηλό φωτισμό και HDR. Αλλά αυτό είναι κάτι που θα κυκλοφορήσουμε σύντομα.
Μισάαλ Ραχμάν: Αναφέρατε λοιπόν την κυκλοφορία αυτής της δυνατότητας σύντομα. Αυτό έρχεται σαν μια ενημέρωση του BSP για τους συνεργάτες;
Τζαντ Χιπ: Στα προϊόντα επόμενης γενιάς μας, μέσω μιας προσθήκης λογισμικού, θα έχουμε τη δυνατότητα να συνεργαστούμε - στην πραγματικότητα αυτό συμβαίνει τώρα την επόμενη προϊόντα γενιάς - αυτή τη στιγμή συνεργαζόμαστε με πελάτες για να κάνουμε περισσότερες τεχνικές πολλαπλών καρέ πέρα από τη μείωση θορύβου, αλλά και για να χειριστούμε HDR και χαμηλό φωτισμό καταστάσεις. Χρησιμοποιεί τον ίδιο βασικό κινητήρα ISP HW, αλλά προσθέτουμε περισσότερο λογισμικό για τον χειρισμό αυτών των πολλαπλών καρέ για κάτι περισσότερο από τη μείωση του θορύβου.
Επομένως, δεν είναι κάτι που έχει κυκλοφορήσει, αλλά συνεργαζόμαστε με ορισμένους βασικούς κύριους πελάτες σε αυτές τις λειτουργίες.
Ανάλυση και πλαίσιο: Με κάθε νέα ανακοίνωση του Snapdragon SoC, ο πίνακας προδιαγραφών της Qualcomm περιλαμβάνει προδιαγραφές που σχετίζονται με τη μείωση θορύβου πολλαπλών καρέ. Ο Snapdragon 865, για παράδειγμα, με τους διπλούς 14-bit CV-ISP του υποστηρίζει έως και μια υποθετική μονή κάμερα 200MP (παρόλο που οι προμηθευτές αισθητήρων κάμερας όπως η Sony, η Samsung και η OmniVision δεν έχουν ακόμη κυκλοφορήσει αισθητήρα κάμερας smartphone άνω των 108MP). Ωστόσο, όταν πρόκειται για υποστήριξη μιας κάμερας με MFNR, μηδενική καθυστέρηση κλείστρου (ZSL) και υποστήριξη 30 fps, η οι προδιαγραφές αλλάζουν σε 64MP και για διπλές κάμερες με τις ίδιες προδιαγραφές, η προδιαγραφή αλλάζει σε 25MP.
Η μείωση θορύβου πολλαπλών καρέ της Qualcomm είναι πολύ παρόμοια με το HDR+ αλλά όχι εντελώς ίδια, όπως εξηγήθηκε από τον Judd παραπάνω. Ενώ το HDR+ λαμβάνει μια σειρά υποέκθεσης και τις υπολογίζει κατά μέσο όρο για την καλύτερη φωτογραφία, το MFNR παίρνει πέντε-επτά κανονικά καρέ. Δεν φαίνεται καθώς το MFNR της Qualcomm είναι τόσο προηγμένο όσο η λύση της Google, επειδή το HDR και ο χαμηλός φωτισμός δεν αναφέρονται ως συγκεκριμένες προτεραιότητες στην τρέχουσα περίοδο. ροή εργασιών για το Spectra, ενώ το HDR+ της Google στοχεύει ταυτόχρονα το HDR, τη φωτογραφία χαμηλού φωτισμού και τη μείωση του θορύβου, με το Night Sight να το καταλαμβάνει ακόμη και περαιτέρω. Ωστόσο, είναι ενθαρρυντικό να μαθαίνουμε ότι η MFNR λαμβάνει βελτιώσεις και η Qualcomm θα διαθέσει αυτές τις βελτιώσεις σε "μερικούς βασικούς πελάτες". Στο μέλλον, ίσως δεν θα χρειαζόμαστε ανεπίσημες θύρες κάμερας Google για να αξιοποιήσουμε πλήρως τις δυνατότητες των καμερών smartphone Android που δεν ανήκουν στην Google.
Σούπερ ανάλυση για βίντεο
Μισάαλ Ραχμάν: Λοιπόν, κάτι που άκουσα στο Tech Summit. Στην πραγματικότητα, νομίζω ότι ήταν σε μια συνέντευξη με Android Authority. Είναι ότι η Qualcomm σχεδιάζει να επεκτείνει τη σούπερ ανάλυση σε βίντεο ως λύση λογισμικού για συνεργάτες και ότι αυτό θα κυκλοφορήσει σε μια ενημέρωση, προφανώς. Αναρωτιέμαι αν έχετε ενημερώσεις να μοιραστείτε σχετικά με αυτήν τη δυνατότητα.
Τζαντ Χιπ: Ναι, αυτό είναι ένα χαρακτηριστικό που είχαμε τη δυνατότητα να κάνουμε εδώ και λίγο καιρό και μόλις τώρα κυκλοφορεί. Δεν θα έλεγα ότι είναι σε μια ενημέρωση λογισμικού, αλλά θα έλεγα ότι είναι κάτι σαν ένα πρόσθετο πλεονέκτημα της υπάρχουσας δυνατότητας πολλαπλών καρέ, χαμηλού φωτισμού. Συνεργαζόμαστε με ορισμένους συγκεκριμένους κύριους πελάτες για αυτήν τη δυνατότητα. Οπότε ναι, η σούπερ ανάλυση βίντεο είναι κάτι σε μια άλλη γενιά ή έτσι θα το έχουμε ως αυτό που έχουμε καλέστε μια δυνατότητα σχεδίου εγγραφής όπου είναι πραγματικά ενσωματωμένη στη βάση κώδικα λογισμικού για [το] ΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗ. Αλλά αυτή τη στιγμή, είναι περισσότερο σε επίπεδο ειδικών αφοσίωσης πελατών για αυτήν τη νέα δυνατότητα.
Ανάλυση και πλαίσιο: Η σούπερ ανάλυση για βίντεο είναι μια δυνατότητα που, μέχρι τώρα, δεν έχει εμφανιστεί στις κάμερες των smartphone. Είναι ένα τόσο νέο πεδίο που γράφονται ακόμη ερευνητικές εργασίες σχετικά με αυτό. Η χρήση τεχνικών πολλαπλών καρέ για φωτογραφία είναι ένα πράγμα, αλλά η χρήση τους για βίντεο για την αναβάθμιση του βίντεο σε υψηλότερη ανάλυση είναι ένα εντελώς διαφορετικό θέμα. Η Qualcomm λέει ότι προσφέρει ξανά τη δυνατότητα σε "μερικούς βασικούς πελάτες", αλλά αυτή τη στιγμή δεν είναι ενσωματωμένη στη βάση κώδικα λογισμικού για την κάμερα. Στο μέλλον, μπορεί να είναι διαθέσιμο για όλους, αλλά προς το παρόν, είναι μια δυνατότητα που οι τελικοί καταναλωτές δεν έχουν καν να χρησιμοποιήσουν ακόμα.
Αισθητήρες Quad Bayer υψηλής megapixel
Idrees Patel: Ας μιλήσουμε για τους αισθητήρες Quad Bayer. Από το 2019, πολλά τηλέφωνα έχουν πλέον αισθητήρες 48MP, 64MP και τώρα ακόμη και 108MP. Αυτοί είναι αισθητήρες Quad Bayer. στην πραγματικότητα δεν έχετε πραγματική χρωματική ανάλυση 48 ή 64 ή 108 MP. Ένα πράγμα που ήθελα να ρωτήσω ήταν πώς διαφέρει ο ISP όσον αφορά την επεξεργασία εικόνας για αυτά τα Quad Bayer ή Nona Αισθητήρες Bayer (4-in-1 ή 9-in-1 pixel binning), σε σύγκριση με τους παραδοσιακούς αισθητήρες, οι οποίοι δεν διαθέτουν pixel binning.
Τζαντ Χιπ: Ναι, οπότε φυσικά το πλεονέκτημα αυτών των τετραπλών αισθητήρων CFA (Quad Color Filter Array) είναι η δυνατότητα λειτουργίας σε έντονο φως τα σε πλήρη ανάλυση και, στη συνέχεια, ο ISP μπορεί να τα επεξεργαστεί σε πλήρη ανάλυση 108 megapixel ή 64 megapixel ή οτιδήποτε άλλο διαθέσιμος.
Ωστόσο, συνήθως στις περισσότερες περιπτώσεις φωτισμού, όπως σε εσωτερικούς ή σκοτεινούς, πρέπει να το βάλετε σε θήκη επειδή τα εικονοστοιχεία του αισθητήρα είναι τόσο μικροσκοπικά που πρέπει να συνδυάσετε pixel για να έχετε καλύτερη ευαισθησία στο φως. Θα έλεγα, λοιπόν, τις περισσότερες φορές, ειδικά αν τραβάτε βίντεο ή αν βρίσκεστε σε χαμηλό φωτισμό για στιγμιότυπο, τρέχετε σε λειτουργία binned.
Τώρα, ο ISP μπορεί να επεξεργαστεί τον αισθητήρα με κάθε τρόπο. Μπορείτε να δείτε τον αισθητήρα σε λειτουργία binned, οπότε είναι απλώς μια κανονική εικόνα της Bayer ή μπορεί να τον κοιτάξει σε λειτουργία πλήρους ανάλυσης στην οποία τα εισερχόμενα δεδομένα είναι quad CFA. Και αν είναι σε αυτή τη λειτουργία, ο ISP το μετατρέπει σε Bayer.
Κάνουμε λοιπόν -αυτό που λέμε- "remosaicing". Αυτό κάνει κάποια παρεμβολή της τετραπλής εικόνας CFA για να μοιάζει ξανά με την Bayer πλήρους ανάλυσης. Και αυτό γίνεται συνήθως σε λογισμικό για στιγμιότυπα, αν και θα προσθέσουμε τελικά αυτή τη δυνατότητα στο υλικό για την υποστήριξη βίντεο επίσης.
Αυτό που υπάρχει στο υλικό ISP σήμερα είναι binning. Έτσι, μπορείτε να βάλετε τον αισθητήρα και μπορείτε πραγματικά να βάλετε τον αισθητήρα να αποφασίσει εάν θα βγάζει πλήρη ή τέταρτο ή 1/9η ανάλυση ή μπορείτε να βάλετε στον ISP. Και αυτό είναι ένα χαρακτηριστικό που προσθέσαμε στον Snapdragon 865, στην πραγματικότητα. Έτσι, αν βάλετε στον ISP και στη συνέχεια εκτελέσετε τον αισθητήρα σε πλήρη ανάλυση που δίνει είναι ο ISP να έχει τη δυνατότητα να έχει και την εικόνα πλήρους ανάλυσης και την εικόνα binned ταυτόχρονα. Επομένως, μπορεί να χρησιμοποιήσει τη μικρότερη ανάλυση ή την "binned" εικόνα για βίντεο (κάμερα) και προεπισκόπηση (σκόπευτρο) και ταυτόχρονα να χρησιμοποιήσει την εικόνα πλήρους ανάλυσης για στιγμιότυπο πλήρους μεγέθους.
Αλλά και πάλι, αυτό θα συνέβαινε στην περίπτωση συνθηκών έντονου φωτισμού. Τουλάχιστον, όμως, αν βάλετε στον ISP, έχετε τη δυνατότητα να χειριστείτε τόσο τη μεγάλη όσο και τη μικρή εικόνα στο την ίδια στιγμή, και επομένως, μπορείτε να λάβετε ταυτόχρονα βίντεο και στιγμιότυπο, μπορείτε επίσης να λάβετε πλήρη ανάλυση ZSL; Όλα αυτά χωρίς να χρειάζεται να αλλάζετε τον αισθητήρα εμπρός-πίσω, κάτι που απαιτεί αρκετό χρόνο.
Αυτό είναι ένα πραγματικά καλό χαρακτηριστικό. Και όπως οι αισθητήρες Quad CFA και ακόμη και ξέρετε, οι αισθητήρες 9x και ίσως ακόμη περισσότεροι βγαίνουν, και καθώς αυτοί οι αισθητήρες γίνονται περισσότεροι πανταχού παρών - ψάχνουμε όλο και περισσότερο να χειριστούμε αυτούς τους αισθητήρες στο υλικό, όχι μόνο για binning αλλά και για επαναμωσαϊκό.
Και έτσι το πλεονέκτημα αυτού είναι ότι αν το κάνετε στο υλικό έναντι του λογισμικού, μειώνετε το λανθάνουσα κατάσταση για τους πελάτες σας και επομένως, οι χρόνοι βολής σε βολή και οι ρυθμοί ριπής σας θα είναι πολύ πιο γρήγοροι. Έτσι, καθώς προχωράμε μπροστά με νέους ISP και νέα τσιπ, θα αρχίσετε να βλέπετε πολλά περισσότερα από αυτά που κάνουμε για αυτούς τους νέους τύπους αισθητήρων που τοποθετούνται στο υλικό.
Ανάλυση και πλαίσιο: Η Huawei ήταν η πρώτη που χρησιμοποίησε έναν αισθητήρα Quad Bayer 40MP με το Huawei P20 Pro το 2018, και η δημοτικότητα των αισθητήρων Quad Bayer ήταν τόσο υψηλή που τώρα έχει φτάσει ακόμη και σε τηλέφωνα 150 $ που τροφοδοτούνται από τσιπ Snapdragon/Exynos/MediaTek. Συγκεκριμένα, έχουμε δει τη βιομηχανία των smartphone να φτάνει στις κάμερες 48MP και 64MP ως το γλυκό σημείο, ενώ μερικά τηλέφωνα φτάνουν μέχρι και τα 108MP. Οι αισθητήρες Quad Bayer και Nona Bayer δεν έρχονται χωρίς αρνητικά, καθώς η πλήρης ανάλυσή τους συνοδεύεται από προειδοποιήσεις.
Ωστόσο, για λόγους μάρκετινγκ, ένας αισθητήρας 48MP ακούγεται πολύ καλύτερα από έναν αισθητήρα 12MP, ακόμα κι αν ο χρήστης ούτως ή άλλως τραβάει φωτογραφίες 12MP με pixel binned τις περισσότερες φορές. Ένας αισθητήρας 48MP θα πρέπει θεωρητικά να έχει ως αποτέλεσμα καλύτερες φωτογραφίες 12MP pixel binned σε χαμηλό φωτισμό από έναν παραδοσιακό 12MP αισθητήρα, αλλά η επεξεργασία εικόνας πρέπει να συνεχίσει, και όπως αναφέρω παρακάτω, υπάρχει πολύς δρόμος για να γίνει αυτό συμβεί. Ανεξάρτητα, ήταν ενδιαφέρον να δούμε πώς ο Spectra ISP χειρίζεται τους αισθητήρες Quad Bayer με remosaicing. Υπάρχουν πολλές δυνατότητες σε αυτούς τους αισθητήρες και τηλέφωνα όπως το OnePlus 8 Pro (που χρησιμοποιεί αισθητήρα Sony IMX689 Quad Bayer με μεγάλα pixel) βρίσκονται αυτή τη στιγμή στην κορυφή των καμερών smartphone.
Αναγνώριση προσώπου που βασίζεται σε ML
Μισάαλ Ραχμάν: Νομίζω λοιπόν ότι νωρίτερα είχατε αναφέρει ότι η αναγνώριση προσώπου που βασίζεται σε ML υποστηρίζεται στο Spectra 480. Αυτό είναι κάτι που άκουσα πραγματικά στο Tech Summit. [Ότι αυτή είναι] μία από τις βελτιώσεις από το 380 στο 480. ότι είναι μέρος του - υπάρχει ένα νέο μπλοκ ανίχνευσης αντικειμένων στη μηχανή ανάλυσης βίντεο που χρησιμοποιείται για τη χωρική αναγνώριση στο μέλλον.
Μπορείτε να μιλήσετε περισσότερο για το πόσο αυτό βελτιώνει την αναγνώριση προσώπου και ποιες πιθανές εφαρμογές θεωρείτε ότι χρησιμοποιείται από προμηθευτές;
Τζαντ Χιπ: Ναι, στην πραγματικότητα, άρα έχετε δίκιο στο ενσωματωμένο μπλοκ όρασης υπολογιστή, το οποίο είναι το μπλοκ "EVA", για το οποίο μιλήσαμε στο Tech Summit. Έχει έναν γενικό πυρήνα ανίχνευσης αντικειμένων που τον χρησιμοποιούμε όταν η κάμερα λειτουργεί, τον χρησιμοποιούμε για να ανιχνεύσουμε πρόσωπα. Οι τεχνικές σε αυτό το μπλοκ είναι πιο παραδοσιακές τεχνικές, επομένως η αναγνώριση αντικειμένων γίνεται με παραδοσιακές ταξινομητές, αλλά επιπλέον έχουμε μια μηχανή λογισμικού που λειτουργεί για να βελτιώσει πραγματικά την ακρίβεια αυτού ΟΙΚΟΔΟΜΙΚΟ ΤΕΤΡΑΓΩΝΟ.
Επομένως, χρησιμοποιούμε λογισμικό που βασίζεται σε ML για να φιλτράρουμε τα ψευδώς θετικά στοιχεία, καθώς το υλικό μπορεί να εντοπίσει περισσότερα πράγματα ως πρόσωπα στη σκηνή και, στη συνέχεια, το λογισμικό ML είναι λέγοντας, "εντάξει αυτό είναι πρόσωπο" ή "αυτό δεν είναι πραγματικά πρόσωπο" και έτσι αυξάνει την ακρίβεια κατά μερικές ποσοστιαίες μονάδες τρέχοντας αυτό το φίλτρο ML πάνω από το σκεύη, εξαρτήματα.
Ανέφερα πολλά πράγματα για το μέλλον. Στο μέλλον, αυτό που σκοπεύουμε να κάνουμε επίσης είναι να εκτελέσουμε την ίδια την ανίχνευση προσώπου σε ML ή σε λειτουργία βαθιάς εκμάθησης σε λογισμικό. Ειδικά, αυτό θα ισχύει στις χαμηλότερες βαθμίδες, έτσι για παράδειγμα σε μια βαθμίδα όπου δεν έχουμε τη μηχανή υλικού EVA, θα αρχίσουμε σταδιακά στη βαθιά εκμάθηση ως ανίχνευση, η οποία λειτουργεί στον κινητήρα AI του τσιπ και στη συνέχεια, στα ανώτερα επίπεδα στα επίπεδα 700-800 έχουμε το υλικό EVA για να το κάνουμε αυτό...
Θα πω γενικά ωστόσο, ότι θα κινηθούμε περισσότερο προς τις προσεγγίσεις ML για να κάνουμε ανίχνευση προσώπου και αυτό θα περιλαμβάνει τόσο λογισμικό μεσοπρόθεσμα όσο και υλικό σε μεταγενέστερο χρονικό διάστημα. Δεν πρόκειται να αποκαλύψω ποια προϊόντα θα το έχουν, αλλά φυσικά καθώς προχωράμε προς τη βελτίωση του ISP, θα προσθέτουμε όλο και περισσότερες δυνατότητες υλικού για να κάνουμε ML, σίγουρα.
Μισάαλ Ραχμάν: Φοβερό. Λοιπόν, νομίζω ότι είναι δεδομένο ότι η κατεύθυνση που ακολουθείτε φέρνει τις βελτιώσεις μηχανικής εκμάθησης της σειράς 800 στην κατώτερη βαθμίδα, οπότε νομίζω ότι είναι γενικά δεδομένο. Αλλά φυσικά, δεν μπορείτε να μας δώσετε λεπτομέρειες για αυτό. Σας ευχαριστούμε για την ενημέρωση.
Τζαντ Χιπ: Η ανίχνευση προσώπου είναι κάτι με το οποίο είμαστε πολύ παθιασμένοι. Θέλουμε να βελτιώσουμε αυτές τις ακρίβειες, γνωρίζετε από γενιά σε γενιά σε όλες τις βαθμίδες, από τη βαθμίδα 800 έως τη βαθμίδα 400. Η ML είναι ένα μεγάλο μέρος αυτού.
Ανάλυση και πλαίσιο: Αυτές οι πτυχές είναι που δίνουν στη φωτογραφία smartphone τόσο περισσότερες δυνατότητες ακόμα και στις πιο πρόσφατες κάμερες χωρίς καθρέφτη. Ναι, οι κάμερες χωρίς καθρέφτη έχουν καλύτερη ποιότητα εικόνας σε χαμηλό φωτισμό και είναι πολύ πιο ευέλικτες, αλλά οι κάμερες smartphone ξεπερνούν τους περιορισμούς τους με έξυπνους τρόπους. Η ανίχνευση προσώπου που βασίζεται σε ML είναι μόνο ένα μέρος αυτού.
Βελτιώσεις στη μηχανή επεξεργασίας εικόνας
Μισάαλ Ραχμάν: Φοβερό. Έτσι, ένα από τα πράγματα που άκουσα εν συντομία κατά τη διάρκεια των συζητήσεων στρογγυλής τραπέζης μετά το Snapdragon Tech Summit ήταν μια βελτίωση στη μηχανή επεξεργασίας εικόνας. Άκουσα ότι έχει βελτιωθεί η μείωση θορύβου χαμηλής μέσης συχνότητας ή το LEANR. Και ότι εφαρμόζετε έναν δυναμικό χάρτη αντίστροφης απολαβής. είναι κάτι που αναφέρατε νωρίτερα στη συζήτηση.
Τζαντ Χιπ: Εντάξει. Οπότε νομίζω ότι συνδυάζεις δύο πράγματα. Ναι, υπάρχει λοιπόν ο πυρήνας LEANR, ο οποίος είναι ο πυρήνας που λειτουργεί με τη μείωση του θορύβου σε πιο χονδροειδείς κόκκους, που βοηθάει σε χαμηλό φωτισμό. Αυτό είναι ένα νέο μπλοκ που προστέθηκε στον Snapdragon 865 στον ISP, και αυτό είναι ένα πράγμα.
Ο χάρτης αντίστροφης απολαβής είναι το κάτι άλλο. Αυτό είναι κάτι άλλο που ανέφερα στα στρογγυλά τραπέζια, αλλά αυτό είναι για να αντιστρέψουμε τα αποτελέσματα της σκίασης των φακών. Έτσι όπως γνωρίζετε, εάν έχετε ένα ακουστικό και έχει ένα μικρό φακό? Το κέντρο του φακού θα είναι φωτεινό και οι άκρες θα είναι πιο βινιετισμένες. που σημαίνει ότι θα είναι πιο σκούρα.
Και έτσι τα προηγούμενα χρόνια στον ISP, αυτό που είχαμε ήταν ότι εφαρμόσαμε έναν στατικό χάρτη αντίστροφης απολαβής για να απαλλαγούμε από αυτές τις σκοτεινές άκρες. Και έτσι αυτό είναι στον ISP εδώ και αρκετό καιρό. Αυτό που προσθέσαμε στο Snapdragon 865 όμως, είναι η δυνατότητα αυτού του χάρτη κέρδους να αλλάζει δυναμικά, δεδομένου του συγκεκριμένου πλαισίου εικόνας, επειδή εάν εφαρμόσετε πολλά κέρδη στις άκρες αυτό που συμβαίνει είναι ότι οι άκρες μπορεί να κοπούν, ειδικά αν κοιτάζετε σκηνές με έντονο φως έξω, όπως ο μπλε ουρανός μπορεί να γίνει κάπως λευκός ή οι άκρες θα κόψουν λόγω πολλών κέρδος.
Έτσι στον Snapdragon 865, αυτός ο χάρτης αντίστροφης απολαβής δεν είναι στατικός. είναι δυναμικό. Επομένως, κοιτάμε την εικόνα και λέμε, "εντάξει, αυτά τα μέρη της εικόνας κόβονται και δεν θα έπρεπε" για να μπορέσουμε να κυλήσουμε εκτός του χάρτη απολαβής φυσικά, έτσι ώστε να μην έχετε φωτεινά κρόσσια ή εφέ φωτοστέφανου ή κάτι τέτοιο από τη διόρθωση του φακού σκίαση. Άρα αυτό διαφέρει από τη μείωση θορύβου και είναι δύο διαφορετικοί πυρήνες.
Φωτογράφηση χαμηλού φωτισμού και επιθετική μείωση θορύβου
Idrees Patel: Ένα πράγμα για το οποίο ήθελα να ρωτήσω ήταν η φωτογραφία σε χαμηλό φωτισμό. Όπως και τα τελευταία χρόνια, υπήρξαν πολλές νυχτερινές λειτουργίες [που έχουν εφαρμοστεί από OEM], αλλά ένα πράγμα που έχω παρατηρήσει είναι ότι πολλοί κατασκευαστές συσκευών επιδιώκουν επιθετική μείωση θορύβου, η οποία μειώνει τις λεπτομέρειες, σε σημείο που ακόμη και ο θόρυβος φωτεινότητας είναι αφαιρέθηκε.
Επομένως, η ερώτησή μου είναι ότι η Qualcomm συμβουλεύει τους κατασκευαστές συσκευών να μην το κάνουν αυτό και είναι κάτι που κάνουν οι αγωγοί επεξεργασίας τους ή είναι κάτι που επηρεάζεται από τον ISP στο SoC.
Τζαντ Χιπ: Πολλά από αυτά έχουν να κάνουν με τον συντονισμό, και αν δεν έχετε multi-frame, ή θα έλεγα ότι δεν είναι διαθέσιμος ένας πολύ καλός αισθητήρας εικόνας, με υψηλή ευαισθησία ή οπτικά με χαμηλούς αριθμούς f. Ένας τρόπος για να απαλλαγείτε από το θόρυβο ειδικά σε χαμηλό φωτισμό είναι να εφαρμόσετε περισσότερη μείωση θορύβου, αλλά αυτό που συμβαίνει όταν εφαρμόζετε περισσότερη μείωση θορύβου είναι ότι χάνετε λεπτομέρειες, με αποτέλεσμα οι αιχμηρές άκρες να γίνονται θολές. Τώρα, μπορείτε να απαλλαγείτε από αυτό εάν εφαρμόσετε αυτές τις τεχνικές πολλαπλών καρέ. Ή εάν εφαρμόζετε τεχνικές AI, οι οποίες μπορούν να καταλάβουν πού βρίσκονται οι άκρες των αντικειμένων και των προσώπων, και κάτι τέτοιο. Επομένως, η εφαρμογή απλώς μείωσης θορύβου ωμής βίας στη σημερινή εποχή δεν είναι πραγματικά ο τρόπος να το χειριστείτε γιατί καταλήγετε να χάσετε λεπτομέρειες.
Αυτό που θέλετε να κάνετε είναι να κάνετε τεχνικές πολλαπλών καρέ ή τεχνικές τεχνητής νοημοσύνης, ώστε να μπορείτε ακόμα να εφαρμόζετε θόρυβο μείωση σε περισσότερο σαν εσωτερικές περιοχές αντικειμένων, διατηρώντας παράλληλα ωραίες καθαρές άκρες ή διατηρώντας τις αιχμηρές άκρες επάνω αντικείμενα. Αυτό θα έλεγα λοιπόν: η χρήση είτε τεχνητής νοημοσύνης είτε πολλαπλών καρέ είναι ο τρόπος για τη μείωση του θορύβου και τη βελτίωση της εικόνας σε χαμηλό φωτισμό στο μέλλον.
Idrees Patel: Ναι, και αυτό ακριβώς ήθελα να ακούσω. [Είναι] επειδή αυτό είναι το κύριο πράγμα που διαχωρίζει τις εξαιρετικές κάμερες smartphone από τις κάμερες μεσαίας ή οικονομικής βαθμίδας.
Τζαντ Χιπ: Ναι.
Idrees Patel: Οι εξαιρετικές κάμερες smartphone γνωρίζουν πότε πρέπει να εφαρμόζουν μείωση θορύβου και πότε όχι.
Τζαντ Χιπ: Ακριβώς. Ναι, και όπως είπα, ο συντονισμός της κάμερας γίνεται πραγματικά από τους πελάτες μας ή τους OEM και ορισμένοι OEM προτιμούν μια πιο απαλή εικόνα με λιγότερο θόρυβο. Κάποιοι προτιμούν να αποκαλύπτουν περισσότερες λεπτομέρειες με ίσως λίγο περισσότερο θόρυβο.
Και έτσι είναι μια ανταλλαγή και έτσι έχετε περιορισμούς. Και είναι σαν να είπα ότι το καλύτερο που πρέπει να κάνετε, είναι να αποκτήσετε έναν καλύτερο αισθητήρα εικόνας με υψηλότερη ευαισθησία, μεγαλύτερα εικονοστοιχεία ή οπτικά με χαμηλότερο αριθμό f, γιατί τότε αποκτάτε περισσότερο φως από την αρχή, αυτό είναι πάντα καλύτερα. Αλλά αν δεν μπορείτε να το κάνετε αυτό, τότε αντί να αυξήσετε απλώς τη μείωση του θορύβου και να χάσετε λεπτομέρειες, αυτό που θέλετε να κάνετε είναι να χρησιμοποιήσετε τεχνικές πολλαπλών καρέ ή τεχνητής νοημοσύνης.
Ανάλυση και πλαίσιο: Αυτό, κατά τη γνώμη μου, είναι αυτή τη στιγμή το μεγαλύτερο πρόβλημα με τις κάμερες smartphone. Ναι, μπορείτε να χρησιμοποιήσετε έναν αισθητήρα 48MP ή 64MP ή ακόμα και έναν αισθητήρα 108MP. Ωστόσο, εάν δεν επιλέξετε τη χρήση περιορισμένης μείωσης θορύβου με τεχνικές MFNR ή AI, όλα αυτά τα megapixel, το binning 4-σε-1, ακόμη και το binning 9-in-1, δεν είναι πολύ χρήσιμα. Το Galaxy S20 Ultra είναι το κύριο παράδειγμα εδώ, ως κύρια κάμερα 108MP θεωρήθηκε σε μεγάλο βαθμό ως απογοήτευση. Η Samsung έκανε πίσω στην επεξεργασία εικόνας χρησιμοποιώντας εξαιρετικά επιθετική μείωση θορύβου στις νυχτερινές λειτουργίες της στις ναυαρχίδες του 2020, ενώ η σειρά Galaxy S10 του 2019 είχε ειρωνικά καλύτερη ποιότητα εικόνας.
Ο Judd αποκαλύπτει ότι ορισμένοι OEM στην πραγματικότητα προτιμούν μια πιο απαλή εικόνα με λιγότερο θόρυβο, κάτι που είναι βασικά η λάθος επιλογή. Ο συντονισμός γίνεται από κατασκευαστές συσκευών και ως εκ τούτου, δύο τηλέφωνα που χρησιμοποιούν τον ίδιο αισθητήρα και τροφοδοτούνται από το ίδιο SoC μπορούν να παράγουν πολύ, πολύ διαφορετικές φωτογραφίες. Πρέπει να ελπίζουμε ότι αυτοί οι κατασκευαστές συσκευών θα μάθουν την αλήθεια από τους ανταγωνιστές τους με καλύτερες επιδόσεις. Ενώ η Samsung έχασε τον δρόμο της στην επεξεργασία εικόνας φέτος, το OnePlus ήταν μια έντονη αντίθεση. Το OnePlus 8 Pro είναι μια από τις καλύτερες κάμερες smartphone στην αγορά, κάτι που αποτελεί αξιοσημείωτο επίτευγμα λαμβάνοντας υπόψη την πολύ κακή απόδοση της κάμερας του OnePlus 5T το 2017. Η νοοτροπία επεξεργασίας εικόνας πρέπει να αλλάξει για να βγαίνουν ευκρινείς οι φωτογραφίες, ανεξάρτητα από το πόσο μαίνονται οι πόλεμοι των megapixel.
Αποκωδικοποίηση και κωδικοποίηση AV1
Μισάαλ Ραχμάν: Επομένως, αυτό είναι κάπως διαφορετικό από τις άλλες συζητήσεις που κάνουμε για την ποιότητα της κάμερας. Ένα από τα πράγματα που μερικοί άνθρωποι στην κοινότητα κωδικοποιητών πολυμέσων ανοιχτού κώδικα αναρωτιούνται είναι πότε θα υποστηρίξει η Qualcomm Αποκωδικοποίηση AV1 και πιθανώς κωδικοποίηση. Ξέρω ότι είναι λίγο δύσκολο, αλλά η Google απαιτεί τηλεοράσεις 4K HDR και 8K στο Android 10 για να υποστηρίζουν την αποκωδικοποίηση AV1 και το Netflix, YouTube, ξεκινούν την κυκλοφορία των βίντεο που κωδικοποιούνται σε AV1. Έτσι, μοιάζει με μια αργή αύξηση των βίντεο με κωδικοποίηση AV1. Οπότε αναρωτιόμαστε πότε τουλάχιστον η υποστήριξη αποκωδικοποίησης θα είναι διαθέσιμη στο Spectra.
Η δήλωση της Qualcomm: Σύμφωνα με την ερώτησή σας στο AV1 - δεν έχουμε τίποτα να ανακοινώσουμε σήμερα. Ωστόσο, το Snapdragon είναι επί του παρόντος ικανό για αναπαραγωγή AV1 μέσω λογισμικού. Η Qualcomm εργάζεται πάντα με συνεργάτες για κωδικοποιητές επόμενης γενιάς μέσω κατασκευής λογισμικού και υλικού Snapdragon ο ηγέτης στους κωδικοποιητές HDR, συμπεριλαμβανομένης της λήψης και της αναπαραγωγής σε HEIF, HLG, HDR10, HDR10+ και Dolby Οραμα. Φυσικά, συνειδητοποιούμε ότι προσφέρουμε τις καλύτερες εμπειρίες CODEC στους πελάτες μας, συμπεριλαμβανομένης της υποστήριξης υψηλής ανάλυσης και χαμηλότερης ισχύος, ότι η εφαρμογή αυτών στο HW είναι επιθυμητή.
Εγγραφή βίντεο - αντιστάθμιση κίνησης
Μισάαλ Ραχμάν: Δεν ξέρω λοιπόν αν ο Idrees έχει άλλες ερωτήσεις, αλλά είχα μια ερώτηση σχετικά με κάτι που διάβασα στο Snapdragon Tech Summit. Πρόκειται για τον πυρήνα βίντεο με αντιστάθμιση κίνησης. Άκουσα ότι υπάρχουν βελτιώσεις στον κινητήρα αντιστάθμισης κίνησης, για μείωση του θορύβου κατά την εγγραφή βίντεο. Αναρωτιόμουν αν μπορείτε να επεκτείνετε τι ακριβώς έχει βελτιωθεί και τι έχει γίνει.
Τζαντ Χιπ: Η μηχανή EVA (Engine for Video Analytics) έχει βελτιωθεί με έναν πιο πυκνό πυρήνα χάρτη κίνησης, έτσι ώστε το EVA ο κινητήρας, ξέρεις, για παράδειγμα κοιτάζει πάντα το εισερχόμενο βίντεο και έχει έναν πυρήνα εκεί που κάνει κίνηση εκτίμηση. Αυτό που κάναμε είναι ότι κάναμε αυτόν τον πυρήνα πολύ πιο ακριβή όταν το κάνει σχεδόν σε επίπεδο ανά εικονοστοιχείο παρά σαν κάτι περισσότερο χοντρό επίπεδο μπλοκ και έτσι παίρνουμε πολύ περισσότερα διανύσματα κίνησης από τον κινητήρα EVA στον Snapdragon 865 από ό, τι στο προηγούμενο γενιές. Και αυτό σημαίνει ότι ο πυρήνας βίντεο που κάνει κωδικοποίηση μπορεί να χρησιμοποιήσει αυτά τα διανύσματα κίνησης για να είναι περισσότερα ακριβής σχετικά με την κωδικοποίηση, αλλά ο ISP στην πλευρά της κάμερας χρησιμοποιεί επίσης αυτές τις πληροφορίες για θόρυβο μείωση.
Έτσι, όπως γνωρίζετε, για γενιές έχουμε αντιστάθμιση κίνησης χρονικού φιλτραρίσματος, το οποίο είναι στην πραγματικότητα η ενεργή μείωση θορύβου κατά τη διάρκεια του βίντεο, το οποίο υπολογίζει τους μέσους όρους καρέ με την πάροδο του χρόνου για να απαλλαγούμε από το θόρυβο.
Το πρόβλημα με αυτή την τεχνική, όμως, είναι αν έχετε κίνηση στη σκηνή. Η κίνηση καταλήγει απλώς να απορρίπτεται από τη μείωση του θορύβου επειδή δεν μπορεί να χειριστεί ή λερώνεται, και λαμβάνετε αυτά τα άσχημα μονοπάτια και τεχνουργήματα στα κινούμενα πράγματα. Έτσι, το χρονικό φιλτράρισμα με αντιστάθμιση κίνησης, αυτό που κάναμε στο παρελθόν αφού δεν είχαμε αυτόν τον πυκνό χάρτη κίνησης για τοπικό κίνηση, έχουμε - απλά χειριζόμαστε μόνο περιπτώσεις όταν μετακινείτε την κάμερα, είναι αρκετά εύκολο γιατί όλα κινούνται σε παγκόσμιο επίπεδο.
Αλλά αν τραβάτε κάτι και έχετε ένα αντικείμενο που κινείται ΜΕΣΑ στη σκηνή, αυτό που κάναμε πριν [ήταν αυτό] απλώς αγνοήσαμε αυτά τα pixel επειδή δεν μπορούσαμε να τα επεξεργαστούμε για θόρυβο, επειδή ήταν τοπικά κινούμενο αντικείμενο. Και επομένως, αν υπολογίσετε τον μέσο όρο καρέ-καρέ, το αντικείμενο βρισκόταν σε διαφορετική θέση κάθε καρέ, επομένως δεν θα μπορούσατε πραγματικά να το επεξεργαστείτε.
Αλλά στον Snapdragon 865, επειδή έχουμε τον πιο πυκνό χάρτη κίνησης και έχουμε τη δυνατότητα να δούμε τα διανύσματα κίνησης σχεδόν σε ένα pixel με βάση τα εικονοστοιχεία, είμαστε πραγματικά σε θέση να επεξεργαστούμε αυτά τα εικονοστοιχεία που μετακινούνται τοπικά καρέ προς καρέ για μείωση θορύβου, ενώ πριν δεν μπορούσαμε. Νομίζω ότι ανέφερα μια μέτρηση στην ομιλία. Δεν θυμάμαι τον αριθμό (ήταν 40%) αλλά ήταν ένα μεγάλο ποσοστό εικονοστοιχείων κατά μέσο όρο για τα περισσότερα βίντεο που τώρα μπορούν να υποβληθούν σε επεξεργασία για θόρυβο, ενώ στην προηγούμενη γενιά δεν μπορούσαν να γίνουν. Και αυτό οφείλεται πραγματικά εν μέρει στην ικανότητα κατανόησης της τοπικής κίνησης και όχι μόνο της παγκόσμιας κίνησης.
Εγγραφή βίντεο - HDR
Idrees Patel: Μια άλλη ερώτηση που έχω είναι σχετικά με το βίντεο HDR. Φέτος, βλέπω πολλούς άλλους κατασκευαστές συσκευών να προσφέρουν εγγραφή βίντεο HDR10. Έτσι είναι κάτι που προωθήθηκε με τον Snapdragon 865 ή υπάρχει εδώ και μερικές γενιές.
Τζαντ Χιπ: Ω ναι, έτσι όπως το συζητήσαμε στο Tech Summit, είχαμε το HDR10, το οποίο είναι το πρότυπο βίντεο για HDR στο την πλευρά κωδικοποίησης της κάμερας εδώ και μερικές γενιές, από το Snapdragon 845, πιστεύω, και βελτιωνόμαστε συνεχώς ότι.
Έτσι, πέρυσι, μιλήσαμε για το HDR10+, το οποίο είναι εγγραφή 10-bit HDR, αλλά αντί για στατικά μεταδεδομένα έχει δυναμικά μεταδεδομένα, επομένως τα μεταδεδομένα που καταγράφονται από την κάμερα κατά τη διάρκεια της σκηνής καταγράφεται πραγματικά σε πραγματικό χρόνο, έτσι ώστε όταν την αναπαράγετε, η μηχανή αναπαραγωγής καταλαβαίνει αν ήταν σκοτεινό δωμάτιο ή φωτεινό δωμάτιο και μπορεί να αντισταθμίσει ότι.
Επίσης, πέρυσι στο Tech Summit μιλήσαμε για τη λήψη Dolby Vision, η οποία είναι η εναλλακτική του Dolby στο HDR10+. Είναι πολύ παρόμοιο όταν παράγουν πραγματικά τα δυναμικά μεταδεδομένα επίσης. Έτσι, το Snapdragon σήμερα μπορεί να υποστηρίξει και τις τρεις αυτές μορφές: HDR10, HDR10+ και λήψη Dolby Vision. Και έτσι δεν υπάρχει πραγματικά κανένας περιορισμός, οι OEM μας μπορούν να επιλέξουν όποια μέθοδο προτιμούν. Έχουμε πελάτες που χρησιμοποιούν HDR10 εδώ και λίγο καιρό και έχουμε πέρυσι και φέτος όλο και περισσότεροι πελάτες που παραλαμβάνουν HDR10+. Και νομίζω ότι στο μέλλον, θα δείτε κάποια υιοθέτηση του Dolby Vision Capture επίσης.
Λοιπόν, ναι, το προωθήσαμε έντονα. Το HDR είναι πολύ σημαντικό για εμάς, τόσο από την πλευρά του στιγμιότυπου όσο και από την πλευρά του βίντεο. Και όπως είπα, έχουμε δεσμευτεί στις μορφές HDR10 και HDR10+ και τώρα Dolby Vision, ξέρετε από το Snapdragon 845 και τώρα ακόμη και πρόσφατα το Snapdragon 865 για Dolby Vision.
Μισάαλ Ραχμάν: Επίσης, στην πραγματικότητα δεν ήμουν σίγουρος αν κάποιος προμηθευτής εφάρμοσε ακόμη την εγγραφή Dolby Vision, αλλά υποθέτω ότι αυτό απαντά σε αυτήν την ερώτηση. [Αυτό είναι] κάτι που θα δούμε στο μέλλον.
Τζαντ Χιπ: Φυσικά - δεν μπορώ να σχολιάσω ποιοι πωλητές ενδιαφέρονται και κάτι τέτοιο. Αυτό θα ήταν μια ερώτηση για τον Dolby. είναι το χαρακτηριστικό τους και επομένως αν θέλετε περισσότερες πληροφορίες σχετικά με αυτό, θα πρότεινα να επικοινωνήσετε με την Dolby. Αλλά μέχρι σήμερα, από όσο γνωρίζω, δεν υπάρχει συσκευή που να έχει κυκλοφορήσει ακόμη με Dolby Vision Capture.
Idrees Patel: Επειδή χρειάζεστε και υποστήριξη οθόνης. Έχω παρατηρήσει ότι οι οθόνες smartphone υποστηρίζουν HDR10 και HDR10+ αλλά όχι Dolby Vision.
Τζαντ Χιπ: Ναι, στην πραγματικότητα, αλλά η αναπαραγωγή Dolby Vision έχει υποστηριχθεί στο Snapdragon στο παρελθόν. Μπορεί να λειτουργήσει με μια δεδομένη οθόνη και η οθόνη δεν χρειάζεται απαραίτητα να πληροί συγκεκριμένα κριτήρια για να είναι συμβατή με Dolby Vision εκτός από το ότι Το Dolby θα βαθμολογήσει την οθόνη και θα βεβαιωθεί ότι έχει μια συγκεκριμένη χρωματική γκάμα, γάμμα, ένα συγκεκριμένο βάθος bit, μια συγκεκριμένη φωτεινότητα και μια συγκεκριμένη αντίθεση αναλογία.
Έτσι, ξέρετε, μπορείτε να αγοράσετε μια οθόνη HDR10, αλλά μπορείτε επίσης να αγοράσετε μια συσκευή που υποστηρίζει Dolby Vision αναπαραγωγή, αλλά η Doby θα έχει πιστοποιήσει αυτήν την οθόνη για να βεβαιωθεί ότι συμμορφώνεται με τις αυστηρές τους απαιτήσεις απαιτήσεις.
Συνεργασία με προμηθευτές λογισμικού: Imint, Morpho και Arcsoft
Μισάαλ Ραχμάν: Υποθέτω ότι μόνο μια ερώτηση για μένα να συνεχίσω, για να κάνω περισσότερη έρευνα είναι μια εταιρεία με την οποία μιλήσαμε πρόσφατα είναι Imint. Πρόσφατα αναβάθμισαν το δικό τους Λογισμικό Vidhance Stabilization προς την εργαστείτε με το Spectra 480. Ξέρω ότι συνεργάζεστε με πολλές εταιρείες που εκμεταλλεύονται επίσης το Spectra 480, την επεξεργασία. Αναρωτιέμαι αν μπορείτε να αποκαλύψετε περισσότερα παραδείγματα αυτών των τεχνολογιών που έχουν - ή τους συνεργάτες που έχετε δουλέψαμε, ακριβώς έτσι είναι] κάτι στο οποίο θα μπορούσαμε να συνεχίσουμε, να μάθουμε περισσότερα για το πώς χρησιμοποιείται το Spectra 480 στο πεδίο.
Τζαντ Χιπ: Συνεργαζόμαστε με πολλούς προμηθευτές λογισμικού. Όπως και όσα αναφέραμε στο παρελθόν, έτσι και το Dolby είναι ένα από αυτά. Υπάρχουν και άλλα όπως αναφέρατε, το Imint/Vidhance για EIS (Ηλεκτρονική Σταθεροποίηση Εικόνας). Αναφέραμε επίσης τη Morpho και την Arcsoft πριν, συνεργαζόμαστε επίσης πολύ στενά μαζί τους.
Ωστόσο, όσον αφορά τον τρόπο με τον οποίο συνεργαζόμαστε μαζί τους, η πολιτική μας είναι ότι θέλουμε πραγματικά να συνεργαστούμε πολύ στενά με αυτούς τους ανεξάρτητους προμηθευτές λογισμικού και να κάνουμε σίγουροι ότι ό, τι κι αν κάνουν στο λογισμικό, ότι μπορούν να αξιοποιήσουν το υλικό στο Snapdragon για να έχουν τη χαμηλότερη κατανάλωση ενέργειας δυνατόν.
Έτσι, ένα από τα πράγματα που κάνουμε με αυτούς τους προμηθευτές είναι ότι διασφαλίζουμε ότι έχουν πραγματικά καλή πρόσβαση στον κινητήρα HVX ή στον πυρήνα Hexagon DSP. Χρησιμοποιούν επίσης τη μηχανή EVA για να λάβουν διανύσματα κίνησης και να χρησιμοποιήσουν το υλικό και στη μηχανή EVA για χειρισμό εικόνας, έτσι ώστε μπορούν να εκτελούν μετακίνηση εικόνας, μετάφραση και αποστρέβλωση και τέτοια πράγματα σε ένα υλικό αντί να χρησιμοποιούν τη GPU για να κάνουν ότι.
Και έτσι, συνεργαζόμαστε πραγματικά στενά με αυτά τα ISV, ειδικά με αυτά που ανέφερα συγκεκριμένα, για να βεβαιωθούμε ότι δεν βάζουν μόνο τα πάντα και λογισμικό στην CPU, αλλά χρησιμοποιούν πράγματα όπως το DSP και επιταχυντές υλικού στο EVA για καλύτερη απόδοση και χαμηλότερη ισχύ κατανάλωση. Επομένως, αυτό είναι πολύ σημαντικό και για εμάς, διότι παρέχει στους πελάτες μας τον καλύτερο δυνατό συνδυασμό χαρακτηριστικών και κατανάλωσης ενέργειας.
[Κλείσιμο σχολίων από τον Judd]: Ήθελα απλώς να πω, ευχαριστώ παιδιά για όλες τις πολύ καλές ερωτήσεις. Είναι πραγματικά, πολύ λεπτομερείς. Είμαι στην Qualcomm για περίπου τρία χρόνια τώρα και κοιτάζω το παρελθόν μας, ακόμη και πέρα από τη θητεία μου εδώ, όπου ξεκινήσαμε στο Spectra πριν Snapdragon 845, δουλέψαμε πολύ σκληρά για να βελτιώσουμε δραματικά τον ISP και την κάμερα και μόνο τη συνολική εμπειρία τα τελευταία χρόνια χρόνια. Είμαι πραγματικά ενθουσιασμένος ακόμα και με το τι φέρνει το μέλλον. Και είμαι ενθουσιασμένος για το τι θα ανακοινώσουμε σε μελλοντικές Tech Summits για τις οποίες μπορείτε να ρωτήσετε και να γράψετε. Η [Spectra Camera], πιθανώς, κατά τη γνώμη μου, είναι μια από τις πιο συναρπαστικές τεχνολογίες της Qualcomm.
Τελικές σκέψεις
Ήταν υπέροχο να συζητήσουμε με τον Judd σχετικά με τη συμβολή της Qualcomm στη φωτογραφία smartphone. Μπορεί να έχουμε ανάμεικτα συναισθήματα για την εταιρεία και το σύστημα αδειοδότησης διπλωμάτων ευρεσιτεχνίας, αλλά το σημάδι της Qualcomm στη βιομηχανία των smartphone γίνεται αισθητό από όλους, είτε μιλάτε για πατέντες, 4G και 5G, Wi-Fi, οι GPU Adreno, οι Spectra ISP και τα ίδια τα τσιπ Snapdragon, τα οποία θεωρούνται σε μεγάλο βαθμό ως το χρυσό πρότυπο στο smartphone Android αγορά.
Υπάρχουν ακόμα πολλά σημεία πόνου που πρέπει να επιλυθούν στη φωτογραφία smartphone, αλλά το μέλλον είναι φωτεινό καθώς η Qualcomm υπόσχεται ότι για να κάνει περισσότερες προόδους στα τεράστια, αναπτυσσόμενα πεδία της ML, η οποία εξουσιοδοτεί ΟΛΑ ΣΥΜΠΕΡΙΛΑΜΒΑΝΟΝΤΑΙ. Ας δούμε τι έχει να ανακοινώσει η Qualcomm σε αυτόν τον τομέα στο επόμενο Snapdragon Tech Summit.