Η Sony ανακοίνωσε τους πρώτους αισθητήρες εικόνας κάμερας στον κόσμο με εξοπλισμένη επεξεργασία AI με τη μορφή IMX500 και IMX501.
Η Sony είναι ο μεγαλύτερος παίκτης όσον αφορά την παροχή αισθητήρων εικόνας κάμερας για smartphone. Παραδείγματα δημοφιλών αισθητήρων περιλαμβάνουν τον 48MP IMX586, ο οποίος χρησιμοποιήθηκε από μια εκπληκτική ποικιλία τηλεφώνων που κυμαίνονταν σε διάφορα εύρη τιμών το 2019. ο IMX586 διαδέχθηκε το 64MP IMX686. Η εταιρεία δεν ασχολείται μόνο με τους αισθητήρες εικόνας smartphone, φυσικά. Διαθέτει μια εξαιρετικά επιτυχημένη σειρά από premium κάμερες χωρίς καθρέφτη που συχνά θεωρούνται ως το χρυσό πρότυπο. Ο αδυσώπητος ρυθμός καινοτομίας της δεν δείχνει σημάδια εγκατάλειψης, καθώς ανακοίνωσε τώρα την επερχόμενη κυκλοφορία των πρώτων αισθητήρων εικόνας με επεξεργασία AI, του IMX500 και του IMX501 αντίστοιχα.
Οι Sony IMX500 και IMX501 είναι δύο επερχόμενα μοντέλα έξυπνων αισθητήρων όρασης. Η Sony ισχυρίζεται ότι είναι οι πρώτοι αισθητήρες εικόνας στον κόσμο που είναι εξοπλισμένοι με λειτουργία επεξεργασίας AI. Η εταιρεία λέει ότι η συμπερίληψη της λειτουργικότητας επεξεργασίας AI στον ίδιο τον αισθητήρα εικόνας επιτρέπει την υψηλής ταχύτητας επεξεργασία τεχνητής νοημοσύνης και εξαγωγή μόνο των απαραίτητων δεδομένων. Αυτό μειώνει τον λανθάνοντα χρόνο μετάδοσης δεδομένων, αντιμετωπίζει προβλήματα απορρήτου και μειώνει την κατανάλωση ενέργειας και το κόστος επικοινωνίας σε σύγκριση με τη χρήση υπηρεσιών cloud.
Είναι σημαντικό να σημειωθεί ότι αυτοί οι δύο αισθητήρες δεν προορίζονται για κάμερες τηλεφώνου. Αντίθετα, οι εφαρμογές είναι στη βιομηχανία λιανικού εμπορίου και βιομηχανικού εξοπλισμού, καθώς επίσης συμβάλλουν στη δημιουργία «βέλτιστων συστημάτων» που συνδέονται με το cloud.
Γιατί η επεξεργασία AI έχει ενσωματωθεί στον ίδιο τον αισθητήρα; Η Sony εξηγεί ότι η εξάπλωση του IoT είχε ως αποτέλεσμα να συνδέονται όλοι οι τύποι συσκευών στο cloud, το οποίο κάνει συστήματα επεξεργασίας πληροφοριών συνηθισμένα, όπου οι πληροφορίες που λαμβάνονται από τέτοιες συσκευές υποβάλλονται σε επεξεργασία μέσω τεχνητής νοημοσύνης στο σύννεφο. Το πρόβλημα που σχετίζεται με μια τέτοια προσέγγιση είναι η αυξημένη καθυστέρηση μετάδοσης δεδομένων που εμποδίζει την επεξεργασία πληροφοριών σε πραγματικό χρόνο. ανησυχίες για την ασφάλεια από χρήστες που σχετίζονται με την αποθήκευση δεδομένων προσωπικής ταυτοποίησης στο cloud· και άλλα ζητήματα, όπως η αυξημένη κατανάλωση ενέργειας και το κόστος επικοινωνίας που συνοδεύουν τις υπηρεσίες cloud.
Το IMX500 και το IMX501 διαθέτουν μια στοιβαγμένη διαμόρφωση, η οποία αποτελείται από ένα τσιπ pixel και ένα λογικό τσιπ. Η λειτουργία ανάλυσης και επεξεργασίας εικόνας AI είναι εξοπλισμένη στο λογικό τσιπ. Το σήμα που αποκτάται από το τσιπ pixel επεξεργάζεται μέσω AI στον αισθητήρα, γεγονός που εξαλείφει την ανάγκη για επεξεργαστές υψηλής απόδοσης ή εξωτερική μνήμη. Αυτό, με τη σειρά του, επιτρέπει την ανάπτυξη συστημάτων Edge AI.
Ο αισθητήρας εξάγει μεταδεδομένα αντί για πληροφορίες εικόνας, γεγονός που έχει ως αποτέλεσμα μειωμένο όγκο δεδομένων και αντιμετωπίζει προβλήματα απορρήτου. Η δυνατότητα τεχνητής νοημοσύνης καθιστά εφικτές εφαρμογές όπως η παρακολούθηση αντικειμένων σε πραγματικό χρόνο με επεξεργασία τεχνητής νοημοσύνης υψηλής ταχύτητας. Διαφορετικά μοντέλα τεχνητής νοημοσύνης μπορούν να επιλεγούν επαναγράφοντας την εσωτερική μνήμη σύμφωνα με τις απαιτήσεις του χρήστη ή τις συνθήκες της τοποθεσίας όπου χρησιμοποιείται το σύστημα.
Το τσιπ pixel αυτών των αισθητήρων έχει BSI και έχει περίπου 12,3 αποτελεσματικά MP για τη λήψη πληροφοριών. Η οπτική μορφή είναι 1/2,3" (διαγώνιος 7,857 mm) με μέγεθος pixel 1,55 μικρομέτρων. Έχουν μια σειρά χρωμάτων φίλτρων Bayer. Οι αισθητήρες είναι ικανοί για εγγραφή βίντεο 4K στα 60 fps χωρίς επεξεργασία AI και 4K στα 30 fps με επεξεργασία AI. Το τοπικό τσιπ εξοπλίζει επίσης το αρχικό DSP της Sony εκτός από το συμβατικό κύκλωμα λειτουργίας αισθητήρα εικόνας. Το DSP είναι αφιερωμένο στην επεξεργασία σήματος AI καθώς και στη μνήμη για το μοντέλο AI. Με αυτό, δεν χρειάζονται επεξεργαστές υψηλής απόδοσης και εξωτερική μνήμη, ωφελώντας έτσι τα συστήματα τεχνητής νοημοσύνης αιχμής.
Η ροή εργασίας των αισθητήρων εικόνας εξηγείται από τη Sony. Τα σήματα που λαμβάνονται από το τσιπ εικονοστοιχείων εκτελούνται μέσω ενός ISP και η επεξεργασία AI γίνεται στο στάδιο της διαδικασίας στο λογικό τσιπ, με τις εξαγόμενες πληροφορίες να εξάγονται με τη μορφή μεταδεδομένων, που μειώνει την ποσότητα των δεδομένων χειρίζεται. Οι πραγματικές πληροφορίες εικόνας δεν εξάγονται, κάτι που είναι ευεργετικό για την ασφάλεια και το απόρρητο. Οι χρήστες μπορούν να επιλέξουν τη μορφή εξόδου δεδομένων, συμπεριλαμβανομένων εικόνων μορφής ISP (YUV/RGB) και ROI (Περιοχή ενδιαφέροντος) εικόνων εξαγωγής συγκεκριμένης περιοχής.
Η Sony προωθεί επίσης την ταχύτητα. Λέει ότι όταν ένα βίντεο εγγράφεται χρησιμοποιώντας έναν συμβατικό αισθητήρα εικόνας, είναι απαραίτητο να αποστέλλονται δεδομένα για κάθε άτομο πλαίσιο εξόδου για επεξεργασία τεχνητής νοημοσύνης, που έχει ως αποτέλεσμα αυξημένη μετάδοση δεδομένων και καθιστά δύσκολη την επίτευξη σε πραγματικό χρόνο εκτέλεση. Οι νέοι αισθητήρες IMX, από την άλλη πλευρά, εκτελούν επεξεργασία ISP και επεξεργασία AI υψηλής ταχύτητας (3,1 ms επεξεργασία για το MobileNet V1*2) στο λογικό τσιπ, ολοκληρώνοντας έτσι ολόκληρη τη διαδικασία σε ένα μόνο βίντεο πλαίσιο. Αυτό, με τη σειρά του, καθιστά δυνατή την παροχή «υψηλής ακρίβειας παρακολούθησης αντικειμένων σε πραγματικό χρόνο κατά την εγγραφή βίντεο», σύμφωνα με τη Sony.
Τέλος, οι χρήστες μπορούν να γράψουν τα μοντέλα AI της επιλογής τους στην ενσωματωμένη μνήμη και να την ενημερώσουν σύμφωνα με τις απαιτήσεις της ή τις συνθήκες της τοποθεσίας όπου χρησιμοποιείται το σύστημα. Η Sony δίνει ένα παράδειγμα όπου πολλές κάμερες που χρησιμοποιούν αυτό το προϊόν είναι εγκατεστημένες σε μια τοποθεσία λιανικής, και ένας μόνο τύπος κάμερας μπορεί να χρησιμοποιηθεί με ευελιξία σε διαφορετικές τοποθεσίες, ώρες και σκοποί. Όταν η κάμερα είναι εγκατεστημένη στην είσοδο της εγκατάστασης, μπορεί να χρησιμοποιηθεί για να μετρήσει τον αριθμό των επισκεπτών που εισέρχονται στην εγκατάσταση. όταν εγκαθίσταται στο ράφι ενός καταστήματος, μπορεί να χρησιμοποιηθεί για τον εντοπισμό ελλείψεων αποθεμάτων. όταν βρίσκεται στην οροφή μπορεί να χρησιμοποιηθεί για τη χαρτογράφηση θερμότητας των επισκεπτών του καταστήματος, και ούτω καθεξής. Το μοντέλο AI σε μια δεδομένη κάμερα μπορεί να ξαναγραφτεί από μια που χρησιμοποιείται για την ανίχνευση χαρτών θερμότητας σε μια για τον προσδιορισμό της συμπεριφοράς των καταναλωτών.
Όπως ακούγεται, η ανακοίνωση της επερχόμενης κυκλοφορίας των αισθητήρων εικόνας είναι πράγματι ένα αξιοσημείωτο επίτευγμα. Ωστόσο, έρχεται με τις δικές του συνέπειες για την επιτήρηση. Αυτήν τη στιγμή, οι αισθητήρες προορίζονται για λύσεις χαμηλής ισχύος, όπως κάμερες ασφαλείας. Οι κάμερες smartphone μπορεί να ενσωματώνουν αυτήν την τεχνολογία μερικά χρόνια αργότερα, αλλά δεν είναι στις κάρτες προς το παρόν λόγω περιορισμών, καθώς το ενσωματωμένο λογικό τσιπ δεν μπορεί να ταιριάξει με την ευελιξία που προσφέρουν οι σύγχρονοι ISP (όπως το Spectra ISP στα SoC Qualcomm Snapdragon). Αυτήν τη στιγμή, οι κάμερες smartphone λειτουργούν διαφορετικά, όπου ο αισθητήρας από μόνος του είναι σχετικά χαζός και λειτουργεί με έναν έξυπνο ISP που βρίσκεται ως μέρος του SoC του τηλεφώνου. Ο ISP κάνει όλη τη δουλειά της επεξεργασίας εικόνας, πράγμα που σημαίνει ότι ο πραγματικός ρόλος του ίδιου του αισθητήρα είναι αρκετά περιορισμένος στις σύγχρονες κάμερες smartphone (η επεξεργασία εικόνας είναι πιο σημαντική από το να έχετε εξαιρετικό υλικό κάμερας για εικόνα ποιότητα). Η υπολογιστική φωτογραφία είναι το νέο τσιτάτο, αλλά στον βιομηχανικό κόσμο, τα IMX500 και IMX501 προσπαθούν να φέρουν τη δόξα επεξεργασίας AI στους ίδιους τους αισθητήρες.
Τα IMX500 και IMX501 έχουν προγραμματιστεί να κυκλοφορήσουν σε προϊόντα το επόμενο έτος. Η Sony σχεδιάζει να κυκλοφορήσει δείγματα των προϊόντων τον Απρίλιο και τον Ιούνιο του 2020 αντίστοιχα. Για περισσότερες πληροφορίες σχετικά με τις προδιαγραφές τους, συνιστάται στους αναγνώστες να ανατρέξουν στον σύνδεσμο της πηγής.
Πηγή: Sony