Sony IMX378: Ολοκληρωμένη ανάλυση του αισθητήρα του Google Pixel και των δυνατοτήτων του

Επισκόπηση IMX378

Απευθυνθήκαμε στη Sony για να προσπαθήσουμε να μάθουμε περισσότερα για τον αισθητήρα IMX378 που χρησιμοποιείται από την επερχόμενη Google Εικονοκύτταρο και Pixel XL τηλέφωνα, καθώς και από το Xiaomi Mi 5S. Δυστυχώς, η Sony δεν μπόρεσε ακόμα να διανείμει το φύλλο δεδομένων για τον αισθητήρα Exmor RS IMX378, αλλά ήταν εξαιρετικά χρήσιμοι και μπόρεσαν να μας δώσουν κάποιες πληροφορίες που δεν είχαν κυκλοφορήσει προηγουμένως σχετικά με το IMX378.

Πρώτον, το ίδιο το όνομα ήταν λάθος. Παρά τις φήμες που έλεγαν ότι θα ήταν μέρος του Exmor R σειρά αισθητήρων CMOS Backside Illuminated (BSI) όπως ο IMX377 πριν από αυτόν που χρησιμοποιήθηκε στο Nexus 5X και Nexus 6P, η επαφή μας στη Sony μας ενημέρωσε ότι το IMX378 θα θεωρηθεί αντ' αυτού ως μέρος της Sony Exmor RS σειρά αισθητήρων Stacked BSI CMOS.

Ενώ πολλά πράγματα έχουν παραμείνει ίδια από το IMX377 έως το IMX378, συμπεριλαμβανομένου του μεγέθους pixel (1,55 μm) και του μεγέθους του αισθητήρα (7,81 mm), έχουν προστεθεί μερικά βασικά χαρακτηριστικά. Δηλαδή, τώρα είναι μια στοιβαγμένη σχεδίαση BSI CMOS, έχει PDAF, προσθέτει την τεχνολογία SME-HDR της Sony και έχει καλύτερη υποστήριξη για βίντεο υψηλής ταχύτητας καρέ (αργή κίνηση).

Στοιβαγμένο BSI CMOS

Ο φωτισμός της πίσω όψης από μόνος του είναι ένα εξαιρετικά χρήσιμο χαρακτηριστικό που έχει γίνει σχεδόν τυπικό στα flagship smartphones τα τελευταία χρόνια, ξεκινώντας από το HTC Evo 4G το 2010. Επιτρέπει στην κάμερα να συλλαμβάνει πολύ περισσότερο φως (με κόστος περισσότερο θόρυβο) μετακινώντας ένα μέρος η δομή που παραδοσιακά καθόταν μπροστά από τη φωτοδίοδο στους μπροστινούς φωτισμένους αισθητήρες, πίσω το.

Παραδόξως, σε αντίθεση με τις περισσότερες τεχνολογίες κάμερας, ο φωτισμός της πίσω πλευράς άρχισε αρχικά να εμφανίζεται στα τηλέφωνα πριν από τις DSLR, χάρη σε μεγάλο βαθμό λόγω των δυσκολιών με τη δημιουργία μεγαλύτερων αισθητήρων BSI. Ο πρώτος αισθητήρας BSI APS-C ήταν ο Samsung S5KVB2 που βρέθηκε στην κάμερα NX1 του 2014 και ο πρώτος αισθητήρας πλήρους καρέ ήταν ο Sony Exmor R IMX251 που βρέθηκε στο Sony α7R II από το προηγούμενο διάστημα έτος.

Η τεχνολογία Stacked BSI CMOS το κάνει ένα βήμα παραπέρα μετακινώντας μεγαλύτερο μέρος του κυκλώματος από το μπροστινό στρώμα στο υπόστρωμα στήριξης πίσω από τις φωτοδίοδοι. Αυτό όχι μόνο επιτρέπει στη Sony να μειώσει σημαντικά το μέγεθος του αισθητήρα εικόνας (επιτρέποντας μεγαλύτερους αισθητήρες στο ίδιο αποτύπωμα), αλλά επιτρέπει επίσης στη Sony να εκτυπώνει τα pixel και τα κυκλώματα ξεχωριστά (ακόμα και σε διαφορετικές διαδικασίες παραγωγής), μειώνοντας τον κίνδυνο ελαττωμάτων, βελτιώνοντας τις αποδόσεις και επιτρέποντας μεγαλύτερη εξειδίκευση μεταξύ των φωτοδιόδων και του στηρίγματος κύκλωμα.

PDAF

Το IMX378 προσθέτει το Phase Detection Autofocus, το οποίο τα τηλέφωνα Nexus του περασμένου έτους και το IMX377 δεν υποστήριζαν. Επιτρέπει στην κάμερα να χρησιμοποιεί αποτελεσματικά τις διαφορές στην ένταση του φωτός μεταξύ διαφορετικών σημείων στον αισθητήρα για την αναγνώριση εάν το αντικείμενο στο οποίο προσπαθεί να εστιάσει η κάμερα βρίσκεται μπροστά ή πίσω από το σημείο εστίασης και ρυθμίστε τον αισθητήρα αναλόγως. Αυτή είναι μια τεράστια βελτίωση τόσο όσον αφορά την ταχύτητα όσο και την ακρίβεια σε σχέση με την παραδοσιακή αυτόματη εστίαση με βάση την αντίθεση που έχουμε δει σε πολλές κάμερες στο παρελθόν. Ως αποτέλεσμα, έχουμε δει μια απόλυτη έκρηξη τηλεφώνων που χρησιμοποιούν PDAF και έχει γίνει ένα τεράστιο τσιτάτο μάρκετινγκ που διατηρείται ως κεντρικό στοιχείο του μάρκετινγκ κάμερας σε ολόκληρο τον κλάδο.

Αν και δεν είναι τόσο γρήγορο στην εστίαση όσο το Dual Photodiode PDAF Samsung Galaxy S7 έχει (γνωστό και ως “Dual Pixel PDAF” και "Αυτόματη εστίαση Duo Pixel"), το οποίο επιτρέπει σε κάθε εικονοστοιχείο να χρησιμοποιείται για ανίχνευση φάσης συμπεριλαμβάνοντας δύο φωτοδιόδους ανά εικονοστοιχείο, η συγχώνευση του PDAF και της αυτόματης εστίασης λέιζερ θα πρέπει να εξακολουθεί να είναι ένας ισχυρός συνδυασμός.

Υψηλός ρυθμός καρέ

Έχει γίνει πολύς λόγος τελευταία για κάμερες υψηλής ταχύτητας καρέ (τόσο για εφαρμογές καταναλωτών, όσο και για επαγγελματική δημιουργία ταινιών). Η δυνατότητα λήψης με υψηλότερους ρυθμούς καρέ μπορεί να χρησιμοποιηθεί και για τη δημιουργία απίστευτα ομαλά βίντεο κανονική ταχύτητα (που μπορεί να είναι φανταστική για αθλήματα και άλλα σενάρια υψηλής ταχύτητας) και για να δημιουργήσετε κάποια Πραγματικά ενδιαφέροντα βίντεο όταν επιβραδύνεις τα πάντα.

Δυστυχώς, είναι εξαιρετικά δύσκολο να τραβήξετε βίντεο με υψηλότερους ρυθμούς καρέ, ακόμα και όταν η φωτογραφική σας μηχανή Ο αισθητήρας μπορεί να τραβήξει με υψηλότερους ρυθμούς καρέ, μπορεί να είναι δύσκολο να το διατηρήσει ο επεξεργαστής σήματος εικόνας του τηλεφώνου πάνω. Γι' αυτό, ενώ το IMX377 που χρησιμοποιήθηκε στα Nexus 5X και 6P μπορούσε να τραβήξει βίντεο 720p στα 300 Hz και βίντεο 1080p στα 120 Hz, είδαμε μόνο 120 Hz 720p από το Nexus 5X και 240 Hz 720p από το 6P. Το IMX377 είχε επίσης δυνατότητα βίντεο 4k 60 Hz, παρά το γεγονός ότι οι συσκευές Nexus περιορίζονταν στα 30 Hz.

Τα τηλέφωνα Pixel μπορούν και τα δύο να μεταφέρουν αυτό το βίντεο έως και 120 Hz 1080p και βίντεο 240 Hz 720p, χάρη σε μέρος των βελτιώσεων που σχετίζονται με το IMX378, το οποίο βλέπει μια αύξηση στις δυνατότητες έως και 240 Hz στα 1080p.

Ο αισθητήρας μπορεί επίσης να τραβήξει λήψεις ριπής πλήρους ανάλυσης πιο γρήγορα, φτάνοντας στα 60 Hz στην έξοδο 10 bit και στα 40 Hz στα 12 bit έξοδος (από 40 Hz και 35 Hz αντίστοιχα), η οποία θα συμβάλει στη μείωση του θαμπώματος κίνησης και του κουνήματος της κάμερας κατά τη χρήση HDR+.

ΜΜΕ-HDR

Παραδοσιακά, το HDR για βίντεο ήταν ένα συμβιβασμό. Έπρεπε είτε να μειώσεις το ρυθμό καρέ στο μισό, είτε έπρεπε να μειώσεις την ανάλυση στο μισό. Ως αποτέλεσμα, πολλοί κατασκευαστές OEM δεν ασχολήθηκαν καν με αυτό, με τη Samsung και τη Sony να είναι από τις λίγες που το εφαρμόζουν. Ακόμα και το Samsung Galaxy Note 7 περιορίζεται σε εγγραφή 1080p 30 Hz λόγω εν μέρει του μεγάλου υπολογιστικού κόστους του βίντεο HDR.

Η πρώτη από τις δύο κύριες παραδοσιακές μεθόδους για βίντεο HDR, που αποκαλεί η Red Digital Cinema Camera Company HDRx και το οποίο η Sony ονομάζει Digital Overlap HDR (DOL-HDR), λειτουργεί με τη λήψη δύο διαδοχικών εικόνων, μία εκτεθειμένη πιο σκούρα και μία εκτεθειμένη πιο ανοιχτόχρωμη, και τη συγχώνευσή τους μεταξύ τους για τη δημιουργία ενός ενιαίου καρέ βίντεο. Ενώ αυτό σας επιτρέπει να διατηρήσετε την πλήρη ανάλυση της κάμερας (και να ορίσετε διαφορετικές ταχύτητες κλείστρου για τις δύο ξεχωριστές καρέ), μπορεί συχνά να οδηγήσει σε προβλήματα λόγω του χρονικού διαστήματος μεταξύ των δύο καρέ (ειδικά με γρήγορη μετακίνηση αντικείμενα). Επιπλέον, μπορεί να είναι πολύ δύσκολο για τον επεξεργαστή να συμβαδίσει, καθώς με το DOL-HDR, ο ISP του τηλεφώνου συγχωνεύει τα ξεχωριστά πλαίσια μεταξύ τους.

Η άλλη παραδοσιακή μέθοδος, την οποία η Sony ονομάζει Binning Multiplexed Exposure HDR (BME-HDR), ορίζει μια διαφορετική ρύθμιση έκθεσης για κάθε ζευγάρι δύο γραμμών pixel στον αισθητήρα για τη δημιουργία δύο εικόνων μισής ανάλυσης ταυτόχρονα, οι οποίες στη συνέχεια συγχωνεύονται σε ένα πλαίσιο HDR για το βίντεο. Ενώ αυτή η μέθοδος αποφεύγει τα προβλήματα που σχετίζονται με το HDRx, δηλαδή τη μείωση του ρυθμού καρέ, έχει άλλα προβλήματα, συγκεκριμένα η μείωση της ανάλυσης και τα όρια για το πώς μπορεί να αλλάξει η έκθεση μεταξύ των δύο σετ γραμμές.

Το Spatially Multiplexed Exposure (SME-HDR) είναι μια νέα μέθοδος που χρησιμοποιεί η Sony για να τους επιτρέψει να φωτογραφίζουν HDR με την πλήρη ανάλυση και με τον πλήρη ρυθμό καρέ που μπορεί να κάνει ο αισθητήρας. Είναι μια παραλλαγή του Χωρική Μεταβλητή Έκθεση που χρησιμοποιεί αποκλειστικούς αλγόριθμους για να επιτρέπει στη Sony να συλλαμβάνει τις πληροφορίες από τα σκοτεινά και φωτεινά pixel, τα οποία είναι τακτοποιημένα σε μοτίβο στυλ σκακιέρας και συμπεράνετε την εικόνα πλήρους ανάλυσης τόσο για τη σκοτεινή όσο και για τη φωτεινή έκθεση εικόνες.

Δυστυχώς, η Sony δεν μπόρεσε να μας δώσει πιο λεπτομερείς εξηγήσεις σχετικά με το ακριβές μοτίβο και μπορεί να μην μπορέσει ποτέ να το αποκαλύψει -- οι εταιρείες τείνουν να παίζουν τα χαρτιά τους πολύ κοντά στο στήθος τους όταν πρόκειται για τεχνολογία αιχμής, όπως αυτή που βλέπουμε στο HDR, με ακόμη και την Google να έχει τον δικό της ιδιόκτητο αλγόριθμο για φωτογραφίες HDR, γνωστό ως HDR+. Ωστόσο, υπάρχουν ακόμη κάποιες διαθέσιμες δημόσια πληροφορίες που μπορούμε να χρησιμοποιήσουμε για να συνδυάσουμε πώς μπορεί να επιτευχθεί. Μερικές εργασίες έχουν δημοσιευτεί από τον Shree K. Nayar του Πανεπιστημίου Κολούμπια (ένα από τα οποία ήταν σε συνεργασία με τον Tomoo Mitsunaga της Sony) που περιέχουν διαφορετικούς τρόπους χρήσης της Χωρικής Μεταβλητής Έκθεσης και διαφορετικές διατάξεις που μπορούν να το επιτύχουν. Παρακάτω είναι ένα παράδειγμα διάταξης με τέσσερα επίπεδα έκθεσης σε έναν αισθητήρα εικόνας RGBG. Αυτή η διάταξη ισχυρίζεται ότι μπορεί να επιτύχει εικόνες HDR με μία λήψη πλήρους ανάλυσης μόνο με περίπου 20% απώλεια χωρικής ανάλυσης, ανάλογα με το σενάριο (το ίδιο επίτευγμα που ισχυρίζεται η Sony ΜΜΕ-HDR).

Η Sony έχει ήδη χρησιμοποιήσει SME-HDR σε δύο αισθητήρες εικόνας, συμπεριλαμβανομένου του IMX214 που έχει γνωρίσει μεγάλη δημοτικότητα τον τελευταίο καιρό (που χρησιμοποιείται στο Asus Zenfone 3 Λέιζερ, το Moto Z, και το Xperia X Performance), αλλά είναι μια νέα προσθήκη στο IMX378 σε σύγκριση με το IMX377 που χρησιμοποιήθηκε πέρυσι. Επιτρέπει στον αισθητήρα της κάμερας να εξάγει βίντεο πλήρους ανάλυσης 10 bit και βίντεο 4k στα 60 Hz με ενεργό SME-HDR. Ενώ μια συμφόρηση σε άλλα σημεία της διαδικασίας θα οδηγήσει σε ένα χαμηλότερο όριο, αυτό είναι μια φανταστική βελτίωση σε σχέση με αυτό που ήταν ικανό το IMX377 και είναι ένα σημάδι για καλά πράγματα που θα έρθουν στο μέλλον.

Μία από τις μεγάλες βελτιώσεις του IMX378 σε σχέση με το IMX377 είναι ότι μπορεί να χειριστεί περισσότερο την επεξεργασία εικόνας στο τσιπ, μειώνοντας ο φόρτος εργασίας του ISP (αν και ο ISP εξακολουθεί να μπορεί να ζητήσει τα δεδομένα εικόνας RAW, ανάλογα με τον τρόπο με τον οποίο ο OEM αποφασίζει να χρησιμοποιήσει το αισθητήρας). Μπορεί να χειριστεί πολλά μικρά πράγματα, όπως διόρθωση ελαττωμάτων και τοπικό κατοπτρισμό, αλλά το πιο σημαντικό, μπορεί επίσης να χειριστεί το BME-HDR ή το SME-HDR χωρίς να χρειάζεται να εμπλακεί ο ISP. Αυτή θα μπορούσε ενδεχομένως να είναι μια σημαντική διαφορά στο μέλλον, ελευθερώνοντας κάποια γενικά έξοδα για τον ISP σε μελλοντικά τηλέφωνα.

Θα θέλαμε να ευχαριστήσουμε για άλλη μια φορά τη Sony για όλη τη βοήθεια στη δημιουργία αυτού του άρθρου. Εκτιμούμε πραγματικά τα μήκη που έκανε η Sony για να διασφαλίσει την ακρίβεια και το βάθος αυτού χαρακτηριστικό, ειδικά στο να μας επιτρέπει να αποκαλύψουμε κάποιες πληροφορίες που δεν είχαν κυκλοφορήσει στο παρελθόν σχετικά με το IMX378.

Τούτου λεχθέντος, είναι πραγματικά κρίμα που είναι τόσο δύσκολο να έχετε πρόσβαση σε ορισμένες από αυτές τις πληροφορίες, ακόμη και σε βασικές πληροφορίες προϊόντος. Όταν οι εταιρείες προσπαθούν να τοποθετήσουν πληροφορίες στους ιστότοπούς τους, συχνά μπορεί να είναι μάλλον απρόσιτες και ελλιπείς, σε μεγάλο βαθμό εν μέρει επειδή αντιμετωπίζεται συχνά ως δευτερεύουσα ανησυχία των εργαζομένων της εταιρείας, οι οποίοι είναι περισσότερο εστιασμένοι στα κύρια δουλειά. Ένα αφοσιωμένο άτομο που χειρίζεται τις δημόσιες σχέσεις μπορεί να κάνει τεράστια διαφορά όσον αφορά τη δημιουργία αυτού του τύπου πληροφοριών διαθέσιμο και προσβάσιμο στο ευρύ κοινό, και βλέπουμε μερικούς ανθρώπους να προσπαθούν να κάνουν ακριβώς αυτό δωρεάν χρόνος. Ακόμη και στο Sony Exmor Το ίδιο το άρθρο της Wikipedia, όπου κατά τη διάρκεια μερικών μηνών ένα άτομο στον ελεύθερο χρόνο του έβαλε τα περισσότερα θεμέλια για να το πάρει από ένα σχεδόν άχρηστο Άρθρο 1.715 byte που ήταν ως επί το πλείστον το ίδιο για χρόνια, στο άρθρο των ~ 50.000 byte που βλέπουμε σήμερα εκεί με 185 ξεχωριστούς συντάκτες. Ένα άρθρο που είναι αναμφισβήτητα το καλύτερο αποθετήριο πληροφοριών σχετικά με τη σειρά αισθητήρων Sony Exmor που διατίθεται στο διαδίκτυο και μπορούμε να δούμε ένα πολύ παρόμοιο μοτίβο σε άλλα άρθρα. Ένας μόνο αφοσιωμένος συγγραφέας μπορεί να κάνει μια ουσιαστική διαφορά στο πόσο εύκολα οι πελάτες μπορούν να συγκρίνουν διαφορετικά προϊόντα και πόσο μορφωμένοι ενδιαφέρονται οι καταναλωτές για το θέμα, το οποίο μπορεί να έχει μεγάλη εμβέλεια υπάρχοντα. Αλλά αυτό είναι ένα θέμα για άλλη φορά.

Όπως πάντα, αναρωτιόμαστε πώς αυτές οι αλλαγές υλικού θα επηρεάσουν τις ίδιες τις συσκευές. Είναι σαφές ότι δεν θα λαμβάνουμε βίντεο 4k 60 Hz HDR (και μπορεί να μην λαμβάνουμε καθόλου βίντεο HDR, καθώς η Google δεν το έχει αναφέρει ακόμη), αλλά η ταχύτερη πλήρη ανάλυση Η λήψη πιθανότατα θα βοηθήσει σημαντικά με το HDR+ και θα δούμε τις βελτιώσεις του νεότερου αισθητήρα να μπαίνουν στο τηλέφωνο με άλλους παρόμοιους μικρούς αλλά ουσιαστικούς τρόπους επισης.

Ενώ το DXOMark παραθέτει το Pixel τα τηλέφωνα έχουν ελαφρώς καλύτερη απόδοση από το Samsung Galaxy S7 και το HTC 10, πολλά από τα πράγματα που έδωσαν στα τηλέφωνα Pixel τόσο μικρό προβάδισμα ήταν σημαντικό λογισμικό βελτιώσεις όπως το HDR+ (το οποίο παράγει απολύτως φανταστικά αποτελέσματα και στο οποίο η DXOMark αφιέρωσε μια ολόκληρη ενότητα της κριτικής της) και το ειδικό EIS της Google σύστημα (το οποίο μπορεί να λειτουργήσει παράλληλα με το OIS) που λαμβάνει δείγματα από το γυροσκόπιο 200 φορές το δευτερόλεπτο για να παρέχει μερικές από τις καλύτερες Ηλεκτρονικές Σταθεροποιήσεις Εικόνας που έχουμε ποτέ δει. Ναι, τα τηλέφωνα Pixel έχουν εξαιρετική κάμερα, αλλά θα μπορούσαν να ήταν ακόμα καλύτερα με το OIS και το Dual Pixel PDAF; Απολύτως.

Μην με παρεξηγήσετε, όπως είπα, τα τηλέφωνα Pixel έχουν μια απολύτως εκπληκτική κάμερα, αλλά δεν μπορείτε πραγματικά να με κατηγορήσετε ότι θέλω περισσότερα, ειδικά όταν ο δρόμος προς αυτές τις βελτιώσεις είναι τόσο ξεκάθαρος (και όταν τα τηλέφωνα διατίθενται σε τιμές πλήρους κορυφαίας τιμής, όπου περιμένεις το καλύτερο καλύτερος). Πάντα θα υπάρχει ένα μέρος του εαυτού μου που θέλει περισσότερα, που θέλει καλύτερη διάρκεια μπαταρίας, ταχύτερους επεξεργαστές, καλύτερη διάρκεια μπαταρίας, πιο φωτεινό και πιο ζωντανές οθόνες, πιο δυνατά ηχεία, καλύτερες κάμερες, περισσότερος αποθηκευτικός χώρος, καλύτερη διάρκεια ζωής της μπαταρίας και το πιο σημαντικό, καλύτερη διάρκεια ζωής της μπαταρίας (πάλι). Τούτου λεχθέντος, τα τηλέφωνα Pixel έχουν πολλά μικρά φανταστικά χαρακτηριστικά που θα μπορούσαν να συνδυαστούν για να δημιουργήσουν μια πραγματικά πολλά υποσχόμενη συσκευή, την οποία βλέπω με ενθουσιασμό.