פנינו לסוני כדי לנסות ללמוד קצת יותר על חיישן IMX378 המשמש את הטלפונים הקרובים של Google Pixel ו-Pixel XL. למד הכל על זה!
סקירה כללית של IMX378
פנינו לסוני כדי לנסות ללמוד קצת יותר על חיישן IMX378 המשמש את גוגל הקרובה פיקסל ו Pixel XL טלפונים, כמו גם על ידי Xiaomi Mi 5S. לרוע המזל, סוני לא הצליחה עדיין להפיץ את גיליון הנתונים עבור חיישן Exmor RS IMX378, אבל הם היו מאוד מועילים, והצליחו לספק לנו מידע שלא פורסם בעבר על IMX378.
ראשית, עצם השם עצמו היה שגוי. למרות שמועות שקבעו שזה יהיה חלק מה אקסמור ר שורה של חיישני CMOS מאחור (BSI) כמו ה-IMX377 לפניו ששימש Nexus 5X ו Nexus 6P, איש הקשר שלנו בסוני הודיע לנו שה-IMX378 במקום זאת ייחשב כחלק מזה של סוני אקסמור RS שורה של חיישני BSI CMOS Stacked.
בעוד שהרבה דברים נשארו זהים מה-IMX377 ל-IMX378, כולל גודל הפיקסלים (1.55 מיקרומטר) וגודל החיישן (7.81 מ"מ), נוספו כמה תכונות מפתח. כלומר, זה כעת עיצוב מוערם של BSI CMOS, יש לו PDAF, הוא מוסיף את טכנולוגיית ה-SME-HDR של סוני, ויש לו תמיכה טובה יותר עבור וידאו בקצב פריימים גבוה (הילוך איטי).
מוערם BSI CMOS
תאורה אחורית בפני עצמה היא תכונה שימושית ביותר שהפכה כמעט לסטנדרט בסמארטפונים דגל בשנים האחרונות, החל מה- HTC Evo 4G ב -2010. זה מאפשר למצלמה ללכוד הרבה יותר אור (במחיר של יותר רעש) על ידי הזזת חלק ממנו המבנה שבאופן מסורתי ישב מול הפוטודיודה על חיישנים מוארים קדמיים, מאחור זה.
באופן מפתיע, בניגוד לרוב טכנולוגיית המצלמה, התאורה האחורית החלה להופיע במקור בטלפונים לפני DSLRs, בעיקר הודות לקשיים ביצירת חיישני BSI גדולים יותר. החיישן הראשון של BSI APS-C היה סמסונג S5KVB2 שנמצא במצלמת ה-NX1 שלהם משנת 2014, ו החיישן המלא הראשון היה ה- Sony Exmor R IMX251 שנמצא ב- Sony α7R II מהאחרון שָׁנָה.
טכנולוגיית Stacked BSI CMOS לוקחת את זה צעד אחד קדימה על ידי הזזת יותר מהמעגלים מהשכבה הקדמית אל המצע התומך מאחורי הפוטודיודות. זה לא רק מאפשר לסוני להקטין משמעותית את גודל חיישן התמונה (המאפשר חיישנים גדולים יותר באותה טביעת רגל), אלא גם מאפשר לסוני להדפיס את הפיקסלים והמעגלים בנפרד (אפילו בתהליכי ייצור שונים), הפחתת הסיכון לפגמים, שיפור התשואות ומאפשרת התמחות רבה יותר בין הפוטודיודות והתומכות מעגלים.
PDAF
ה-IMX378 מוסיף מיקוד אוטומטי לזיהוי שלב, שטלפוני ה-Nexus של השנה שעברה וה-IMX377 לא תמכו בו. זה מאפשר למצלמה להשתמש ביעילות בהבדלים בעוצמת האור בין נקודות שונות על החיישן כדי לזהות אם האובייקט שהמצלמה מנסה להתמקד בו נמצא לפני או מאחורי נקודת המיקוד, וכוון את החיישן בהתאם לכך. זהו שיפור עצום הן מבחינת מהירות והן מבחינת דיוק לעומת המיקוד האוטומטי המסורתי המבוסס על ניגודיות שראינו במצלמות רבות בעבר. כתוצאה מכך, ראינו התפוצצות מוחלטת של טלפונים המשתמשים ב-PDAF, וזה הפך למילת באזז שיווקית ענקית שנחשבת כמרכז שיווק המצלמות בכל התעשייה.
אמנם לא ממש מהיר להתמקד כמו ה-Dual Photodiode PDAF שה- סמסונג גלקסי S7 יש (ידוע גם בשם "Pixel כפול PDAF" ו "מיקוד אוטומטי של Duo Pixel"), המאפשר להשתמש בכל פיקסל בודד לזיהוי פאזה על ידי הכללת שתי פוטודיודות לכל פיקסל, המיזוג של PDAF ומיקוד אוטומטי בלייזר עדיין צריך להיות שילוב חזק.
קצב פריימים גבוה
לאחרונה דובר הרבה על מצלמות בקצב פריימים גבוה (הן עבור יישומים צרכניים, והן ביצירת סרטים מקצועיים). היכולת לצלם בקצבי פריימים גבוהים יותר יכולה לשמש גם כדי ליצור סרטונים חלקים להפליא מהירות רגילה (שיכולה להיות פנטסטית עבור ספורט ותרחישים מהירים אחרים) וכדי ליצור כמה בֶּאֱמֶת סרטונים מעניינים כשאתה מאטה הכל.
למרבה הצער, קשה מאוד לצלם וידאו בקצבי פריימים גבוהים יותר, ואפילו כשהמצלמה שלך החיישן יכול לצלם בקצבי פריימים גבוהים יותר, זה יכול להיות קשה למעבד אותות התמונה של הטלפון לשמור לְמַעלָה. זו הסיבה שבעוד שה-IMX377 בשימוש ב-Nexus 5X ו-6P יכול לצלם וידאו 720p ב-300 הרץ ו-1080p ב-120 הרץ, ראינו רק 120 הרץ 720p מה-Nexus 5X ו-240 הרץ 720p מה-6P. ה-IMX377 היה מסוגל גם לסרטון 60 הרץ 4k, למרות שמכשירי ה-Nexus מוגבלים ל-30 הרץ.
טלפונים של Pixel מסוגלים להביא את הווידאו הזה עד 120 הרץ 1080p וסרטון 240 הרץ 720p הודות ל חלק לשיפורים הקשורים ל-IMX378, אשר רואה גידול ביכולות של עד 240 הרץ ב- 1080p.
החיישן מסוגל גם לצלם תמונות מתפרצות ברזולוציה מלאה מהר יותר, לעלות ל-60 הרץ בפלט של 10 סיביות ו-40 הרץ ב-12 סיביות. פלט (מעל 40 הרץ ו-35 הרץ בהתאמה), מה שאמור לעזור להפחית את כמות טשטוש התנועה ורעידות המצלמה בעת השימוש HDR+.
SME-HDR
באופן מסורתי, HDR לווידאו היה פשרה. או שהיית צריך לחתוך את קצב הפריימים בחצי, או שהיית צריך לחתוך את הרזולוציה בחצי. כתוצאה מכך, יצרני OEM רבים אפילו לא טרחו בכך, כאשר סמסונג וסוני הן בין הבודדות שמיישמות זאת. אפילו ה סמסונג גלקסי נוט 7 מוגבל להקלטה של 1080p 30 הרץ, בין היתר בשל העלות החישובית הכבדה של וידאו HDR.
הראשונה מבין שתי השיטות המסורתיות העיקריות לווידאו HDR, שאליה מכנה Red Digital Cinema Camera Company HDRx ואשר סוני מכנה Digital Overlap HDR (DOL-HDR), עובד על ידי צילום שתי תמונות רצופות, אחת חשופה כהה יותר ואחת חשופה בהירה יותר, ומיזוגן יחד ליצירת פריים וידאו בודד. אמנם זה מאפשר לך לשמור על הרזולוציה המלאה של המצלמה (ולהגדיר מהירויות תריס שונות עבור השתיים נפרדות מסגרות), זה יכול לעתים קרובות לגרום לבעיות עקב פער הזמן בין שתי הפריימים (במיוחד עם תנועה מהירה חפצים). בנוסף, למעבד יכול להיות מאוד קשה לעמוד בקצב, כמו ב-DOL-HDR, ספק שירותי האינטרנט של הטלפון מטפל במיזוג הפריימים הנפרדים יחד.
השיטה המסורתית האחרת, שסוני מכנה Binning Multiplexed Exposure HDR (BME-HDR), מגדירה הגדרת חשיפה שונה עבור כל זוג של שני קווים של פיקסלים בחיישן ליצירת שתי תמונות ברזולוציה של חצי בו-זמנית, אשר מתמזגות יחד למסגרת HDR אחת עבור הסרטון. בעוד ששיטה זו מונעת את הבעיות הקשורות ל-HDRx, כלומר הפחתה בקצב הפריימים, יש לה בעיות אחרות, במיוחד הפחתת הרזולוציה והמגבלות על האופן שבו ניתן לשנות את החשיפה בין שתי הקבוצות של שורות.
חשיפה מרובת מרחבית (SME-HDR) היא שיטה חדשה שבה משתמשת סוני כדי לאפשר להם לצלם HDR ברזולוציה מלאה ובקצב הפריימים המלא שהחיישן מסוגל לה. זה גרסה של חשיפה משתנה במרחב שמשתמש באלגוריתמים קנייניים כדי לאפשר לסוני ללכוד את המידע מהפיקסלים הכהים והבהירים, שהם מסודרים בתבנית בסגנון דמקה, ומסיקים את התמונה ברזולוציה המלאה הן לחשיפה הכהה והן לאור תמונות.
לרוע המזל, סוני לא הצליחה לתת לנו הסברים מפורטים יותר על התבנית המדויקת, וייתכן שהם לעולם לא יוכלו לחשוף זאת - חברות נוטות לשחק בקלפים שלהן קרוב מאוד לחזה שלהם בכל מה שקשור לטכנולוגיה מתקדמת, כמו זו שאנו רואים ב-HDR, כאשר אפילו לגוגל יש אלגוריתם קנייני משלהם לתמונות HDR הידוע בשם HDR+. עם זאת, יש עדיין מידע זמין לציבור שאנו יכולים להשתמש בו כדי להרכיב כיצד ניתן להשיגו. כמה מאמרים פורסמו על ידי Shree K. נאיאר מאוניברסיטת קולומביה (אחד מהם היה בשיתוף פעולה עם Tomoo Mitsunaga מ-Sony) המכילות דרכים שונות להשתמש בחשיפה משתנה במרחב, ופריסות שונות שיכולות להשיג זאת. להלן דוגמה לפריסה עם ארבע רמות חשיפה בחיישן תמונה RGBG. פריסה זו טוענת שהיא מסוגלת להשיג תמונות HDR ברזולוציה מלאה של לכידה בודדת עם רק כ-20% אובדן ברזולוציה מרחבית, בהתאם לתרחיש (אותו הישג שסוני טוענת לו SME-HDR).
סוני כבר השתמשה ב-SME-HDR בכמה חיישני תמונה, כולל ב-IMX214 שזכה לפופולריות רבה לאחרונה (בשימוש ב- Asus Zenfone 3 לייזר, ה מוטו Z, וה Xperia X Performance), אך מהווה תוספת חדשה ל-IMX378 בהשוואה ל-IMX377 שהיה בשימוש בשנה שעברה. זה מאפשר לחיישן המצלמה להפיק גם 10 סיביות ברזולוציה מלאה וגם וידאו 4k ב-60 הרץ עם SME-HDR פעיל. בעוד שצוואר בקבוק במקום אחר בתהליך יביא לגבול נמוך יותר, זהו שיפור פנטסטי ביחס למה שה-IMX377 היה מסוגל לו, והוא סימן לדברים טובים שיבואו בעתיד.
אחד השיפורים הגדולים של IMX378 בהשוואה ל-IMX377 הוא שהוא מסוגל להתמודד עם יותר מעיבוד התמונה בשבב, מה שמפחית עומס העבודה של ספק שירותי האינטרנט (אם כי ספק שירותי האינטרנט עדיין מסוגל לבקש את נתוני תמונת ה-RAAW, בהתאם לאופן שבו יצרן הציוד המקורי מחליט להשתמש ב- חיישן). הוא יכול להתמודד עם הרבה דברים קטנים כמו תיקון פגמים ושיקוף מקומי, אבל חשוב מכך, הוא יכול לטפל גם ב-BME-HDR או SME-HDR מבלי לערב את ספק האינטרנט. זה עשוי להיות הבדל משמעותי קדימה על ידי שחרור תקורה עבור ספקית האינטרנט בטלפונים עתידיים.
ברצוננו להודות לסוני שוב על כל העזרה ביצירת מאמר זה. אנחנו מאוד מעריכים את המאמץ שסוני עשתה כדי להבטיח את הדיוק והעומק של זה תכונה, במיוחד בכך שהיא מאפשרת לנו לחשוף מידע שלא פורסם בעבר על IMX378.
עם זאת, זה באמת חבל שכל כך קשה לגשת לחלק מהמידע הזה, אפילו מידע בסיסי על המוצר. כאשר חברות מנסות לשים מידע באתרי האינטרנט שלהן, הוא עשוי להיות די לא נגיש ולא שלם, בגדול חלק מכיוון שלעתים קרובות מתייחסים אליו כאל דאגה משנית של עובדי החברה, אשר ממוקדים יותר בראשיתם עֲבוֹדָה. אדם מסור אחד המטפל ביחסי ציבור יכול לעשות הבדל עצום במונחים של יצירת מידע מסוג זה זמין ונגיש לציבור הרחב, ואנחנו רואים כמה אנשים מנסים לעשות בדיוק את זה בחינם זְמַן. אפילו על סוני אקסמור מאמר ויקיפדיה עצמו, שבו במשך כמה חודשים אדם בודד בזמנו הפנוי הניח את רוב היסודות לקחת אותו ממקום כמעט חסר תועלת מאמר 1,715 בתים זה היה ברובו זהה במשך שנים, לתוך המאמר של ~50,000 בתים שאנו רואים שם היום עם 185 עורכים שונים. מאמר שהוא ללא ספק המאגר הטוב ביותר של מידע על קו החיישנים של Sony Exmor הזמין באינטרנט, ואנחנו יכולים לראות דפוס דומה מאוד במאמרים אחרים. כותב מסור אחד יכול לעשות הבדל מהותי באיזו קלות לקוחות יכולים להשוות שונים מוצרים, ובמידת השכלה של הצרכנים המתעניינים בנושא, שיכול להיות מרחיק לכת אפקטים. אבל זה נושא לפעם אחרת.
כמו תמיד, נותרנו לתהות כיצד שינויי החומרה הללו ישפיעו על המכשירים עצמם. די ברור שלא נקבל וידאו 4k 60 הרץ HDR (ואולי לא נקבל וידאו HDR בכלל, מכיוון שגוגל לא הזכירה זאת עדיין), אלא הרזולוציה המלאה המהירה יותר סביר להניח שצילום יעזור מאוד עם HDR+, ונראה את השיפורים של החיישן החדש יותר זולגים לטלפון בדרכים קטנות אך משמעותיות אחרות גם כן.
בעוד DXOMark מפרט את הפיקסל טלפונים עם ביצועים מעט טובים יותר מ-Samsung Galaxy S7 ו-HTC 10, רבים מהדברים שהעניקו לטלפונים של Pixel את ההובלה הקטנה היו תוכנות מרכזיות שיפורים כמו HDR+ (שמניב תוצאות פנטסטיות לחלוטין, ואשר DXOMark הקדיש לו חלק שלם מהסקירה שלהם) וה-EIS המיוחד של גוגל מערכת (שיכולה לעבוד במקביל עם OIS) הדוגמת את הג'ירוסקופ 200 פעמים בשנייה כדי לספק מיצוב התמונה האלקטרוני הטוב ביותר שהיה לנו אי פעם ראה. כן, לטלפונים של Pixel יש מצלמה מצוינת, אבל האם הם היו יכולים להיות אפילו טובים יותר עם OIS ו- Dual Pixel PDAF? בהחלט.
אל תבינו אותי לא נכון, כמו שאמרתי, לטלפונים של Pixel יש מצלמה מהממת לחלוטין, אבל אי אפשר באמת להאשים אותי שאני רוצה עוד, במיוחד כשהדרך לשיפורים האלה כל כך ברורה (וכאשר הטלפונים מתומחרים בתמחור דגל מלא, שבו אתה מצפה לטוב ביותר של הטוב ביותר). תמיד יהיה חלק בי שרוצה יותר, שרוצה חיי סוללה טובים יותר, מעבדים מהירים יותר, חיי סוללה טובים יותר, בהירים יותר ומסכים חיים יותר, רמקולים חזק יותר, מצלמות טובות יותר, יותר אחסון, חיי סוללה טובים יותר, והכי חשוב, חיי סוללה טובים יותר (שוב). עם זאת, לטלפונים של Pixel יש הרבה תכונות פנטסטיות קטנות שיכולות להתאחד כדי ליצור מכשיר מבטיח באמת, שאני נרגש לראות.