סוני הכריזה על חיישני התמונה הראשונים בעולם במצלמה עם עיבוד AI מצויד בצורה של IMX500 ו-IMX501.
סוני היא השחקנית הגדולה ביותר בכל הנוגע לאספקת חיישני תמונה של מצלמה לסמארטפונים. דוגמאות לחיישנים פופולריים כוללות את 48MP IMX586, ששימש מגוון מביך של טלפונים בטווחי מחירים ב-2019. ה IMX586 ירש את 64MP IMX686. החברה לא עוסקת רק בחיישני תמונה של סמארטפונים, כמובן. יש לו מערך מוצלח ביותר של מצלמות פרימיום ללא מראה הנחשבות לרוב כסטנדרט הזהב. קצב החדשנות הבלתי פוסק שלה לא מראה סימן להרפות, מכיוון שהיא הכריזה כעת על השחרור הקרוב חיישני התמונה הראשונים שלה עם עיבוד AI, ה-IMX500 וה-IMX501 בהתאמה.
Sony IMX500 ו-IMX501 הם שני דגמים של חיישני ראייה חכמים. סוני טוענת שהם חיישני התמונה הראשונים בעולם שמצוידים בפונקציונליות של עיבוד AI. החברה אומרת כי הכללת פונקציונליות עיבוד בינה מלאכותית בחיישן התמונה עצמו מאפשרת עיבוד בינה מלאכותית במהירות גבוהה ושליפה של הנתונים הדרושים בלבד. זה מקטין את זמן העברת הנתונים, נותן מענה לדאגות הפרטיות ומפחית את צריכת החשמל ועלויות התקשורת בהשוואה לשימוש בשירותי ענן.
חשוב לציין ששני החיישנים הללו אינם מיועדים למצלמות טלפון. במקום זאת, היישומים נמצאים בענפי הציוד הקמעונאי והתעשייתי וכן תורמים לבניית "מערכות אופטימליות" המקשרות לענן.
מדוע עיבוד AI משולב עם החיישן עצמו? סוני מסבירה שהתפשטות ה-IoT הביאה לכך שכל סוגי המכשירים מחוברים לענן, מה שיוצר מערכות עיבוד מידע נפוצות, שבהן מידע המתקבל ממכשירים כאלה מעובד באמצעות AI ב- ענן. הבעיה הקשורה לגישה כזו היא חביון מוגברת של העברת נתונים המפריע לעיבוד מידע בזמן אמת; חששות אבטחה מצד משתמשים הקשורים לאחסון נתונים המאפשרים זיהוי אישי בענן; ונושאים נוספים כמו צריכת חשמל מוגברת ועלויות תקשורת שמגיעות עם שירותי ענן.
ה-IMX500 וה-IMX501 כוללים תצורה מוערמת, המורכבת משבב פיקסל ושבב לוגי. פונקציונליות הניתוח והעיבוד של תמונות בינה מלאכותית מצוידות בשבב הלוגי. האות שנרכש על ידי שבב הפיקסל מעובד באמצעות AI על החיישן, מה שמבטל את הצורך במעבדים בעלי ביצועים גבוהים או בזיכרון חיצוני. זה, בתורו, מאפשר פיתוח של מערכות AI קצה.
החיישן מוציא מטא נתונים במקום מידע תמונה, מה שמביא להפחתת נפח הנתונים ומתייחס לדאגות הפרטיות. יכולת הבינה המלאכותית מאפשרת יישומים כמו מעקב אחר אובייקטים בזמן אמת עם עיבוד בינה מלאכותית במהירות גבוהה. ניתן לבחור דגמי AI שונים על ידי שכתוב הזיכרון הפנימי בהתאם לדרישות המשתמש או לתנאי המיקום שבו המערכת נמצאת בשימוש.
לשבב הפיקסלים של חיישנים אלה יש BSI ויש לו כ-12.3 MP יעיל ללכידת מידע. הפורמט האופטי הוא 1/2.3 אינץ' (7.857 מ"מ באלכסון) עם גודל פיקסל של 1.55 מיקרון. יש להם מערך מסנני צבע של באייר. החיישנים מסוגלים להקליט וידאו 4K ב-60fps ללא עיבוד AI ו-4K ב-30fps הקלטת וידאו עם עיבוד AI. השבב המקומי מצייד גם את ה-DSP המקורי של סוני בנוסף למעגל הפעולה הרגיל של חיישן התמונה. ה-DSP מוקדש לעיבוד אותות בינה מלאכותית וכן לזיכרון עבור דגם ה-AI. עם זה, אין צורך במעבדים בעלי ביצועים גבוהים וזיכרון חיצוני, ובכך מועילים למערכות בינה מלאכותית.
זרימת העבודה של חיישני התמונה מוסברת על ידי סוני. האותות הנרכשים על ידי שבב הפיקסל מופעלים דרך ספק שירותי אינטרנט, ועיבוד בינה מלאכותית מתבצע בשלב התהליך על שבב לוגי, כאשר המידע שחולץ מופק בצורה של מטא נתונים, מה שמפחית את כמות הנתונים טופל. מידע התמונה עצמו אינו מופק, מה שמועיל לאבטחה ולפרטיות. משתמשים יכולים לבחור את פורמט פלט הנתונים כולל תמונות בפורמט ISP (YUV/RGB) ו-ROI (אזור של עניין) תמונות לחלץ אזור ספציפי.
סוני גם מקדמת מהירות. הוא אומר שכאשר סרטון מוקלט באמצעות חיישן תמונה רגיל, יש צורך לשלוח נתונים עבור כל אדם מסגרת פלט לעיבוד בינה מלאכותית, אשר מביאה להעברת נתונים מוגברת ומקשה על השגת זמן אמת ביצועים. חיישני IMX החדשים, לעומת זאת, מבצעים עיבוד ISP ועיבוד AI במהירות גבוהה (3.1ms עיבוד עבור MobileNet V1*2) בשבב הלוגי, ובכך להשלים את כל התהליך בסרטון יחיד מִסגֶרֶת. זה, בתורו, מאפשר לספק "דיוק גבוה, מעקב בזמן אמת של אובייקטים תוך כדי הקלטת וידאו", לפי סוני.
לבסוף, המשתמשים יכולים לכתוב את דגמי הבינה המלאכותית לפי בחירתם לזיכרון המוטבע ולעדכן אותו בהתאם לדרישות שלו או לתנאי המיקום שבו המערכת נמצאת בשימוש. סוני נותנת דוגמה שבה מצלמות מרובות המשתמשות במוצר זה מותקנות במיקום קמעונאי, וניתן להשתמש בסוג יחיד של מצלמה עם צדדיות על פני מיקומים שונים, זמנים ו מטרות. כאשר המצלמה מותקנת בכניסה למתקן, ניתן לספור באמצעותה את מספר המבקרים הנכנסים למתקן; כאשר הוא מותקן על המדף של חנות, הוא יכול לשמש לאיתור מחסור במלאי; כאשר על התקרה זה יכול לשמש למבקרים בחנות מיפוי חום, וכן הלאה. ניתן לשכתב את מודל הבינה המלאכותית במצלמה נתונה מכזה המשמש לזיהוי מפות חום לאחד לזיהוי התנהגות צרכנים.
כפי שזה נשמע, ההכרזה על השחרור הקרוב של חיישני התמונה היא אכן הישג בולט. עם זאת, זה מגיע עם השלכות משלו על המעקב. נכון לעכשיו, החיישנים מיועדים לפתרונות צריכת חשמל נמוכה כמו מצלמות אבטחה. מצלמות טלפונים חכמים עשויות לשלב את הטכנולוגיה הזו בעוד כמה שנים, אבל היא לא נמצאת בכרטיסים לעת עתה בגלל מגבלות שכן שבב ההיגיון המוטבע אינו יכול להתאים לגיוון המוצעים על ידי ספקי שירותי אינטרנט מודרניים (כגון ספקטרה ספקטרה ב-Qualcomm Snapdragon SoCs). נכון לעכשיו, מצלמות סמארטפונים מתפקדות אחרת, כאשר החיישן כשלעצמו מטומטם יחסית ומתפקד עם ספק אינטרנט חכם שנמצא כחלק מה-SoC של הטלפון. ספק שירותי האינטרנט עושה את כל העבודה של עיבוד תמונה, מה שאומר שהתפקיד בפועל של החיישן עצמו מוגבל למדי במצלמות סמארטפונים מודרניות (עיבוד תמונה חשוב יותר מאשר חומרת מצלמה מצוינת לתמונה איכות). צילום חישובי הוא מילת הבאזז החדשה, אבל בעולם התעשייתי, ה-IMX500 וה-IMX501 מנסים להביא את תהילת עיבוד הבינה המלאכותית לחיישנים עצמם.
ה-IMX500 וה-IMX501 מתוכננים להשיק במוצרים בשנה הבאה. סוני מתכננת לשחרר דוגמאות של המוצרים באפריל ויוני 2020 בהתאמה. למידע נוסף על המפרט שלהם, מומלץ לקוראים לעיין בקישור המקור.
מָקוֹר: סוני