أعلنت شركة سوني عن أول مستشعرات صور في العالم مزودة بمعالجة الذكاء الاصطناعي في شكل IMX500 وIMX501.
تعد شركة Sony أكبر لاعب عندما يتعلق الأمر بتزويد أجهزة استشعار صور الكاميرا للهواتف الذكية. تشمل أمثلة أجهزة الاستشعار الشائعة كاميرا IMX586 بدقة 48 ميجابكسل، والتي تم استخدامها من قبل مجموعة متنوعة مذهلة من الهواتف التي تتراوح بين النطاقات السعرية في عام 2019. ال IMX586 خلفه 64MP IMX686. بالطبع، لا تتعامل الشركة فقط مع أجهزة استشعار صور الهواتف الذكية. لديها مجموعة ناجحة للغاية من الكاميرات المتميزة التي لا تحتوي على مرايا والتي غالبًا ما تعتبر المعيار الذهبي. ولا تظهر وتيرة الابتكار التي لا هوادة فيها أي علامة على التراجع، حيث أعلنت الآن عن الإصدار القادم من مستشعرات الصور الأولى مع معالجة الذكاء الاصطناعي، IMX500 وIMX501 على التوالي.
يعد Sony IMX500 وIMX501 نموذجين قادمين من أجهزة استشعار الرؤية الذكية. تدعي شركة Sony أنها أول مستشعرات صور في العالم مزودة بوظيفة معالجة الذكاء الاصطناعي. وتقول الشركة إن تضمين وظيفة معالجة الذكاء الاصطناعي على مستشعر الصورة نفسه يتيح معالجة الذكاء الاصطناعي عالية السرعة واستخراج البيانات الضرورية فقط. وهذا يقلل من زمن انتقال البيانات، ويعالج مخاوف الخصوصية، ويقلل من استهلاك الطاقة وتكاليف الاتصالات مقارنة باستخدام الخدمات السحابية.
من المهم ملاحظة أن هذين المستشعرين ليسا مخصصين لكاميرات الهاتف. وبدلاً من ذلك، توجد التطبيقات في صناعات البيع بالتجزئة والمعدات الصناعية بالإضافة إلى المساهمة في بناء "أنظمة مثالية" ترتبط بالسحابة.
لماذا تم دمج معالجة الذكاء الاصطناعي مع المستشعر نفسه؟ توضح سوني أن انتشار إنترنت الأشياء أدى إلى ربط جميع أنواع الأجهزة بالسحابة، مما يجعل أصبحت أنظمة معالجة المعلومات شائعة، حيث تتم معالجة المعلومات التي يتم الحصول عليها من هذه الأجهزة عبر الذكاء الاصطناعي على سحاب. المشكلة المرتبطة بهذا النهج هي زيادة زمن انتقال البيانات مما يعيق معالجة المعلومات في الوقت الفعلي؛ المخاوف الأمنية من المستخدمين المرتبطة بتخزين بيانات التعريف الشخصية في السحابة؛ وقضايا أخرى مثل زيادة استهلاك الطاقة وتكاليف الاتصالات التي تأتي مع الخدمات السحابية.
تتميز IMX500 وIMX501 بتكوين مكدس يتكون من شريحة بكسل وشريحة منطقية. تم تجهيز وظيفة تحليل ومعالجة الصور AI على شريحة المنطق. تتم معالجة الإشارة التي تلتقطها شريحة البكسل عبر الذكاء الاصطناعي الموجود على المستشعر، مما يلغي الحاجة إلى معالجات عالية الأداء أو ذاكرة خارجية. وهذا بدوره يتيح تطوير أنظمة الذكاء الاصطناعي المتطورة.
يقوم المستشعر بإخراج البيانات التعريفية بدلاً من معلومات الصورة، مما يؤدي إلى تقليل حجم البيانات ومعالجة مخاوف الخصوصية. تتيح قدرة الذكاء الاصطناعي إمكانية استخدام تطبيقات مثل تتبع الكائنات في الوقت الفعلي من خلال معالجة الذكاء الاصطناعي عالية السرعة. يمكن اختيار نماذج الذكاء الاصطناعي المختلفة من خلال إعادة كتابة الذاكرة الداخلية وفقًا لمتطلبات المستخدم أو ظروف الموقع الذي يتم فيه استخدام النظام.
تحتوي شريحة البكسل الخاصة بهذه المستشعرات على BSI ولديها ما يقرب من 12.3 ميجابكسل فعالة لالتقاط المعلومات. التنسيق البصري هو 1/2.3 بوصة (قطري 7.857 ملم) بحجم بكسل 1.55 ميكرون. لديهم مجموعة مرشحات الألوان Bayer. المستشعرات قادرة على تسجيل فيديو بدقة 4K بمعدل 60 إطارًا في الثانية دون معالجة الذكاء الاصطناعي وتسجيل فيديو بدقة 4K بمعدل 30 إطارًا في الثانية مع معالجة الذكاء الاصطناعي. تقوم الشريحة المحلية أيضًا بتجهيز معالج الإشارة الرقمية الأصلي من سوني بالإضافة إلى دائرة تشغيل مستشعر الصورة التقليدية. DSP مخصص لمعالجة إشارات الذكاء الاصطناعي بالإضافة إلى الذاكرة لنموذج الذكاء الاصطناعي. وبهذا، لن تكون هناك حاجة إلى معالجات عالية الأداء وذاكرة خارجية، وبالتالي تستفيد أنظمة الذكاء الاصطناعي المتطورة.
تشرح سوني سير عمل مستشعرات الصورة. يتم تشغيل الإشارات التي تتلقاها شريحة البكسل من خلال مزود خدمة الإنترنت (ISP)، وتتم معالجة الذكاء الاصطناعي في مرحلة المعالجة على شريحة منطقية، حيث يتم إخراج المعلومات المستخرجة في شكل بيانات وصفية، مما يقلل من كمية البيانات التعامل معها. لا يتم إخراج معلومات الصورة الفعلية نفسها، وهو أمر مفيد للأمان والخصوصية. يمكن للمستخدمين تحديد تنسيق إخراج البيانات بما في ذلك صور تنسيق ISP (YUV/RGB) وصور استخراج منطقة محددة ROI (منطقة الاهتمام).
تعمل شركة Sony أيضًا على الترويج للسرعة. وتقول أنه عند تسجيل مقطع فيديو باستخدام مستشعر الصورة التقليدي، فمن الضروري إرسال البيانات لكل فرد إطار الإخراج لمعالجة الذكاء الاصطناعي، مما يؤدي إلى زيادة نقل البيانات ويجعل من الصعب تحقيق ذلك في الوقت الفعلي أداء. من ناحية أخرى، تقوم مستشعرات IMX الجديدة بمعالجة ISP ومعالجة الذكاء الاصطناعي عالية السرعة (3.1 مللي ثانية المعالجة لـ MobileNet V1*2) على الشريحة المنطقية، وبالتالي إكمال العملية بأكملها في فيديو واحد إطار. وهذا بدوره يجعل من الممكن تقديم "تتبع عالي الدقة وفي الوقت الفعلي للأشياء أثناء تسجيل الفيديو"، وفقًا لشركة سوني.
وأخيرًا، يمكن للمستخدمين كتابة نماذج الذكاء الاصطناعي التي يختارونها على الذاكرة المدمجة وتحديثها وفقًا لمتطلباتها أو ظروف الموقع الذي يتم فيه استخدام النظام. تقدم شركة Sony مثالاً حيث يتم تركيب كاميرات متعددة تستخدم هذا المنتج في موقع بيع بالتجزئة، ويمكن استخدام نوع واحد من الكاميرات بتنوع في المواقع والأوقات والأماكن المختلفة المقاصد. عند تركيب الكاميرا عند مدخل المنشأة، يمكن استخدامها لحساب عدد الزوار الذين يدخلون المنشأة؛ عند تثبيته على رف المتجر، يمكن استخدامه للكشف عن نقص المخزون؛ عندما يكون على السقف يمكن استخدامه لرسم الخرائط الحرارية لزوار المتجر، وما إلى ذلك. يمكن إعادة كتابة نموذج الذكاء الاصطناعي في كاميرا معينة من نموذج يستخدم لاكتشاف الخرائط الحرارية إلى نموذج يستخدم لتحديد سلوك المستهلك.
كما يبدو، فإن الإعلان عن الإصدار القادم من مستشعرات الصور يعد بالفعل إنجازًا ملحوظًا. ومع ذلك، فإنه يأتي مع آثاره الخاصة على المراقبة. في الوقت الحالي، تم تصميم أجهزة الاستشعار لحلول الطاقة المنخفضة مثل الكاميرات الأمنية. قد تتضمن كاميرات الهواتف الذكية هذه التقنية بعد بضع سنوات، لكنها ليست مطروحة في الوقت الحالي بسبب القيود، حيث لا يمكن لشريحة المنطق المضمنة أن تتطابق مع تعدد الاستخدامات الذي يقدمه مزودو خدمة الإنترنت الحديثون (مثل سبكترا مزود خدمة الإنترنت في Qualcomm Snapdragon SoCs). في الوقت الحالي، تعمل كاميرات الهواتف الذكية بشكل مختلف، حيث يكون المستشعر في حد ذاته غبيًا نسبيًا ويعمل مع مزود خدمة الإنترنت الذكي الموجود كجزء من SoC بالهاتف. يقوم مزود خدمة الإنترنت بجميع أعمال معالجة الصور، مما يعني أن الدور الفعلي للمستشعر نفسه محدود تمامًا في كاميرات الهواتف الذكية الحديثة (تعد معالجة الصور أكثر أهمية من امتلاك أجهزة كاميرا رائعة للصور جودة). التصوير الفوتوغرافي الحسابي هو الكلمة الطنانة الجديدة، ولكن في العالم الصناعي، تحاول IMX500 وIMX501 جلب مجد معالجة الذكاء الاصطناعي إلى أجهزة الاستشعار نفسها.
ومن المقرر إطلاق IMX500 وIMX501 في المنتجات العام المقبل. وتخطط سوني لإصدار عينات من المنتجات في أبريل ويونيو 2020 على التوالي. لمزيد من المعلومات حول مواصفاتها، يُنصح القراء بمراجعة الرابط المصدر.
مصدر: سوني