Sony ได้ประกาศเซ็นเซอร์ภาพจากกล้องตัวแรกของโลกที่มีการประมวลผล AI ในรูปแบบของ IMX500 และ IMX501
Sony เป็นผู้เล่นรายใหญ่ที่สุดในการจัดหาเซ็นเซอร์ภาพของกล้องสำหรับสมาร์ทโฟน ตัวอย่างของเซ็นเซอร์ยอดนิยม ได้แก่ 48MP IMX586 ซึ่งใช้ในโทรศัพท์ที่น่าสับสนหลายรุ่นในช่วงราคาในปี 2019 ที่ IMX586 ประสบความสำเร็จด้วย 64MP IMX686 แน่นอนว่าบริษัทไม่เพียงแค่จัดการเรื่องเซ็นเซอร์ภาพของสมาร์ทโฟนเท่านั้น มีกลุ่มผลิตภัณฑ์กล้องมิเรอร์เลสระดับพรีเมียมที่ประสบความสำเร็จอย่างล้นหลามซึ่งมักถือเป็นมาตรฐานทองคำ นวัตกรรมที่ก้าวไปอย่างไม่หยุดยั้งของบริษัทไม่มีทีท่าว่าจะยอมแพ้ เนื่องจากขณะนี้ได้ประกาศเปิดตัวเซ็นเซอร์ภาพตัวแรกที่มีการประมวลผล AI ได้แก่ IMX500 และ IMX501 ตามลำดับ
Sony IMX500 และ IMX501 เป็นเซ็นเซอร์วิชันอัจฉริยะสองรุ่นที่กำลังจะเปิดตัว Sony อ้างว่าเป็นเซ็นเซอร์รับภาพตัวแรกของโลกที่มีฟังก์ชันการประมวลผล AI บริษัทกล่าวว่าการรวมฟังก์ชันการประมวลผล AI บนเซนเซอร์ภาพช่วยให้สามารถประมวลผล Edge AI ความเร็วสูงและแยกเฉพาะข้อมูลที่จำเป็นได้ สิ่งนี้จะช่วยลดเวลาแฝงในการส่งข้อมูล จัดการกับข้อกังวลด้านความเป็นส่วนตัว และลดการใช้พลังงานและต้นทุนการสื่อสารเมื่อเปรียบเทียบกับการใช้บริการคลาวด์
สิ่งสำคัญที่ควรทราบก็คือเซ็นเซอร์ทั้งสองนี้ไม่ได้มีไว้สำหรับกล้องในโทรศัพท์ แต่แอปพลิเคชันดังกล่าวอยู่ในอุตสาหกรรมค้าปลีกและอุปกรณ์อุตสาหกรรม ตลอดจนมีส่วนช่วยสร้าง "ระบบที่เหมาะสมที่สุด" ที่เชื่อมโยงกับระบบคลาวด์
เหตุใดการประมวลผล AI จึงรวมเข้ากับตัวเซ็นเซอร์เอง Sony อธิบายว่าการแพร่กระจายของ IoT ส่งผลให้อุปกรณ์ทุกประเภทเชื่อมต่อกับคลาวด์ซึ่งทำให้ ระบบประมวลผลข้อมูลเป็นเรื่องธรรมดาโดยข้อมูลที่ได้รับจากอุปกรณ์ดังกล่าวจะถูกประมวลผลผ่าน AI บน คลาวด์. ปัญหาที่เกี่ยวข้องกับแนวทางดังกล่าวคือความล่าช้าในการส่งข้อมูลที่เพิ่มขึ้นซึ่งขัดขวางการประมวลผลข้อมูลแบบเรียลไทม์ ข้อกังวลด้านความปลอดภัยจากผู้ใช้ที่เกี่ยวข้องกับการจัดเก็บข้อมูลส่วนบุคคลในระบบคลาวด์ และประเด็นอื่นๆ เช่น การใช้พลังงานที่เพิ่มขึ้นและต้นทุนการสื่อสารที่มาพร้อมกับบริการคลาวด์
IMX500 และ IMX501 มีการกำหนดค่าแบบเรียงซ้อน ซึ่งประกอบด้วยชิปพิกเซลและชิปลอจิก ฟังก์ชันการวิเคราะห์และประมวลผลภาพ AI ติดตั้งอยู่บนชิปลอจิก สัญญาณที่ได้รับจากชิปพิกเซลจะถูกประมวลผลผ่าน AI บนเซ็นเซอร์ ซึ่งไม่จำเป็นต้องใช้โปรเซสเซอร์ประสิทธิภาพสูงหรือหน่วยความจำภายนอก ส่งผลให้สามารถพัฒนาระบบ Edge AI ได้
เซ็นเซอร์จะส่งข้อมูลเมตาออกมาแทนข้อมูลรูปภาพ ซึ่งส่งผลให้ปริมาณข้อมูลลดลงและจัดการกับข้อกังวลด้านความเป็นส่วนตัว ความสามารถของ AI ทำให้แอปพลิเคชันต่างๆ เช่น การติดตามวัตถุแบบเรียลไทม์พร้อมการประมวลผล AI ความเร็วสูงเป็นไปได้ สามารถเลือกโมเดล AI ที่แตกต่างกันได้โดยการเขียนหน่วยความจำภายในใหม่ตามความต้องการของผู้ใช้หรือเงื่อนไขของตำแหน่งที่ใช้งานระบบ
ชิปพิกเซลของเซ็นเซอร์เหล่านี้มี BSI และมี MP ที่มีประสิทธิภาพประมาณ 12.3 MP สำหรับการจับข้อมูล รูปแบบออพติคัลคือ 1/2.3" (แนวทแยง 7.857 มม.) พร้อมขนาดพิกเซล 1.55 ไมครอน พวกเขามีอาร์เรย์ฟิลเตอร์สีของไบเออร์ เซ็นเซอร์สามารถบันทึกวิดีโอ 4K ที่ 60fps โดยไม่มีการประมวลผล AI และการบันทึกวิดีโอ 4K ที่ 30fps ด้วยการประมวลผล AI ชิปท้องถิ่นยังติดตั้ง DSP ดั้งเดิมของ Sony นอกเหนือจากวงจรการทำงานของเซ็นเซอร์ภาพแบบทั่วไป DSP มีไว้สำหรับการประมวลผลสัญญาณ AI และหน่วยความจำสำหรับโมเดล AI โดยเฉพาะ ด้วยเหตุนี้จึงไม่จำเป็นต้องมีโปรเซสเซอร์ประสิทธิภาพสูงและหน่วยความจำภายนอก จึงเป็นประโยชน์ต่อระบบ AI ที่ล้ำสมัย
Sony อธิบายขั้นตอนการทำงานของเซนเซอร์ภาพ สัญญาณที่ได้รับจากชิปพิกเซลจะถูกส่งผ่าน ISP และการประมวลผล AI เสร็จสิ้นในขั้นตอนกระบวนการบน ชิปลอจิกพร้อมข้อมูลที่แยกออกมาจะแสดงออกมาในรูปแบบของเมทาดาทา ซึ่งจะช่วยลดปริมาณข้อมูล จัดการ ข้อมูลรูปภาพจริงจะไม่ถูกส่งออก ซึ่งเป็นประโยชน์ต่อความปลอดภัยและความเป็นส่วนตัว ผู้ใช้สามารถเลือกรูปแบบเอาต์พุตข้อมูล รวมถึงรูปภาพรูปแบบ ISP (YUV/RGB) และรูปภาพแยกพื้นที่เฉพาะ ROI (ภูมิภาคที่สนใจ)
โซนี่ยังส่งเสริมความเร็วอีกด้วย มันบอกว่าเมื่อบันทึกวิดีโอโดยใช้เซนเซอร์ภาพแบบธรรมดา จำเป็นต้องส่งข้อมูลของแต่ละคน เฟรมเอาท์พุตสำหรับการประมวลผล AI ซึ่งส่งผลให้มีการส่งข้อมูลเพิ่มขึ้นและทำให้ยากต่อการบรรลุแบบเรียลไทม์ ผลงาน. ในทางกลับกัน เซ็นเซอร์ IMX ใหม่ ทำหน้าที่ประมวลผล ISP และประมวลผล AI ความเร็วสูง (3.1ms การประมวลผลสำหรับ MobileNet V1*2) บนชิปลอจิก ทำให้กระบวนการทั้งหมดเสร็จสิ้นในวิดีโอเดียว กรอบ ในทางกลับกัน ทำให้สามารถส่งมอบ "การติดตามวัตถุที่มีความแม่นยำสูงแบบเรียลไทม์ในขณะที่บันทึกวิดีโอ" ตามที่ Sony กล่าว
สุดท้ายนี้ ผู้ใช้สามารถเขียนโมเดล AI ที่ต้องการลงในหน่วยความจำแบบฝัง และอัปเดตตามความต้องการหรือเงื่อนไขของตำแหน่งที่ใช้งานระบบได้ Sony ยกตัวอย่างกรณีที่มีการติดตั้งกล้องหลายตัวที่ใช้ผลิตภัณฑ์นี้ในร้านค้าปลีก และกล้องประเภทเดียวสามารถใช้งานได้หลากหลายในสถานที่ เวลา และที่แตกต่างกัน วัตถุประสงค์ เมื่อติดตั้งกล้องที่ทางเข้าสถานที่ จะสามารถใช้เพื่อนับจำนวนผู้เยี่ยมชมที่เข้ามาในสถานที่ เมื่อติดตั้งบนชั้นวางของร้านค้า จะใช้ในการตรวจจับการขาดแคลนสินค้าคงคลัง เมื่ออยู่บนเพดาน สามารถใช้สำหรับผู้เยี่ยมชมร้านค้าแผนที่ความร้อน และอื่นๆ โมเดล AI ในกล้องที่กำหนดสามารถเขียนใหม่จากแบบที่ใช้ตรวจจับแผนที่ความร้อนไปเป็นแบบที่ใช้ระบุพฤติกรรมของผู้บริโภคได้
ดังที่กล่าวไปแล้ว การประกาศเปิดตัวเซ็นเซอร์รับภาพที่กำลังจะเปิดตัวเร็วๆ นี้ถือเป็นความสำเร็จที่น่าทึ่งจริงๆ อย่างไรก็ตาม มันมาพร้อมกับผลของมันเองสำหรับการสอดแนม ปัจจุบัน เซ็นเซอร์นี้มีไว้สำหรับโซลูชันที่ใช้พลังงานต่ำ เช่น กล้องวงจรปิด กล้องสมาร์ทโฟนอาจใช้เทคโนโลยีนี้ในอีกไม่กี่ปีข้างหน้า แต่ตอนนี้ยังไม่อยู่ในการ์ด เนื่องจากข้อจำกัดเนื่องจากชิปลอจิกแบบฝังไม่สามารถจับคู่กับความสามารถรอบด้านที่นำเสนอโดย ISP สมัยใหม่ได้ (เช่น สเปคตร้า ไอเอสพี ใน Qualcomm Snapdragon SoCs) ขณะนี้ กล้องสมาร์ทโฟนทำงานแตกต่างออกไป โดยที่เซ็นเซอร์ในตัวเองค่อนข้างโง่และทำงานร่วมกับ ISP อัจฉริยะซึ่งเป็นส่วนหนึ่งของ SoC ของโทรศัพท์ ISP ทำหน้าที่ประมวลผลภาพทั้งหมด ซึ่งหมายความว่าบทบาทที่แท้จริงของเซ็นเซอร์นั้นค่อนข้างจำกัด ในกล้องสมาร์ทโฟนยุคใหม่ (การประมวลผลภาพมีความสำคัญมากกว่าการมีฮาร์ดแวร์กล้องที่ยอดเยี่ยมสำหรับภาพ คุณภาพ). การถ่ายภาพด้วยคอมพิวเตอร์เป็นคำศัพท์ใหม่ แต่ในโลกอุตสาหกรรม IMX500 และ IMX501 พยายามที่จะนำความรุ่งโรจน์ในการประมวลผล AI มาสู่ตัวเซ็นเซอร์
IMX500 และ IMX501 มีกำหนดเปิดตัวผลิตภัณฑ์ในปีหน้า Sony มีแผนที่จะเปิดตัวผลิตภัณฑ์ตัวอย่างในเดือนเมษายนและมิถุนายน 2020 ตามลำดับ สำหรับข้อมูลเพิ่มเติมเกี่ยวกับข้อมูลจำเพาะ ผู้อ่านควรตรวจสอบลิงก์แหล่งที่มา
แหล่งที่มา: โซนี่