Judd Heape จาก Qualcomm อธิบายว่า Qualcomm กำลังปรับปรุงประสบการณ์กล้องบนโทรศัพท์ Android ด้วยคุณสมบัติใหม่ใน Spectra ISP อย่างไร
ในฐานะผู้ผลิต system-on-chips (SoCs) ที่ขับเคลื่อนสมาร์ทโฟนและอุปกรณ์สวมใส่ส่วนใหญ่ของโลก Qualcomm ซึ่งตั้งอยู่ในสหรัฐอเมริกาจึงเป็นหนึ่งในยักษ์ใหญ่ของอุตสาหกรรมผู้ผลิตชิปอย่างไม่ต้องสงสัย ตัวอย่างเช่น กลุ่มผลิตภัณฑ์ Snapdragon ของ SoC ถูกใช้โดยผู้ผลิตอุปกรณ์ Android รายใหญ่เกือบทุกรายสำหรับสมาร์ทโฟนระดับเรือธง ระดับกลาง และราคาประหยัด Qualcomm ได้รับคำชมเชยทุกปีที่งาน Tech Summit ประจำปีของบริษัทเกี่ยวกับความก้าวหน้าในด้าน CPU, GPU และ AI เนื่องจากได้รวมเอาสถาปัตยกรรมไมโคร CPU ใหม่ของ ARM และเสริมด้วยการปรับปรุง GPU แบบกำหนดเองทุกปี อย่างไรก็ตาม ความก้าวหน้าในด้านกล้องนั้นไม่ได้สังเกตเห็นมากนัก เนื่องจากมักจะอยู่ภายใต้ เรดาร์.
อย่างไรก็ตาม นี่ไม่ได้หมายความว่างานของ Qualcomm ในกล้องสมาร์ทโฟนนั้นไม่สำคัญ ในทางตรงกันข้าม Spectra ISP ของ Qualcomm ใน Snapdragon SoC ช่วยให้กล้องสมาร์ทโฟนสมัยใหม่จำนวนมากเป็นไปได้ด้วยการเพิ่ม พลังการประมวลผลทางคอมพิวเตอร์, ฟีเจอร์ต่างๆ เช่น การบันทึกวิดีโอ 8K, วิดีโอ HDR10, รองรับกล้อง QCFA ที่มีเมกะพิกเซลสูง และอื่นๆ อีกมากมาย มากกว่า. Qualcomm ได้เลื่อนขั้น Spectra 380 ISP ใน Snapdragon 855
เป็น CV-ISP แรกของโลกและได้ส่งเสริมคุณสมบัติการบันทึกวิดีโอ 4K HDR ครั้งแรกของโลก ซึ่งขณะนี้ได้เสริมด้วยการบันทึกวิดีโอ 4K HDR10+ รุ่นที่ 2 แล้ว Spectra 480 ISP ในเจนเนอเรชั่นล่าสุด สแนปดรากอน 865 มีความสามารถสูง โดยสามารถประมวลผลได้ 2 กิกะพิกเซลต่อวินาที ซึ่งเพิ่มขึ้นจากรุ่นก่อนถึง 40% เป็นทรัพย์สินทางปัญญา (IP) ที่ทำให้ Qualcomm แตกต่างจากคู่แข่งในด้านผู้จำหน่ายชิปมือถือในขณะที่ Qualcomm อธิบายคุณลักษณะพาดหัวส่วนใหญ่ในข่าวประชาสัมพันธ์และประเด็นสำคัญเกี่ยวกับผลิตภัณฑ์ จนถึงขณะนี้ผู้บริโภคยังไม่มีโอกาสทราบรายละเอียดระดับต่ำส่วนใหญ่ที่สร้างสิ่งเหล่านี้ งาน.
นั่นเป็นเหตุผลที่พวกเราที่ XDA Developers ยินดีรับข้อเสนอพูดคุยกับ Judd Heape ผู้อำนวยการอาวุโสฝ่ายการจัดการผลิตภัณฑ์ของ Qualcomm Mishaal Rahman บรรณาธิการบริหารของ XDA และฉันได้สัมภาษณ์ Judd ในเดือนมิถุนายน 2020 เพื่อเรียนรู้และดูว่า Qualcomm ผลักดันเสาประตูด้วยการถ่ายภาพและบันทึกวิดีโอด้วยสมาร์ทโฟนอย่างไร เราได้พูดคุยเกี่ยวกับหัวข้อต่างๆ เช่น การประมวลผลภาพ AI, การลดสัญญาณรบกวนแบบหลายเฟรม (MFNR), AV1, การบันทึกวิดีโอ Dolby Vision, Pixel Binning ในกล้องเมกะพิกเซลสูง และอื่นๆ อีกมากมาย มาดูข้อมูลเชิงลึกของ Judd ในแต่ละหัวข้อกันทีละหัวข้อ:
ปริมาณงานการประมวลผลภาพ AI
มิชาล ราห์มาน: ฉันจะเริ่มต้นด้วยอันหนึ่งที่ Idrees มีซึ่งน่าสนใจและฉันก็สนใจด้วย ดังนั้นเราจึงสงสัยว่าปริมาณงานการประมวลผลภาพ AI ที่ Qualcomm ใช้ใน Spectra ISP คืออะไร และผู้ผลิตอุปกรณ์สามารถปรับแต่งได้ในระดับใด
จัดด์ ฮีป: ใช่แล้ว เราจึงดูปริมาณงาน AI จำนวนมากและมี AI บางตัวที่สามารถทำงานใน ISP เองได้ เช่น 3A เจเนอเรชันถัดไปของเรา: การเปิดรับแสงอัตโนมัติ สมดุลแสงสีขาวอัตโนมัติ และการโฟกัสอัตโนมัติคือ AI ซึ่งเป็นรากฐาน.
แต่เรายังพิจารณาปริมาณงาน AI อื่นๆ อีกสองสามรายการซึ่งจะทำงานนอก ISP ในองค์ประกอบการประมวลผลอื่นๆ โดยเฉพาะอย่างยิ่งเราดูสิ่งต่าง ๆ เช่น: เรามีคอร์ลดเสียงรบกวนที่ใช้ AI ซึ่งทำงานภายนอกจาก ISP ในส่วน AI engine (AIE) ของชิป
นอกจากนี้เรายังมีสิ่งต่างๆ เช่น การตรวจจับใบหน้า ซึ่งเป็นกลไกการเรียนรู้เชิงลึกเต็มรูปแบบที่ทำงานใน AIE คอมเพล็กซ์ แต่แน่นอนว่าช่วยกล้องด้วย และยังมีอย่างอื่นที่เรากำลังดำเนินการอยู่นอกเหนือจากการตรวจจับใบหน้าและการลดสัญญาณรบกวน เรายังมองหาการทำสิ่งต่างๆ เช่น การปรับสแนปช็อตอัตโนมัติโดยใช้ AI ที่จะตั้งค่าโดยอัตโนมัติ พารามิเตอร์ต่อฉากตามเนื้อหา HDR เราจะประมวลผลเพื่อแก้ไขเงา ไฮไลต์ และสี และอื่นๆ สิ่ง.
Morpho หนึ่งในหุ้นส่วนของเรา เพิ่งได้รับรางวัลปริมาณงาน AI มหาศาลที่ Embedded Vision Summit ในปีนี้ พันธมิตรผู้จำหน่ายซอฟต์แวร์อิสระยังมีอัลกอริธึมที่ใช้ AI ที่เข้มข้นจริงๆ มากมาย และมีได้ตั้งแต่อัลกอริธึมอะไรก็ได้เช่นกล้องที่ราบรื่น การเปลี่ยนแปลง เช่นเดียวกับที่ Arcsoft ทำ (ฉันได้กล่าวไว้ในการประชุมสุดยอด Snapdragon Tech ครั้งล่าสุดซึ่งใช้ AI) ไปสู่การแบ่งส่วนความหมายของ Morpho เครื่องยนต์. โซลูชันของ Morpho คือกลไก AI ที่เข้าใจส่วนต่างๆ ของฉาก เช่น สิ่งที่คุณรู้ ผ้ากับผิวหนัง กับท้องฟ้าและหญ้า และ การสร้างและสิ่งนั้น จากนั้น ISP ก็สามารถนำข้อมูลนั้นและประมวลผลพิกเซลเหล่านั้นแตกต่างกันสำหรับพื้นผิว สัญญาณรบกวน และสีสำหรับ ตัวอย่าง.
คำแถลงของควอลคอมม์: สำหรับ ML & AI เราจะไม่ประกาศการอัปเดตใหม่สำหรับฟีเจอร์การตรวจจับใบหน้าและ "3A" (AE, AF และ AWB) ในวันนี้เช่นกัน อย่างไรก็ตาม ตามที่ Judd กล่าว เรามุ่งมั่นที่จะนำความสามารถ ML/AI มาสู่กล้องมากขึ้น ซึ่งรวมถึงฟีเจอร์ทั้งสองนี้ด้วย
การวิเคราะห์และบริบท: AI ในสมาร์ทโฟนมักถูกมองว่าเป็นคำศัพท์นับตั้งแต่หน่วยประมวลผลประสาท (NPU) ตัวแรกและฟีเจอร์ "ที่ใช้ AI" เริ่มเข้ามาในโทรศัพท์ Android อย่างไรก็ตามนั่นไม่ได้หมายความว่า AI เองก็ไม่มีความหมาย ในทางตรงกันข้าม AI มีศักยภาพมากมายในอุปกรณ์เคลื่อนที่ จนถึงจุดที่ผู้จำหน่ายชิปและผู้ผลิตอุปกรณ์ต่างแค่เริ่มต้นดูสิ่งที่เป็นไปได้เท่านั้น
ต้องขอบคุณ AI ที่ทำให้กล้องของสมาร์ทโฟนดีขึ้น บางครั้งก็เร็ว บางครั้งก็ช้าอย่างทรมาน แต่ก็กำลังไปถึงจุดนั้น กล้องสมาร์ทโฟนกำลังเอาชนะข้อจำกัดพื้นฐาน เช่น เซ็นเซอร์ที่ค่อนข้างเล็ก ได้รับการแก้ไขแล้ว ทางยาวโฟกัสและเลนส์ที่ด้อยกว่าด้วยการถ่ายภาพด้วยคอมพิวเตอร์อัจฉริยะที่ขับเคลื่อนโดยการเรียนรู้ของเครื่อง (มล.) การเปิดรับแสงอัตโนมัติ การลดจุดรบกวน การตรวจจับใบหน้า และการแบ่งส่วนเป็นเพียงบางส่วนเท่านั้นที่ AI ในการถ่ายภาพด้วยสมาร์ทโฟนสามารถสร้างผลกระทบได้ ในอีกห้าปีข้างหน้า สาขา AI ที่เพิ่งตั้งขึ้นใหม่เหล่านี้ซึ่งปรับปรุงแง่มุมต่างๆ ของการถ่ายภาพจะเติบโตขึ้นอย่างมาก
การลดสัญญาณรบกวนแบบหลายเฟรม
อิดรีส พาเทล: Qualcomm ได้กล่าวถึงการลดสัญญาณรบกวนแบบหลายเฟรมเป็นคุณสมบัติ ฉันต้องการทราบรายละเอียดเพิ่มเติมเกี่ยวกับวิธีการทำงานของการซ้อนภาพ มันคล้ายกันในทางใดที่จะชอบสิ่งที่ Google ทำกับเทคโนโลยี HDR+ ของพวกเขาหรือแตกต่างอย่างสิ้นเชิง?
จัดด์ ฮีป: เหมือนแต่แตกต่าง ลองนึกภาพกล้องถ่ายภาพต่อเนื่องกันอย่างรวดเร็วและจับภาพได้ห้าถึงเจ็ดเฟรม จากนั้นกลไกของ ISP จะพิจารณาเฟรมเหล่านั้นและเลือกเฟรมที่ดีที่สุด (เรียกว่า "เฟรมจุดยึด") โฟกัสและความชัดเจน จากนั้นก็สามารถเลือก 3-4 เฟรมที่ด้านใดด้านหนึ่งของเฟรมนั้น แล้วจึงเฉลี่ยทั้งหมด ด้วยกัน. มันพยายามเลือกเฟรมที่อยู่ใกล้กันเพียงพอเพื่อให้มีการเคลื่อนไหวน้อยมาก
และเมื่อตกลงบนเฟรมเหล่านั้น มันก็จะเฉลี่ยพวกมันเข้าด้วยกันเพื่อแยกแยะว่าอะไรคือความแตกต่าง เช่น ข้อมูลภาพจริงกับข้อมูลสัญญาณรบกวนคืออะไร ดังนั้นเมื่อคุณมีข้อมูลมากขึ้นเรื่อยๆ จากเฟรมที่มากขึ้นเรื่อยๆ คุณสามารถทำสิ่งง่ายๆ เช่น ดูความแตกต่างระหว่างเฟรมต่างๆ ได้ ความแตกต่างอาจเป็นจุดรบกวน ในขณะที่สิ่งที่เท่ากันในเฟรมอาจเป็นข้อมูลภาพ
ดังนั้นเราจึงสามารถรวมเฟรมแบบเรียลไทม์เพื่อลดสัญญาณรบกวนได้ ตอนนี้คุณสามารถทำสิ่งเดียวกันนี้ในที่แสงน้อยและ HDR ได้ และนั่นก็เหมือนกับสิ่งที่ Google กำลังทำอยู่มาก เราไม่ได้เป็นความลับของอัลกอริธึมของพวกเขา แต่พวกเขากำลังใช้เทคนิคหลายเฟรมเพื่อเพิ่มความไวเพื่อให้คุณ "มองเห็น" ได้ดีขึ้น เมื่อคุณลด Noise Floor แล้ว ตอนนี้คุณสามารถดูการทำแผนที่โทนท้องถิ่นเพิ่มเติม หรือเพิ่มเกนให้กับภาพโดยไม่เพิ่มสัญญาณรบกวนอีกต่อไป
นั่นคือวิธีที่พวกเขาจัดการกับแสงน้อยและ HDR การปรับปรุงคุณสมบัติการลดสัญญาณรบกวนแบบหลายเฟรมจะมาจาก Qualcomm ซึ่งจะรวมถึงแสงน้อยและ HDR ด้วย แต่นั่นคือสิ่งที่เราจะเปิดตัวเร็วๆ นี้
มิชาล ราห์มาน: คุณบอกว่าจะเปิดตัวฟีเจอร์นี้เร็วๆ นี้ สิ่งนี้เข้ามาเหมือนกับการอัปเดต BSP สำหรับพันธมิตรหรือไม่
จัดด์ ฮีป: ในผลิตภัณฑ์รุ่นต่อไปของเรา เราจะมีความสามารถในการมีส่วนร่วมผ่านซอฟต์แวร์เพิ่มเติม - จริงๆ แล้วมันกำลังเกิดขึ้นตอนนี้ในวันถัดไป ผลิตภัณฑ์รุ่น - เรากำลังมีส่วนร่วมกับลูกค้าในขณะนี้เพื่อทำเทคนิคหลายเฟรมเพิ่มเติมนอกเหนือจากการลดสัญญาณรบกวน แต่ยังรวมถึงการจัดการ HDR และแสงน้อยด้วย สถานการณ์ ใช้กลไก ISP HW พื้นฐานเดียวกัน แต่เรากำลังเพิ่มซอฟต์แวร์เพิ่มเติมเพื่อรองรับมัลติเฟรมเหล่านี้มากกว่าการลดสัญญาณรบกวน
ดังนั้นจึงไม่ใช่สิ่งที่เปิดตัว แต่เรากำลังมีส่วนร่วมกับลูกค้าหลักบางรายเกี่ยวกับคุณสมบัติเหล่านั้น
การวิเคราะห์และบริบท: ในการประกาศ Snapdragon SoC ใหม่ทุกครั้ง ตารางข้อมูลจำเพาะของ Qualcomm จะรวมข้อกำหนดที่เกี่ยวข้องกับการลดสัญญาณรบกวนแบบหลายเฟรม ตัวอย่างเช่น Snapdragon 865 พร้อมด้วย CV-ISP 14 บิตคู่ รองรับกล้องเดี่ยวได้ถึง 200MP ตามสมมุติฐาน (แม้ว่าผู้จำหน่ายเซ็นเซอร์กล้องเช่น Sony, Samsung และ OmniVision จะยังไม่ได้เปิดตัวเซ็นเซอร์กล้องสมาร์ทโฟนที่มีความละเอียดสูงกว่า 108MP ก็ตาม) อย่างไรก็ตาม เมื่อพูดถึงการรองรับกล้องตัวเดียวด้วย MFNR, Zero Shutter Lag (ZSL) และรองรับ 30fps สเปคจะเปลี่ยนเป็น 64MP และสำหรับกล้องคู่สเปคเดียวกันสเปคจะเปลี่ยนเป็น 25MP.
การลดสัญญาณรบกวนแบบหลายเฟรมของ Qualcomm นั้นคล้ายกับ HDR+ มาก แต่ก็ไม่เหมือนกันทั้งหมด ตามที่ Judd อธิบายไว้ข้างต้น ในขณะที่ HDR+ ถ่ายภาพแสงน้อยและเฉลี่ยเพื่อให้ได้ภาพที่ดีที่สุด MFNR จะถ่ายภาพปกติห้าหรือเจ็ดเฟรม ดูเหมือนว่า MFNR ของ Qualcomm จะไม่ล้ำหน้าเท่ากับโซลูชันของ Google เนื่องจาก HDR และแสงน้อยไม่ได้ถูกกล่าวถึงว่ามีความสำคัญเฉพาะในปัจจุบัน ขั้นตอนการทำงานสำหรับ Spectra ในขณะที่ HDR+ ของ Google กำหนดเป้าหมายไปที่ HDR การถ่ายภาพในที่แสงน้อย และการลดสัญญาณรบกวนในเวลาเดียวกัน โดยที่ Night Sight จะยกระดับขึ้นไปอีก ไกลออกไป. อย่างไรก็ตาม เป็นเรื่องน่ายินดีที่ได้เรียนรู้ว่า MFNR กำลังได้รับการปรับปรุง และ Qualcomm จะเปิดตัวการปรับปรุงเหล่านี้แก่ "ลูกค้าหลักบางราย" ในอนาคต บางทีเราอาจไม่จำเป็นต้องใช้พอร์ต Google Camera อย่างไม่เป็นทางการเพื่อให้บรรลุศักยภาพสูงสุดของกล้องสมาร์ทโฟน Android ที่ไม่ใช่ของ Google
ความละเอียดสูงสุดสำหรับวิดีโอ
มิชาล ราห์มาน: บางอย่างที่ฉันได้ยินในงาน Tech Summit จริงๆแล้วฉันคิดว่ามันเป็น ในการให้สัมภาษณ์กับ ผู้มีอำนาจ Android. Qualcomm กำลังวางแผนที่จะขยายความละเอียดสูงสุดให้กับวิดีโอในฐานะโซลูชันซอฟต์แวร์สำหรับพันธมิตร และคาดว่าจะเปิดตัวในการอัปเดต ฉันสงสัยว่าคุณมีข้อมูลอัปเดตที่จะแชร์เกี่ยวกับฟีเจอร์นี้หรือไม่
จัดด์ ฮีป: ใช่ นั่นเป็นฟีเจอร์ที่เราสามารถทำได้มาระยะหนึ่งแล้ว และตอนนี้เพิ่งเปิดตัว ฉันจะไม่บอกว่ามันอยู่ในการอัปเดตซอฟต์แวร์ แต่ฉันจะบอกว่ามันเหมือนกับประโยชน์เพิ่มเติมของความสามารถคุณสมบัติมัลติเฟรมและแสงน้อยที่มีอยู่ เรากำลังมีส่วนร่วมกับลูกค้าเป้าหมายบางรายเกี่ยวกับฟีเจอร์นั้น ใช่แล้ว ความละเอียดขั้นสูงของวิดีโอเป็นสิ่งที่อยู่ในอีกรุ่นหนึ่ง หรือประมาณนั้น เราจะได้มันเป็นอย่างที่เราเป็น เรียกแผนคุณลักษณะการบันทึกซึ่งสร้างขึ้นจริงในฐานโค้ดซอฟต์แวร์สำหรับ [the] กล้อง. แต่ตอนนี้มันเป็นเรื่องของระดับการมีส่วนร่วมของลูกค้าเฉพาะเจาะจงสำหรับคุณสมบัติใหม่นั้นมากกว่า
การวิเคราะห์และบริบท: ความละเอียดขั้นสูงสำหรับวิดีโอเป็นคุณสมบัติที่จนถึงขณะนี้ยังไม่ปรากฏในกล้องสมาร์ทโฟน มันเป็นสนามใหม่ขนาดนั้น ยังมีการเขียนงานวิจัยเกี่ยวกับเรื่องนี้อยู่. การใช้เทคนิคหลายเฟรมในการถ่ายภาพก็เรื่องหนึ่ง แต่การใช้เทคนิคเหล่านี้กับวิดีโอเพื่อขยายขนาดวิดีโอให้มีความละเอียดสูงขึ้นนั้นเป็นอีกเรื่องหนึ่งที่แตกต่างไปจากเดิมอย่างสิ้นเชิง Qualcomm กล่าวว่ากำลังเปิดตัวฟีเจอร์นี้ให้กับ "ลูกค้าหลักบางราย" อีกครั้ง แต่ตอนนี้ยังไม่ได้รวมไว้ในฐานโค้ดซอฟต์แวร์สำหรับกล้อง ในอนาคตมันอาจจะใช้ได้กับทุกคน แต่สำหรับตอนนี้ มันเป็นฟีเจอร์ที่ผู้บริโภคปลายทางยังไม่ได้ใช้ด้วยซ้ำ
เซ็นเซอร์ Quad Bayer ล้านพิกเซลสูง
อิดรีส พาเทล: มาพูดถึงเซ็นเซอร์ Quad Bayer กันดีกว่า ตั้งแต่ปี 2019 โทรศัพท์หลายรุ่นมีเซ็นเซอร์ 48MP, 64MP และตอนนี้มีเซ็นเซอร์ 108MP ด้วยซ้ำ เหล่านี้คือเซ็นเซอร์ Quad Bayer; คุณไม่มีความละเอียดสีที่แท้จริงเท่ากับ 48 หรือ 64 หรือ 108MP สิ่งหนึ่งที่ฉันอยากถามคือ ISP แตกต่างกันอย่างไรในแง่ของการประมวลผลภาพสำหรับ Quad Bayer หรือ Nona เหล่านี้ เซ็นเซอร์ของไบเออร์ (Binning พิกเซล 4-in-1 หรือ 9-in-1) เมื่อเปรียบเทียบกับเซ็นเซอร์แบบดั้งเดิมซึ่งไม่มีพิกเซลใดๆ การบรรจุ
จัดด์ ฮีป: ใช่แล้ว ข้อดีของเซ็นเซอร์ Quad CFA (Quad Color Filter Array) เหล่านี้ก็คือความสามารถในการทำงานท่ามกลางแสงจ้า ด้วยความละเอียดสูงสุด จากนั้น ISP ก็สามารถประมวลผลได้เต็ม 108 ล้านพิกเซล หรือ 64 ล้านพิกเซล หรืออะไรก็ตาม มีอยู่.
อย่างไรก็ตาม โดยทั่วไปในสถานการณ์ที่มีแสงสว่างส่วนใหญ่ เช่น ในอาคารหรือที่มืด คุณจะต้องทิ้งเนื่องจากพิกเซลของเซ็นเซอร์มีขนาดเล็กมากจนคุณต้องรวมพิกเซลเพื่อให้ได้ความไวแสงที่ดีขึ้น ดังนั้นฉันจะบอกว่าส่วนใหญ่โดยเฉพาะอย่างยิ่งหากคุณกำลังถ่ายวิดีโอหรือหากคุณอยู่ในที่แสงน้อยเพื่อถ่ายภาพ แสดงว่าคุณกำลังทำงานในโหมด Binned
ขณะนี้ ISP สามารถประมวลผลเซ็นเซอร์ด้วยวิธีใดวิธีหนึ่งก็ได้ คุณสามารถดูเซ็นเซอร์ในโหมด Binned ได้ ซึ่งในกรณีนี้จะเป็นเพียงภาพของ Bayer ธรรมดาที่เข้ามา หรือสามารถดูได้ในโหมดความละเอียดเต็มซึ่งข้อมูลที่เข้ามาจะเป็น Quad CFA และหากอยู่ในโหมดนั้น ISP จะแปลงเป็น Bayer
เรากำลังทำ - สิ่งที่เราเรียกว่า - "การปรับปรุงใหม่" นี่เป็นการแก้ไขรูปภาพ Quad CFA เพื่อให้ดูเหมือนความละเอียดเต็มของ Bayer อีกครั้ง และโดยทั่วไปจะทำในซอฟต์แวร์สำหรับสแน็ปช็อต แม้ว่าในที่สุดเราจะเพิ่มความสามารถนี้ในฮาร์ดแวร์เพื่อรองรับวิดีโอด้วยเช่นกัน
สิ่งที่อยู่ในฮาร์ดแวร์ ISP ในปัจจุบันกำลังถูกรวมเข้าด้วยกัน ดังนั้นคุณจึงสามารถทิ้งเซ็นเซอร์ได้ และคุณสามารถให้เซ็นเซอร์ตัดสินใจว่าจะเอาต์พุตเต็มหรือสี่ส่วนหรือความละเอียด 1/9 หรือคุณจะเก็บใน ISP ก็ได้ และนั่นคือคุณสมบัติที่เราเพิ่มเข้าไปใน Snapdragon 865 จริงๆ ดังนั้นหากคุณ bin ใน ISP แล้วรันเซ็นเซอร์ด้วยความละเอียดเต็มที่ทำให้ ISP มีความสามารถที่จะมีทั้งภาพความละเอียดเต็มและภาพที่ binned ในเวลาเดียวกัน ดังนั้นจึงสามารถใช้ความละเอียดที่น้อยกว่าหรือรูปภาพ "binned" สำหรับวิดีโอ (กล้องวิดีโอ) และการแสดงตัวอย่าง (ช่องมองภาพ) และใช้ภาพความละเอียดเต็มสำหรับสแน็ปช็อตขนาดเต็มไปพร้อมกัน
แต่นั่นจะเป็นในกรณีของสภาพแสงที่สว่างจ้า แต่อย่างน้อยถ้าคุณทิ้งใน ISP คุณจะมีความสามารถในการจัดการทั้งภาพใหญ่และภาพเล็กที่ ในเวลาเดียวกัน ดังนั้น คุณจึงสามารถรับชมวิดีโอและสแนปชอตพร้อมกันได้ คุณยังสามารถรับความละเอียดเต็มได้อีกด้วย ซีเอสแอล; โดยไม่ต้องสลับเซ็นเซอร์ไปมาซึ่งใช้เวลานานพอสมควร
นี่เป็นคุณสมบัติที่ดีจริงๆ และในฐานะที่เป็นเซ็นเซอร์ Quad CFA และแม้แต่คุณก็รู้ เซ็นเซอร์ 9x และอาจจะมากกว่านั้นก็ออกมา และเมื่อเซ็นเซอร์เหล่านี้มีมากขึ้น แพร่หลาย - เรากำลังมองหาการจัดการเซ็นเซอร์เหล่านั้นในฮาร์ดแวร์เพิ่มมากขึ้นเรื่อยๆ ไม่ใช่แค่สำหรับการจัดเก็บเท่านั้น แต่ยังสำหรับ การซ่อมแซม
ดังนั้นข้อดีก็คือ ถ้าคุณทำในฮาร์ดแวร์ เทียบกับทำในซอฟต์แวร์ คุณจะลด เวลาแฝงสำหรับลูกค้าของคุณ ดังนั้น เวลาช็อตต่อช็อตและอัตราการระเบิดจะเร็วขึ้นมาก เมื่อเราก้าวไปข้างหน้าด้วย ISP ใหม่และชิปใหม่ คุณจะเริ่มเห็นสิ่งที่เราทำกับเซ็นเซอร์ประเภทใหม่เหล่านี้ที่ใส่ไว้ในฮาร์ดแวร์มากขึ้น
การวิเคราะห์และบริบท: Huawei เป็นเจ้าแรกที่ใช้เซ็นเซอร์ Quad Bayer ความละเอียด 40MP ร่วมกับ หัวเว่ย P20 โปร ในปี 2018 และความนิยมของเซ็นเซอร์ Quad Bayer สูงมากจนตอนนี้มีวางจำหน่ายแล้วในโทรศัพท์ราคา 150 ดอลลาร์ที่ขับเคลื่อนโดยชิป Snapdragon/Exynos/MediaTek โดยเฉพาะอย่างยิ่ง เราได้เห็นอุตสาหกรรมสมาร์ทโฟนมาถึงที่กล้อง 48MP และ 64MP เป็นจุดที่น่าสนใจ ในขณะที่โทรศัพท์บางรุ่นมีความละเอียดสูงถึง 108MP เซ็นเซอร์ Quad Bayer และ Nona Bayer ไม่ได้มาโดยไม่มีฟิล์มเนกาทีฟ เนื่องจากความละเอียดเต็มของมันมาพร้อมกับคำเตือน
อย่างไรก็ตาม ด้วยเหตุผลทางการตลาด เซ็นเซอร์ 48MP ฟังดูดีกว่าเซ็นเซอร์ 12MP มาก แม้ว่าผู้ใช้จะถ่ายภาพแบบ binned พิกเซล 12MP เกือบตลอดเวลาก็ตาม เซ็นเซอร์ 48MP ตามทฤษฎีควรให้ผลลัพธ์ภาพถ่าย 12MP pixel binned ที่ดีกว่าในสภาพแสงน้อยมากกว่า 12MP ทั่วไป เซ็นเซอร์ แต่การประมวลผลภาพต้องตามทัน และอย่างที่ฉันพูดถึงด้านล่างนี้ ยังมีหนทางอีกยาวไกลในการทำเช่นนั้น เกิดขึ้น. อย่างไรก็ตาม เป็นเรื่องที่น่าสนใจที่ได้เห็นว่า Spectra ISP จัดการกับเซ็นเซอร์ Quad Bayer ด้วยการรีโมเสกอย่างไร เซ็นเซอร์เหล่านี้มีศักยภาพมากมายและโทรศัพท์เช่น OnePlus 8 Pro (ที่ใช้เซ็นเซอร์ Sony IMX689 Quad Bayer ที่มีพิกเซลขนาดใหญ่) ปัจจุบันอยู่ในจุดสูงสุดของกล้องสมาร์ทโฟน.
การจดจำใบหน้าโดยใช้ ML
มิชาล ราห์มาน: ฉันคิดว่าก่อนหน้านี้คุณได้กล่าวไว้แล้วว่า Spectra 480 รองรับการจดจำใบหน้าด้วย ML นั่นเป็นสิ่งที่ฉันได้ยินจริงๆ ในงาน Tech Summit [นั่นคือ] หนึ่งในการปรับปรุงจาก 380 เป็น 480; มันเป็นส่วนหนึ่งของ - มีบล็อกการตรวจจับวัตถุประสงค์ใหม่ในเครื่องมือวิเคราะห์วิดีโอที่ใช้สำหรับการจดจำเชิงพื้นที่ในอนาคต
คุณช่วยพูดคุยเพิ่มเติมเกี่ยวกับการปรับปรุงการจดจำใบหน้าได้มากน้อยเพียงใด และแอปพลิเคชันที่เป็นไปได้ใดบ้างที่คุณเห็นว่าผู้ขายใช้งานอยู่
จัดด์ ฮีป: ใช่แล้ว จริงๆ แล้ว คุณอยู่ในบล็อกคอมพิวเตอร์วิทัศน์แบบฝัง ซึ่งก็คือบล็อก "EVA" ที่เราพูดถึงในงาน Tech Summit ซึ่งมีแกนการตรวจจับวัตถุทั่วไปอยู่ภายใน ซึ่งเราใช้เมื่อกล้องทำงาน เราใช้แกนนั้นเพื่อตรวจจับใบหน้า เทคนิคในบล็อกนั้นเป็นเทคนิคดั้งเดิมมากกว่า ดังนั้นการรู้จำวัตถุจึงทำด้วยวิธีดั้งเดิม ตัวแยกประเภท แต่ยิ่งไปกว่านั้น เรายังมีกลไกซอฟต์แวร์ที่ทำงานเพื่อปรับปรุงความแม่นยำของสิ่งนั้นอีกด้วย ปิดกั้น.
ดังนั้นเราจึงใช้ซอฟต์แวร์ที่ใช้ ML เพื่อกรองผลบวกลวงออก เนื่องจากฮาร์ดแวร์อาจตรวจจับสิ่งต่างๆ ได้มากขึ้นเมื่อเป็นใบหน้าในฉาก จากนั้นซอฟต์แวร์ ML ก็ พูดว่า "โอเค นั่นคือใบหน้า" หรือ "นั่นไม่ใช่ใบหน้าจริงๆ" ดังนั้น จึงเพิ่มความแม่นยำขึ้นสองสามเปอร์เซ็นต์ด้วยการเรียกใช้ตัวกรอง ML นั้นที่ด้านบนของ ฮาร์ดแวร์.
ฉันพูดถึงหลายสิ่งหลายอย่างเกี่ยวกับอนาคต ในอนาคตข้างหน้า สิ่งที่เราวางแผนจะทำคือเรียกใช้การตรวจจับใบหน้าทั้งหมดจริงใน ML หรือในโหมดการเรียนรู้เชิงลึกในซอฟต์แวร์ โดยเฉพาะอย่างยิ่ง นั่นจะเป็นจริงในระดับที่ต่ำกว่า ตัวอย่างเช่น ในระดับที่เราไม่มีฮาร์ดแวร์เอ็นจิ้น EVA เราจะเริ่มเข้าสู่ขั้นตอนของการเรียนรู้เชิงลึก เป็นการตรวจจับซึ่งทำงานในเอ็นจิ้น AI ของชิปและต่อมาในชั้นบนในระดับ 700-800 เรามีฮาร์ดแวร์ EVA เพื่อทำสิ่งนี้...
ฉันจะพูดโดยทั่วไปว่า เราจะมุ่งไปสู่แนวทาง ML มากขึ้นในการตรวจจับใบหน้า และนั่นจะรวมถึงทั้งซอฟต์แวร์ในระยะกลางและฮาร์ดแวร์ในระยะหลัง ฉันจะไม่เปิดเผยว่าผลิตภัณฑ์ใดบ้างที่มี แต่แน่นอนว่าเมื่อเราก้าวไปข้างหน้าในการปรับปรุง ISP เราจะเพิ่มความสามารถด้านฮาร์ดแวร์มากขึ้นเรื่อยๆ เพื่อทำ ML แน่นอน
มิชาล ราห์มาน: สุดยอด. ฉันคิดว่าทิศทางที่คุณกำลังดำเนินการคือการนำการปรับปรุงการเรียนรู้ของเครื่องซีรีส์ 800 ลงไปที่ชั้นล่าง ดังนั้นฉันคิดว่าโดยทั่วไปแล้วนั่นเป็นสิ่งที่กำหนดไว้ แต่แน่นอนว่าไม่มีข้อมูลเฉพาะเจาะจงที่คุณสามารถบอกเราได้ ขอบคุณสำหรับการอัพเดท
จัดด์ ฮีป: การตรวจจับใบหน้าเป็นสิ่งที่เราหลงใหลมาก เราต้องการปรับปรุงความแม่นยำเหล่านี้ คุณจะรู้ว่ามีรุ่นต่อรุ่นในทุกระดับตั้งแต่ระดับ 800 ไปจนถึงระดับ 400 ML เป็นส่วนสำคัญของสิ่งนั้น
การวิเคราะห์และบริบท: ลักษณะเหล่านี้คือสิ่งที่ทำให้การถ่ายภาพด้วยสมาร์ทโฟนมีศักยภาพมากกว่ากล้องมิเรอร์เลสรุ่นล่าสุด ใช่ กล้องมิเรอร์เลสมีคุณภาพของภาพที่ดีกว่าในที่แสงน้อยและมีความยืดหยุ่นมากกว่ามาก แต่กล้องสมาร์ทโฟนกำลังเอาชนะข้อจำกัดด้วยวิธีอันชาญฉลาด การตรวจจับใบหน้าด้วย ML เป็นเพียงส่วนหนึ่งของการตรวจจับใบหน้าเท่านั้น
การปรับปรุงระบบประมวลผลภาพ
มิชาล ราห์มาน: สุดยอด. ดังนั้นสิ่งหนึ่งที่ฉันได้ยินสั้น ๆ ในระหว่างการอภิปรายโต๊ะกลมหลังจาก Snapdragon Tech Summit คือการปรับปรุงระบบประมวลผลภาพ ฉันได้ยินมาว่ามีการปรับปรุงการลดเสียงรบกวนความถี่กลางต่ำหรือ LEANR และคุณกำลังใช้แผนที่อัตราขยายแบบย้อนกลับแบบไดนามิก มันเป็นสิ่งที่คุณพูดถึงก่อนหน้านี้ในการสนทนา
จัดด์ ฮีป: ตกลง. ฉันคิดว่าคุณกำลังผสมสองสิ่งเข้าด้วยกัน ใช่แล้ว มีแกน LEANR ซึ่งเป็นแกนหลักที่ทำงานเกี่ยวกับการลดสัญญาณรบกวนบนเกรนหยาบมากขึ้น ซึ่งช่วยในการมีแสงน้อย นั่นเป็นบล็อกใหม่ที่ถูกเพิ่มเข้ามาใน Snapdragon 865 ใน ISP และนั่นคือสิ่งหนึ่ง
แผนที่อัตราขยายย้อนกลับเป็นอย่างอื่น นั่นเป็นอย่างอื่นที่ผมพูดถึงที่โต๊ะกลม แต่นั่นก็คือการย้อนกลับผลกระทบของการบังแสงของเลนส์ อย่างที่คุณทราบ ถ้าคุณมีโทรศัพท์มือถือและมีเลนส์ขนาดเล็ก ศูนย์กลางของเลนส์จะสว่าง และขอบจะมีขอบมืดมากขึ้น หมายความว่าพวกมันจะเข้มขึ้น
ดังนั้นในหลายปีที่ผ่านมาใน ISP สิ่งที่เราเคยมีก็คือเราได้ใช้แผนที่อัตราขยายแบบย้อนกลับแบบคงที่เพื่อกำจัดขอบมืดเหล่านั้น และนั่นก็อยู่ใน ISP มาระยะหนึ่งแล้ว สิ่งที่เราเพิ่มใน Snapdragon 865 ก็คือความสามารถในการเปลี่ยนเกนแมปนั้นแบบไดนามิกตามกรอบภาพเฉพาะ เพราะถ้าคุณใช้เกนจำนวนมากที่ขอบ สิ่งที่เกิดขึ้นคือขอบอาจถูกตัดออก โดยเฉพาะอย่างยิ่งหากคุณกำลังดูฉากที่มีแสงสว่างจ้าภายนอก เช่น ท้องฟ้าสีครามอาจกลายเป็นสีขาว หรือขอบจะเกิดการคลิปเนื่องจาก ได้รับ.
ดังนั้นใน Snapdragon 865 แผนที่อัตราขยายแบบย้อนกลับนั้นจะไม่คงที่ มันเป็นแบบไดนามิก เรากำลังดูภาพแล้วพูดว่า "เอาล่ะ ส่วนต่างๆ ของภาพกำลังถูกตัดออก และไม่ควรถูกตัดออก" เพื่อที่เราจะได้ม้วนภาพได้ ออกจากแผนที่เกนอย่างเป็นธรรมชาติ เพื่อที่คุณจะได้ไม่เกิดขอบสว่างหรือเอฟเฟ็กต์รัศมีหรืออะไรทำนองนี้จากการแก้ไขเลนส์ การแรเงา นั่นแตกต่างจากการลดสัญญาณรบกวน และมันก็เป็นสองคอร์ที่แตกต่างกัน
การถ่ายภาพในที่แสงน้อยและลดสัญญาณรบกวนเชิงรุก
อิดรีส พาเทล: สิ่งหนึ่งที่ผมอยากถามคือการถ่ายภาพในสภาวะแสงน้อย เช่นเดียวกับในช่วงไม่กี่ปีที่ผ่านมา มีโหมดกลางคืน [ที่ใช้ OEM] มากมาย แต่สิ่งหนึ่งที่ฉันสังเกตเห็นก็คือ ผู้ผลิตอุปกรณ์หลายรายมุ่งลดสัญญาณรบกวนอย่างรุนแรง ซึ่งจะลดรายละเอียดลงจนถึงจุดที่แม้แต่สัญญาณรบกวนจากความสว่างก็อยู่ด้วย ลบออก.
ดังนั้นคำถามของฉันก็คือ Qualcomm กำลังแนะนำให้ผู้ผลิตอุปกรณ์ไม่ทำเช่นนั้น และเป็นสิ่งที่ไปป์ไลน์การประมวลผลของพวกเขาทำ หรือเป็นสิ่งที่ได้รับอิทธิพลจาก ISP ใน SoC
จัดด์ ฮีป: ส่วนใหญ่เกี่ยวข้องกับการปรับแต่ง และหากคุณไม่มีหลายเฟรม หรือฉันจะบอกว่าไม่มีเซ็นเซอร์ภาพที่ดีมาก เนื่องจากมีความไวสูงหรือออพติคที่มีตัวเลข f ต่ำ วิธีหนึ่งในการกำจัดจุดรบกวนในที่แสงน้อยโดยเฉพาะคือการใช้การลดจุดรบกวนมากขึ้น แต่สิ่งที่เกิดขึ้นเมื่อคุณใช้การลดจุดรบกวนมากขึ้นก็คือ คุณจะสูญเสียรายละเอียด ดังนั้นขอบที่คมชัดจึงเบลอ ตอนนี้คุณสามารถกำจัดสิ่งนั้นได้หากคุณใช้เทคนิคหลายเฟรมเหล่านี้ หรือถ้าคุณใช้เทคนิค AI ซึ่งสามารถแยกแยะได้ว่าขอบของวัตถุและใบหน้าอยู่ที่ไหน และอะไรทำนองนั้น ดังนั้นการใช้การลดสัญญาณรบกวนแบบดุร้ายในยุคนี้จึงไม่ใช่วิธีที่จะจัดการได้จริงๆ เพราะท้ายที่สุดแล้วคุณจะสูญเสียรายละเอียดไป
สิ่งที่คุณต้องการทำคือทำเทคนิคหลายเฟรมหรือเทคนิค AI เพื่อให้คุณยังคงใส่นอยส์ได้ ลดขนาดลงเหมือนพื้นที่ภายในของวัตถุมากขึ้น โดยยังคงรักษาขอบที่สะอาดสวยงามหรือรักษาขอบที่คมไว้ วัตถุ นั่นคือสิ่งที่ฉันจะพูด: การใช้ AI หรือหลายเฟรมเป็นวิธีการลดจุดรบกวนและปรับปรุงภาพในที่แสงน้อยในอนาคต
อิดรีส พาเทล: ใช่ และนั่นคือสิ่งที่ฉันอยากได้ยินจริงๆ [เป็น] เพราะนั่นคือสิ่งสำคัญที่แยกกล้องสมาร์ทโฟนที่ยอดเยี่ยมออกจากกล้องระดับกลางหรือระดับราคาประหยัด
จัดด์ ฮีป: ใช่.
อิดรีส พาเทล: กล้องสมาร์ทโฟนที่ยอดเยี่ยมรู้ว่าเมื่อใดควรใช้การลดเสียงรบกวน และเมื่อใดไม่ควรใช้
จัดด์ ฮีป: อย่างแน่นอน. ใช่ และอย่างที่ผมบอกไป จริงๆ แล้วลูกค้าหรือ OEM ของเราเป็นคนทำการปรับแต่งกล้องเอง และ OEM บางรายก็ชอบภาพที่นุ่มนวลกว่าและมีสัญญาณรบกวนน้อยกว่า บางคนชอบที่จะเปิดเผยรายละเอียดมากขึ้นโดยอาจมีสัญญาณรบกวนมากกว่าเล็กน้อย
ดังนั้นมันจึงเป็นการแลกเปลี่ยน ดังนั้นคุณจึงมีข้อจำกัด และเหมือนกับที่ฉันบอกว่าสิ่งที่ดีที่สุดที่ต้องทำคือ [เพื่อ] ได้เซ็นเซอร์ภาพที่ดีขึ้นและมีความไวสูงขึ้น พิกเซลใหญ่ขึ้นหรือเลนส์ค่า f ต่ำลง เพราะคุณจะได้แสงเข้ามามากขึ้นตั้งแต่เริ่มต้น ซึ่งก็จะเป็นเช่นนั้นเสมอ ดีกว่า. แต่ถ้าคุณทำแบบนั้นไม่ได้ แทนที่จะเพิ่มการลดสัญญาณรบกวนและสูญเสียรายละเอียด สิ่งที่คุณต้องการทำคือใช้เทคนิคหลายเฟรมหรือ AI
การวิเคราะห์และบริบท: ในความคิดของฉัน นี่คือปัญหาที่ใหญ่ที่สุดของกล้องสมาร์ทโฟนในปัจจุบัน ใช่ คุณสามารถใช้เซ็นเซอร์ 48MP หรือ 64MP หรือแม้แต่ 108MP ก็ได้ อย่างไรก็ตาม หากคุณไม่เลือกใช้การลดสัญญาณรบกวนแบบจำกัดด้วยเทคนิค MFNR หรือ AI ล้านพิกเซลทั้งหมด 4-in-1 binning และแม้แต่ 9-in-1 binning เหล่านั้นก็ไม่ได้มีประโยชน์มากนัก Galaxy S20 Ultra เป็นตัวอย่างสำคัญที่นี่ เนื่องจากเป็นกล้องหลัก 108MP ถือเป็นความผิดหวังเป็นส่วนใหญ่. Samsung ถอยหลังในการประมวลผลภาพโดยใช้การลดสัญญาณรบกวนที่รุนแรงมากในโหมดกลางคืนในเรือธงปี 2020 ในขณะที่ซีรีส์ Galaxy S10 ปี 2019 มีคุณภาพของภาพที่ดีกว่าอย่างน่าขัน
จัดด์เปิดเผยว่า OEM บางรายชอบภาพที่นุ่มนวลกว่าและมีสัญญาณรบกวนน้อยกว่า ซึ่งโดยพื้นฐานแล้วเป็นทางเลือกที่ผิด การปรับแต่งทำโดยผู้ผลิตอุปกรณ์ ดังนั้นโทรศัพท์สองเครื่องที่ใช้เซ็นเซอร์เดียวกันและใช้พลังงานจาก SoC เดียวกันจึงสามารถส่งออกภาพถ่ายที่แตกต่างกันมากได้ จะต้องหวังว่าผู้ผลิตอุปกรณ์เหล่านี้จะได้เรียนรู้ความจริงจากคู่แข่งที่มีประสิทธิภาพดีกว่าของตน แม้ว่า Samsung จะสูญเสียแนวทางในการประมวลผลภาพในปีนี้ แต่ OnePlus ก็มีความแตกต่างอย่างสิ้นเชิง OnePlus 8 Pro เป็นหนึ่งในกล้องสมาร์ทโฟนที่ดีที่สุดในตลาด ซึ่งเป็นความสำเร็จที่โดดเด่นเมื่อพิจารณาจากผลผลิตกล้องของ OnePlus 5T ที่แย่มากในปี 2560 ทัศนคติในการประมวลผลภาพต้องเปลี่ยนแปลงเพื่อให้ภาพถ่ายออกมาคมชัด ไม่ว่าสงครามพิกเซลจะดุเดือดแค่ไหนก็ตาม
การถอดรหัสและการเข้ารหัส AV1
มิชาล ราห์มาน: นี่จึงค่อนข้างแยกจากการสนทนาอื่นๆ ที่เรามีเกี่ยวกับคุณภาพของกล้องเล็กน้อย สิ่งหนึ่งที่ผู้คนในชุมชนโอเพ่นซอร์สมีเดียโคเดกสงสัยก็คือเมื่อไรที่ Qualcomm จะสนับสนุน การถอดรหัส AV1 และอาจเข้ารหัสด้วย ฉันรู้ว่ามันยืดออกไปนิดหน่อย แต่ Google ต้องการทีวี 4K HDR และ 8K บน Android 10 เพื่อรองรับการถอดรหัส AV1 และ Netflix ยูทูบพวกเขากำลังเริ่มเปิดตัววิดีโอที่เข้ารหัสใน AV1 ดูเหมือนว่าวิดีโอที่เข้ารหัส AV1 จะเพิ่มขึ้นอย่างช้าๆ ดังนั้นเราจึงสงสัยว่าเมื่อใดที่ Spectra จะรองรับการถอดรหัสเป็นอย่างน้อย
คำแถลงของควอลคอมม์: ตามคำถามของคุณเกี่ยวกับ AV1 - เราไม่มีอะไรจะประกาศในวันนี้ อย่างไรก็ตาม ปัจจุบัน Snapdragon สามารถเล่น AV1 ผ่านซอฟต์แวร์ได้ Qualcomm ทำงานร่วมกับพันธมิตรด้านตัวแปลงสัญญาณรุ่นต่อไปอยู่เสมอผ่านการผลิตซอฟต์แวร์และฮาร์ดแวร์ Snapdragon ผู้นำด้านตัวแปลงสัญญาณ HDR รวมถึงการจับภาพและการเล่นใน HEIF, HLG, HDR10, HDR10+ และ Dolby วิสัยทัศน์. แน่นอนว่าเราตระหนักดีที่จะนำประสบการณ์ CODEC ที่ดีที่สุดมาสู่ลูกค้าของเรา รวมถึงการรองรับความละเอียดสูงและพลังงานต่ำสุด ซึ่งเป็นที่ต้องการในการนำไปใช้ใน HW
การบันทึกวิดีโอ-การชดเชยการเคลื่อนไหว
มิชาล ราห์มาน: ฉันไม่รู้ว่า Idrees มีคำถามเพิ่มเติมหรือไม่ แต่ฉันมีคำถามหนึ่งเกี่ยวกับสิ่งที่ฉันอ่านย้อนกลับไปที่ Snapdragon Tech Summit เป็นเรื่องเกี่ยวกับแกนวิดีโอที่ชดเชยการเคลื่อนไหว ฉันได้ยินมาว่ามีการปรับปรุงกลไกการชดเชยการเคลื่อนไหวเช่นเดียวกัน เพื่อลดเสียงรบกวนเมื่อบันทึกวิดีโอ ฉันสงสัยว่าคุณสามารถขยายความว่ามีการปรับปรุงอะไรบ้างและทำอะไรไปแล้วบ้าง
จัดด์ ฮีป: เอ็นจิ้น EVA (Engine for Video Analytics) ได้รับการปรับปรุงด้วยแกนแผนที่การเคลื่อนไหวที่มีความหนาแน่นมากขึ้นเพื่อให้ EVA ตัวอย่างเช่น กลไกจะดูวิดีโอที่เข้ามาอยู่เสมอ และมีแกนหลักในนั้นที่ทำการเคลื่อนไหว การประมาณค่า สิ่งที่เราทำคือเราได้ทำให้คอร์นั้นมีความแม่นยำมากขึ้น โดยที่มันทำได้ในระดับเกือบต่อพิกเซล แทนที่จะทำแบบนั้น ระดับบล็อกหยาบ ดังนั้นเราจึงได้รับเวกเตอร์การเคลื่อนไหวจากเอ็นจิ้น EVA ใน Snapdragon 865 มากขึ้นกว่าที่เราทำในครั้งก่อน รุ่น และนั่นหมายความว่าแกนวิดีโอที่ทำการเข้ารหัสสามารถใช้เวกเตอร์การเคลื่อนไหวเหล่านั้นได้มากขึ้น แม่นยำเกี่ยวกับการเข้ารหัส แต่ ISP ที่ฝั่งกล้องก็ใช้ข้อมูลนั้นสำหรับสัญญาณรบกวนด้วย การลดน้อยลง.
อย่างที่คุณทราบ เป็นเวลาหลายชั่วอายุคนแล้วที่เรามีตัวกรองชั่วคราวที่ชดเชยการเคลื่อนไหว ซึ่งเป็นการลดสัญญาณรบกวนที่ใช้งานจริงในระหว่างวิดีโอ ซึ่งเฉลี่ยเฟรมในช่วงเวลาหนึ่งเพื่อกำจัดสัญญาณรบกวน
แต่ปัญหาของเทคนิคนั้นก็คือ ถ้าคุณมีการเคลื่อนไหวในฉากหรือไม่ การเคลื่อนไหวจบลงด้วยการถูกปฏิเสธจากการลดเสียงรบกวน เนื่องจากไม่สามารถจัดการได้หรือเปื้อน และคุณจะได้รับร่องรอยและสิ่งประดิษฐ์ที่น่าเกลียดเหล่านี้ในการเคลื่อนย้ายสิ่งของ ดังนั้น ในการเคลื่อนไหวเพื่อชดเชยการกรองชั่วคราว สิ่งที่เราเคยทำในอดีตเนื่องจากเราไม่มีแผนที่การเคลื่อนไหวที่หนาแน่นสำหรับท้องถิ่น เรามีการเคลื่อนไหว - เพียงแค่จัดการกรณีเมื่อคุณเคลื่อนย้ายกล้องเท่านั้น มันค่อนข้างง่ายเพราะทุกอย่างเคลื่อนไหว ทั่วโลก
แต่ถ้าคุณกำลังถ่ายภาพอะไรบางอย่างและมีวัตถุเคลื่อนที่อยู่ภายในฉาก สิ่งที่เราทำก่อนหน้านี้ [คือ] เราเพิกเฉยต่อพิกเซลเหล่านั้นเพราะเราไม่สามารถประมวลผลสัญญาณรบกวนได้ เนื่องจากเป็นการเคลื่อนไหวในท้องถิ่น วัตถุ. ดังนั้น หากคุณเฉลี่ยทีละเฟรม วัตถุก็จะอยู่ในตำแหน่งที่แตกต่างกันทุกๆ เฟรม ดังนั้นคุณจึงไม่สามารถประมวลผลมันได้จริงๆ
แต่บน Snapdragon 865 เพราะเรามี Motion map ที่หนาแน่นกว่า และเราก็สามารถดูเวกเตอร์ของการเคลื่อนไหวได้เกือบหนึ่งพิกเซล ตามพิกเซล เราสามารถประมวลผลพิกเซลที่ย้ายในเครื่องเหล่านั้นแบบเฟรมต่อเฟรมเพื่อลดสัญญาณรบกวน ในขณะที่เมื่อก่อนเราทำไม่ได้ ฉันคิดว่าฉันพูดถึงตัวชี้วัดในการพูดคุย ฉันจำหมายเลขไม่ได้ (มันคือ 40%) แต่โดยเฉลี่ยแล้วมีพิกเซลจำนวนมากสำหรับวิดีโอส่วนใหญ่ที่สามารถประมวลผลสัญญาณรบกวนได้ ในขณะที่รุ่นก่อนไม่สามารถทำได้ และนั่นเป็นส่วนหนึ่งของความสามารถในการเข้าใจการเคลื่อนไหวในท้องถิ่น ไม่ใช่แค่การเคลื่อนไหวระดับโลกเท่านั้น
การบันทึกวิดีโอ - HDR
อิดรีส พาเทล: คำถามอีกข้อที่ฉันมีคือเกี่ยวกับวิดีโอ HDR ในปีนี้ ฉันเห็นผู้ผลิตอุปกรณ์จำนวนมากเสนอการบันทึกวิดีโอ HDR10 ดังนั้นจึงเป็นสิ่งที่โปรโมตด้วย Snapdragon 865 หรือมีมาตั้งแต่รุ่นสู่รุ่นแล้ว
จัดด์ ฮีป: โอ้ ใช่แล้ว ตามที่เราคุยกันที่ Tech Summit เรามี HDR10 ซึ่งเป็นมาตรฐานวิดีโอสำหรับ HDR บน ฉันเชื่อว่าด้านการเข้ารหัสกล้องมาสองสามรุ่นแล้วตั้งแต่ Snapdragon 845 และเราได้ปรับปรุงอย่างต่อเนื่อง ที่.
ปีที่แล้ว เราพูดถึง HDR10+ ซึ่งเป็นการบันทึก HDR 10 บิต แต่แทนที่จะเป็นเมตาดาต้าแบบคงที่ กลับกลายเป็นเมตาดาต้าแบบไดนามิก ดังนั้นเมตาดาต้าที่กล้องจับได้ ในระหว่างที่เกิดเหตุจะถูกบันทึกแบบเรียลไทม์ ดังนั้น เมื่อคุณเล่นกลับ ระบบการเล่นจะเข้าใจว่าเป็นห้องมืดหรือห้องสว่าง และสามารถชดเชยได้ ที่.
เมื่อปีที่แล้วที่ Tech Summit ยังได้พูดคุยเกี่ยวกับการจับภาพ Dolby Vision ซึ่งเป็นทางเลือกของ Dolby แทน HDR10+ มันคล้ายกันมากที่พวกเขาสร้างข้อมูลเมตาแบบไดนามิกเช่นกัน ดังนั้น Snapdragon ในปัจจุบันจึงสามารถรองรับทั้งสามรูปแบบเหล่านี้ได้: การบันทึก HDR10, HDR10+ และ Dolby Vision ดังนั้นจึงไม่มีข้อจำกัดจริงๆ OEM ของเราสามารถเลือกวิธีการใดก็ได้ที่ต้องการ เรามีลูกค้าที่ใช้ HDR10 มาระยะหนึ่งแล้ว และปีที่แล้วและปีนี้ก็มีลูกค้าเลือกใช้ HDR10+ มากขึ้นเรื่อยๆ และฉันคิดว่าในอนาคต คุณจะได้เห็นการนำ Dolby Vision Capture มาใช้ด้วยเช่นกัน
ใช่แล้ว เราโปรโมตเรื่องนี้อย่างหนัก HDR มีความสำคัญต่อเรามากทั้งในด้านสแนปชอตและด้านวิดีโอ และอย่างที่ฉันบอกไปแล้ว เรามุ่งมั่นที่จะสร้าง HDR10 และ HDR10+ และตอนนี้ก็รองรับรูปแบบ Dolby Vision นับตั้งแต่ Snapdragon 845 และตอนนี้แม้กระทั่ง Snapdragon 865 สำหรับ Dolby Vision เมื่อเร็ว ๆ นี้
มิชาล ราห์มาน: นอกจากนี้ ฉันยังไม่แน่ใจจริงๆ ว่าผู้จำหน่ายรายใดใช้การบันทึก Dolby Vision หรือไม่ แต่ฉันเดาว่านั่นจะตอบคำถามนั้นได้ [นั่นคือ] สิ่งที่เราจะได้เห็นในอนาคต
จัดด์ ฮีป: แน่นอน - ฉันไม่สามารถแสดงความคิดเห็นได้ว่าผู้ขายคนไหนสนใจและอะไรแบบนั้น นั่นอาจเป็นคำถามสำหรับ Dolby; มันเป็นคุณสมบัติของพวกเขา ดังนั้นหากคุณต้องการข้อมูลเพิ่มเติมเกี่ยวกับเรื่องนั้น ฉันขอแนะนำให้ติดต่อ Dolby แต่เท่าที่ฉันรู้ จนถึงตอนนี้ ยังไม่มีโทรศัพท์มือถือที่มาพร้อมระบบ Dolby Vision Capture
อิดรีส พาเทล: เพราะคุณต้องการการสนับสนุนการแสดงผลเช่นกัน ฉันสังเกตเห็นว่าจอแสดงผลของสมาร์ทโฟนรองรับ HDR10 และ HDR10+ แต่ไม่ใช่ Dolby Vision
จัดด์ ฮีป: ใช่แล้ว แต่ในอดีต Snapdragon รองรับการเล่น Dolby Vision สามารถทำงานร่วมกับจอแสดงผลที่กำหนดได้ และจอแสดงผลไม่จำเป็นต้องเป็นไปตามเกณฑ์ใดๆ ก็ตามจึงจะเป็นไปตามมาตรฐาน Dolby Vision ยกเว้นว่า Dolby จะให้คะแนนจอแสดงผลและตรวจสอบให้แน่ใจว่ามีขอบเขตสี แกมม่า ความลึกของบิตที่แน่นอน ความสว่าง และคอนทราสต์ที่แน่นอน อัตราส่วน
คุณรู้ไหมว่าคุณสามารถซื้อจอแสดงผล HDR10 ได้ แต่คุณสามารถซื้อโทรศัพท์มือถือที่รองรับ Dolby Vision ได้เช่นกัน เล่น แต่ Doby จะมีคุณสมบัติการแสดงผลนั้นเพื่อให้แน่ใจว่าสอดคล้องกับความเข้มงวดของพวกเขา ความต้องการ.
ความร่วมมือกับผู้จำหน่ายซอฟต์แวร์: Imint, Morpho และ Arcsoft
มิชาล ราห์มาน: ผมเดาว่าคงมีคำถามเดียวให้ผมติดตามต่อไป คือ ค้นคว้าเพิ่มเติมด้วยคือบริษัทหนึ่งที่เราได้พูดคุยกันเมื่อเร็วๆ นี้ก็คือ เลียนแบบ. พวกเขาเพิ่งอัพเกรดของพวกเขา ซอฟต์แวร์รักษาเสถียรภาพ Vidhance ถึง ทำงานร่วมกับ Spectra 480. ฉันรู้ว่าพวกคุณทำงานกับบริษัทหลายแห่งที่ใช้ประโยชน์จากการประมวลผล Spectra 480 เช่นกัน ฉันสงสัยว่าคุณจะสามารถเปิดเผยตัวอย่างเพิ่มเติมของเทคโนโลยีเหล่านี้ที่มีหรือพันธมิตรที่คุณมีได้หรือไม่ ทำงานร่วมกันได้ ดังนั้น] บางสิ่งบางอย่างที่เราสามารถติดตามผลได้ เรียนรู้เพิ่มเติมเกี่ยวกับการใช้ Spectra 480 ใน สนาม.
จัดด์ ฮีป: เราทำงานร่วมกับผู้จำหน่ายซอฟต์แวร์จำนวนมาก เช่นเดียวกับที่เราพูดถึงในอดีต Dolby ก็เป็นหนึ่งในนั้น มีตัวอื่นๆ เหมือนที่คุณพูดถึง Imint/Vidhance for EIS (Electronic Image Stabilization) ก่อนหน้านี้เรายังพูดถึง Morpho และ Arcsoft อีกด้วย เราทำงานร่วมกับพวกเขาอย่างใกล้ชิดเช่นกัน
เท่าที่เราทำงานร่วมกับพวกเขา นโยบายของเราคือเราต้องการทำงานอย่างใกล้ชิดกับผู้จำหน่ายซอฟต์แวร์อิสระเหล่านี้ และ ตรวจสอบให้แน่ใจว่าสิ่งที่พวกเขาทำในซอฟต์แวร์สามารถใช้ประโยชน์จากฮาร์ดแวร์ใน Snapdragon เพื่อให้ใช้พลังงานน้อยที่สุด เป็นไปได้.
ดังนั้นสิ่งหนึ่งที่เรากำลังทำกับผู้จำหน่ายเหล่านี้คือเราต้องแน่ใจว่าพวกเขาสามารถเข้าถึงกลไก HVX หรือแกน DSP ของ Hexagon ได้เป็นอย่างดี พวกเขายังใช้เอ็นจิ้น EVA เพื่อรับเวกเตอร์การเคลื่อนไหว และใช้ฮาร์ดแวร์ และในเอ็นจิ้น EVA เพื่อจัดการภาพเช่นนั้น พวกเขาสามารถเคลื่อนไหวภาพ การแปล และการดีวาร์ป และอื่นๆ ในฮาร์ดแวร์ แทนที่จะใช้ GPU ในการทำ ที่.
ดังนั้นเราจึงทำงานอย่างใกล้ชิดกับ ISV เหล่านี้ โดยเฉพาะอย่างยิ่ง ISV ที่ฉันกล่าวถึงเป็นพิเศษ เพื่อให้แน่ใจว่าพวกเขาไม่ได้ใส่ทุกอย่างลงไปเท่านั้น และซอฟต์แวร์ใน CPU แต่พวกเขากำลังใช้สิ่งต่าง ๆ เช่น DSP และตัวเร่งฮาร์ดแวร์ใน EVA เพื่อให้ได้ประสิทธิภาพที่ดีขึ้นและใช้พลังงานน้อยลง การบริโภค. นั่นจึงเป็นสิ่งสำคัญสำหรับเราเช่นกัน เนื่องจากทำให้ลูกค้าของเราได้รับการผสมผสานระหว่างคุณสมบัติและการใช้พลังงานได้ดีที่สุด
[ปิดความเห็นจากจัดด์]: ฉันแค่อยากจะบอกว่าขอบคุณพวกคุณสำหรับคำถามที่ดีจริงๆ พวกมันละเอียดจริงๆ ฉันอยู่ที่ Qualcomm มาประมาณสามปีแล้วและมองดูอดีตของเรา แม้จะเกินกว่าดำรงตำแหน่งที่นี่ซึ่งเราเริ่มต้นกับ Spectra มาก่อน Snapdragon 845 เราทำงานอย่างหนักเพื่อปรับปรุง ISP และกล้องอย่างมาก และเพียงประสบการณ์โดยรวมในช่วงหลายปีที่ผ่านมา ปี. ฉันตื่นเต้นมากกับสิ่งที่จะเกิดขึ้นในอนาคต และฉันตื่นเต้นกับสิ่งที่เราจะประกาศในงาน Tech Summit ในอนาคต ซึ่งพวกคุณสามารถสอบถามและเขียนถึงได้ ในความคิดของฉัน [Spectra Camera] อาจเป็นหนึ่งในเทคโนโลยีที่น่าตื่นเต้นที่สุดของ Qualcomm
ความคิดสุดท้าย
เป็นเรื่องดีที่ได้พูดคุยกับ Judd เกี่ยวกับการมีส่วนร่วมของ Qualcomm ในการถ่ายภาพสมาร์ทโฟน เราอาจมีความรู้สึกผสมปนเปเกี่ยวกับบริษัทและระบบการออกใบอนุญาตสิทธิบัตรของพวกเขา แต่ทุกคนรู้สึกถึงเครื่องหมายของ Qualcomm ในอุตสาหกรรมสมาร์ทโฟน ไม่ว่าคุณจะพูดถึง สิทธิบัตร, 4G และ 5G, Wi-Fi, Adreno GPUs, Spectra ISP และชิป Snapdragon เอง ซึ่งส่วนใหญ่ถือเป็นมาตรฐานทองคำในสมาร์ทโฟน Android ตลาด.
ยังมี Pain Point อีกหลายจุดที่ต้องแก้ไขในการถ่ายภาพด้วยสมาร์ทโฟน แต่อนาคตก็คือ สดใสตามที่ Qualcomm สัญญาว่าจะสร้างความก้าวหน้ามากขึ้นในด้านที่กว้างใหญ่และเติบโตของ ML ซึ่งมีอำนาจ AI. มาดูกันว่า Qualcomm จะประกาศอะไรในด้านนี้ที่ Snapdragon Tech Summit ครั้งต่อไป