ในบล็อกโพสต์ล่าสุด Google ได้ให้รายละเอียดเกี่ยวกับเทคโนโลยีเบื้องหลังฟีเจอร์ Portrait Light ใหม่ที่เปิดตัวพร้อมกับ Pixel 5 และ Pixel 4a 5G
หลังจากการรั่วไหลและข่าวลือหลายครั้ง ในที่สุด Google ก็ได้เปิดตัว Pixel 5 และ Pixel 4a 5G เมื่อต้นปีนี้ในเดือนกันยายน ตามที่คาดไว้ อุปกรณ์ต่างๆ มาพร้อมกับโฮสต์ของ คุณลักษณะใหม่ของ Google กล้องถ่ายรูป ที่ทำให้พวกเขาแตกต่างจากโทรศัพท์ Android รุ่นอื่นๆ ในตลาด ซึ่งรวมถึง Cinematic Pan เพื่อการแพนวิดีโอโดยไม่สั่นไหว, โหมด Locked และ Active Stabilization, Night รองรับการมองเห็นในโหมดภาพถ่ายบุคคล และฟีเจอร์แสงภาพถ่ายบุคคลเพื่อปรับการถ่ายภาพบุคคลโดยใช้แสง โดยอัตโนมัติ ไม่กี่สัปดาห์หลังจากการเปิดตัว Google ได้เปิดตัวฟีเจอร์เหล่านี้ส่วนใหญ่สำหรับ อุปกรณ์ Pixel รุ่นเก่า ผ่านการอัปเดต Google Photos และตอนนี้บริษัทได้แชร์รายละเอียดบางอย่างเกี่ยวกับเทคโนโลยีเบื้องหลังฟีเจอร์ Portrait Light
ตามล่าสุด โพสต์บล็อก จากบริษัท คุณสมบัติไฟถ่ายภาพบุคคลได้รับแรงบันดาลใจจากไฟนอกกล้องที่ช่างภาพพอร์ตเทรตใช้ ช่วยปรับปรุงการถ่ายภาพบุคคลโดยการสร้างแบบจำลองแหล่งกำเนิดแสงที่เปลี่ยนตำแหน่งได้ซึ่งสามารถเพิ่มลงในฉากได้ เมื่อเพิ่มโดยอัตโนมัติ แหล่งกำเนิดแสงประดิษฐ์จะปรับทิศทางและความเข้มโดยอัตโนมัติเพื่อเสริมแสงที่มีอยู่ของภาพถ่ายโดยใช้การเรียนรู้ของเครื่อง
ตามที่ Google อธิบาย คุณลักษณะนี้ใช้โมเดลการเรียนรู้ของเครื่องแบบใหม่ที่ได้รับการฝึกฝนโดยใช้ชุดข้อมูลที่หลากหลายของภาพถ่ายที่ถ่ายใน เวทีแสง ระบบส่องสว่างด้วยการคำนวณ โมเดลเหล่านี้เปิดใช้งานความสามารถทางอัลกอริทึมสองประการ:
- การวางตำแหน่งแสงทิศทางอัตโนมัติ: ตามอัลกอริธึมการเรียนรู้ของเครื่อง คุณลักษณะนี้จะวางแสงเทียมโดยอัตโนมัติ แหล่งกำเนิดแสงที่สอดคล้องกับวิธีที่ช่างภาพมืออาชีพจัดวางแหล่งกำเนิดแสงนอกกล้องไว้ในชีวิตจริง โลก.
- การจัดแสงใหม่หลังการถ่ายภาพสังเคราะห์: ขึ้นอยู่กับทิศทางและความเข้มของแสงที่มีอยู่ใน การถ่ายภาพบุคคล อัลกอริธึมการเรียนรู้ของเครื่องเพิ่มแสงสังเคราะห์ที่ดูสมจริงและ เป็นธรรมชาติ.
สำหรับการวางตำแหน่งไฟบอกทิศทางอัตโนมัติ Google ได้ฝึกโมเดลแมชชีนเลิร์นนิงเพื่อประมาณค่า ช่วงไดนามิกสูงโปรไฟล์การส่องสว่างรอบทิศทางสำหรับฉากตามแนวตั้งอินพุต ใหม่นี้ แบบจำลองการประมาณค่าแสง สามารถค้นหาทิศทาง ความเข้มสัมพัทธ์ และสีของแหล่งกำเนิดแสงทั้งหมดในฉากที่มาจากทุกทิศทาง โดยคำนึงถึงใบหน้าเป็นก หัววัดแสง. นอกจากนี้ยังประมาณตำแหน่งส่วนหัวของเรื่องโดยใช้ MediaPipe Face Mesh. จากข้อมูลที่กล่าวมาข้างต้น อัลกอริธึมจะกำหนดทิศทางของแสงสังเคราะห์
เมื่อกำหนดทิศทางและความเข้มของแสงสังเคราะห์แล้ว โมเดลการเรียนรู้ของเครื่องถัดไปจะเพิ่มแหล่งกำเนิดแสงสังเคราะห์ให้กับภาพถ่ายต้นฉบับ โมเดลที่สองได้รับการฝึกฝนโดยใช้ภาพถ่ายบุคคลหลายล้านคู่ ทั้งแบบมีและไม่มีแสงเพิ่มเติม ชุดข้อมูลนี้สร้างขึ้นโดยการถ่ายภาพผู้คนเจ็ดสิบคนโดยใช้ระบบไฟส่องสว่างแบบคำนวณของ Light Stage ซึ่งเป็นอุปกรณ์จัดแสงทรงกลมที่ประกอบด้วยกล้อง 64 ตัวพร้อมมุมมองที่แตกต่างกัน และไฟ LED แบบตั้งโปรแกรมแยกได้ 331 ดวง แหล่งที่มา
วัตถุทั้งเจ็ดสิบตัวถูกถ่ายภาพโดยให้แสงสว่างทีละดวง (OLAT) ด้วยไฟ LED แต่ละดวงจากทั้งหมด 331 ดวง สิ่งนี้ทำให้พวกเขา สนามสะท้อนแสงกล่าวคือ รูปลักษณ์ที่ส่องสว่างโดยส่วนที่แยกจากกันของสภาพแวดล้อมทรงกลม สนามการสะท้อนแสงเข้ารหัสสีที่เป็นเอกลักษณ์และคุณสมบัติการสะท้อนแสงของผิวหนัง ผม และเสื้อผ้าของตัวแบบ และกำหนดว่าวัสดุแต่ละชนิดมีความแวววาวหรือหมองเพียงใดในภาพถ่าย
จากนั้นภาพ OLAT เหล่านี้จะถูกรวมเข้าด้วยกันเป็นเส้นตรงเพื่อแสดงภาพที่สมจริงของวัตถุตามที่ปรากฏในภาพใดๆ สภาพแวดล้อมแสงตามภาพโดยมีปรากฏการณ์การขนส่งแสงที่ซับซ้อนเช่น การกระเจิงใต้ผิวดิน เป็นตัวแทนอย่างถูกต้อง
จากนั้น แทนที่จะฝึกอัลกอริธึมแมชชีนเลิร์นนิงเพื่อคาดการณ์รูปภาพ Relit เอาต์พุตโดยตรง Google กลับฝึกโมเดลให้เอาต์พุตความละเอียดต่ำ ภาพเชาวน์ ที่สามารถนำไปใช้กับภาพอินพุตต้นฉบับเพื่อสร้างเอาต์พุตที่ต้องการ วิธีการนี้มีประสิทธิภาพในการคำนวณและสนับสนุนเฉพาะการเปลี่ยนแปลงแสงความถี่ต่ำโดยไม่ต้องเปลี่ยน ส่งผลกระทบต่อรายละเอียดภาพความถี่สูงที่ถ่ายโอนโดยตรงจากภาพอินพุตเพื่อรักษาไว้ คุณภาพ.
นอกจากนี้ Google ยังฝึกอบรมโมเดลการเรียนรู้ของเครื่องเพื่อจำลองพฤติกรรมทางแสงของแหล่งกำเนิดแสงที่สะท้อนจากพื้นผิวที่ค่อนข้างด้าน ในการทำเช่นนั้น บริษัทได้ฝึกแบบจำลองเพื่อประมาณค่าความปกติของพื้นผิวจากภาพถ่ายอินพุต จากนั้นจึงนำไปใช้ กฎของแลมเบิร์ต เพื่อคำนวณ "แผนที่การมองเห็นแสง" สำหรับทิศทางแสงที่ต้องการ จากนั้นแผนที่การมองเห็นแสงนี้จะถูกจัดเตรียมไว้เป็นข้อมูลป้อนเข้าสู่ตัวทำนายผลเชาวน์เพื่อให้แน่ใจว่าแบบจำลองได้รับการฝึกฝนโดยใช้ข้อมูลเชิงลึกตามหลักฟิสิกส์
แม้ว่าทั้งหมดนี้อาจดูเหมือนเป็นกระบวนการที่ใช้เวลานานซึ่งจะใช้เวลาในการประมวลผลฮาร์ดแวร์ระดับกลางของ Pixel 5 พอสมควร แต่ Google อ้างว่าฟีเจอร์แสงแนวตั้งได้รับการปรับให้ทำงานที่อัตราเฟรมเชิงโต้ตอบบนอุปกรณ์มือถือ โดยมีขนาดโมเดลรวมไม่เกิน 10MB.