ბოლო ბლოგ-პოსტში Google-მა დეტალურად გააცნო ახალი პორტრეტის სინათლის ფუნქციის მიღმა არსებული ტექნოლოგია, რომელიც დებიუტი იყო Pixel 5-ით და Pixel 4a 5G-ით.
რამდენიმე გაჟონვისა და ჭორების შემდეგ, Google-მა საბოლოოდ წარადგინა Pixel 5 და Pixel 4a 5G ამ წლის დასაწყისში, სექტემბერში. როგორც მოსალოდნელი იყო, მოწყობილობები მოვიდა მასპინძელთან ერთად Google კამერის ახალი ფუნქციები რაც მათ გამოარჩევდა სხვა Android ტელეფონებისგან ბაზარზე. მათ შორისაა კინემატოგრაფიული პანელი ვიდეოებზე რხევის გარეშე პანორისთვის, ჩაკეტილი და აქტიური სტაბილიზაციის რეჟიმები, ღამე მხედველობის მხარდაჭერა პორტრეტის რეჟიმში და პორტრეტის განათების ფუნქცია განათების პორტრეტის კადრების დასარეგულირებლად ავტომატურად. გაშვებიდან რამდენიმე კვირის შემდეგ, Google-მა გამოუშვა ამ ფუნქციების უმეტესი ნაწილი ძველი Pixel მოწყობილობები Google Photos განახლების მეშვეობით. ახლა კი, კომპანიამ გააზიარა რამდენიმე დეტალი პორტრეტის სინათლის ფუნქციის ტექნოლოგიის შესახებ.
როგორც ბოლო დროს ბლოგის პოსტი კომპანიისგან, პორტრეტის სინათლის ფუნქცია შთაგონებული იყო კამერის გარეთ არსებული განათებით, რომლებსაც იყენებდნენ პორტრეტი ფოტოგრაფები. ის აძლიერებს პორტრეტულ კადრებს ხელახლა განლაგებული სინათლის წყაროს მოდელირებით, რომელიც შეიძლება დაემატოს სცენას. როდესაც ავტომატურად დაემატება, ხელოვნური სინათლის წყარო ავტომატურად არეგულირებს მიმართულებას და ინტენსივობას, რათა შეავსოს ფოტოს არსებული განათება მანქანური სწავლის გამოყენებით.
როგორც Google განმარტავს, ფუნქცია იყენებს მანქანური სწავლების ახალ მოდელებს, რომლებიც გაწვრთნილი იყო ფოტოებში გადაღებული ფოტოების მრავალფეროვანი მონაცემთა ნაკრების გამოყენებით. სინათლის სცენა გამოთვლითი განათების სისტემა. ეს მოდელები იძლევა ორ ალგორითმულ შესაძლებლობას:
- ავტომატური მიმართულების განათების განთავსება: მანქანათმცოდნეობის ალგორითმის საფუძველზე, ფუნქცია ავტომატურად განათავსებს ხელოვნურს სინათლის წყარო, რომელიც შეესაბამება იმას, თუ როგორ მოათავსებდა პროფესიონალ ფოტოგრაფს კამერის გარეთ სინათლის წყარო რეალურში მსოფლიო.
- სინთეზური გადაღების შემდგომი განათება: არსებული შუქის მიმართულებისა და ინტენსივობის საფუძველზე პორტრეტის გადაღება, მანქანათმცოდნეობის ალგორითმი ამატებს სინთეზურ შუქს, რომელიც გამოიყურება რეალისტური და ბუნებრივი.
ავტომატური მიმართულების სინათლის განთავსებისთვის Google-მა მოამზადა მანქანათმცოდნეობის მოდელი, რათა შეაფასოს ა მაღალი დინამიური დიაპაზონი, ყოვლისმომცველი განათების პროფილი შეყვანის პორტრეტზე დაფუძნებული სცენისთვის. ეს ახალი განათების შეფასების მოდელი შეუძლია იპოვნოს სცენაზე ყველა შუქის წყაროს მიმართულება, ფარდობითი ინტენსივობა და ფერი, რომელიც მოდის ყველა მხრიდან, სახე განიხილება, როგორც მსუბუქი ზონდი. ის ასევე აფასებს სუბიექტის მთავარ პოსტს ა MediaPipe სახის ბადე. ზემოაღნიშნული მონაცემების საფუძველზე, ალგორითმი განსაზღვრავს სინთეზური სინათლის მიმართულებას.
მას შემდეგ, რაც სინთეზური განათების მიმართულება და ინტენსივობა დადგინდება, მანქანური სწავლების შემდეგი მოდელი ორიგინალურ ფოტოს ამატებს სინთეტიკური სინათლის წყაროს. მეორე მოდელი გაწვრთნილი იყო მილიონობით წყვილი პორტრეტის გამოყენებით, როგორც დამატებითი განათებით, ასევე მის გარეშე. ეს მონაცემთა ნაკრები შეიქმნა სამოცდაათი განსხვავებული ადამიანის ფოტოგრაფიით Light Stage გამოთვლითი განათების სისტემის გამოყენებით. ეს არის სფერული განათების მოწყობილობა, რომელიც მოიცავს 64 კამერას სხვადასხვა ხედვით და 331 ინდივიდუალურად პროგრამირებადი LED განათებით წყაროები.
სამოცდაათი სუბიექტიდან თითოეული გადაღებული იყო 331 LED-დან თითოეულის მიერ განათებული ერთჯერადი შუქით (OLAT). ამან წარმოქმნა მათი ასახვის ველი, ანუ მათი გარეგნობა, როგორც განათებული სფერული გარემოს დისკრეტული მონაკვეთებით. არეკვლის ველმა დაშიფრა სუბიექტის კანის, თმისა და ტანსაცმლის უნიკალური ფერისა და სინათლის ამრეკლავი თვისებები და განსაზღვრა, თუ რამდენად ბზინვარე ან ბზინვა იყო თითოეული მასალა ფოტოებში.
ეს OLAT გამოსახულებები შემდეგ წრფივად დაემატა, რათა საგნის რეალისტური გამოსახულებები გამოეჩინა, როგორც ისინი გამოჩნდებიან ნებისმიერში. გამოსახულებაზე დაფუძნებული განათების გარემო, რთული მსუბუქი ტრანსპორტის ფენომენებით, როგორიცაა მიწისქვეშა გაფანტვა სწორად წარმოდგენილი.
შემდეგ, იმის ნაცვლად, რომ მანქანური სწავლის ალგორითმი ესწავლებინა გამომავალი რელიტიანი სურათების პირდაპირ პროგნოზირებისთვის, Google-მა მოამზადა მოდელი დაბალი გარჩევადობის გამოსატანად. კოეფიციენტური სურათი რომელიც შეიძლება გამოყენებულ იქნას თავდაპირველ შეყვანის სურათზე სასურველი გამოსავლის მისაღებად. ეს მეთოდი გამოთვლით ეფექტურია და ხელს უწყობს მხოლოდ დაბალი სიხშირის განათების შეცვლას გავლენას ახდენს მაღალი სიხშირის გამოსახულების დეტალებზე, რომლებიც პირდაპირ გადადის შეყვანის გამოსახულების შესანარჩუნებლად ხარისხიანი.
გარდა ამისა, Google-მა გაწვრთნა მანქანათმცოდნეობის მოდელი, რათა დაემსგავსა სინათლის წყაროების ოპტიკური ქცევა, რომელიც ასახავს შედარებით მქრქალი ზედაპირებს. ამისათვის კომპანიამ მოამზადა მოდელი, რათა შეეფასებინა ზედაპირის ნორმალურები შეყვანილი ფოტოზე და შემდეგ გამოიყენა ლამბერტის კანონი "შუქის ხილვადობის რუკის" გამოთვლა განათების სასურველი მიმართულებისთვის. სინათლის ხილვადობის ეს რუკა შემდეგ მიეწოდება გამოსახულების კოეფიციენტის პროგნოზირს, რათა უზრუნველყოს მოდელის ვარჯიში ფიზიკაზე დაფუძნებული შეხედულებების გამოყენებით.
მიუხედავად იმისა, რომ ეს ყველაფერი შეიძლება ხანგრძლივ პროცესად მოგეჩვენოთ, რომლის დამუშავებას Pixel 5-ის საშუალო დონის აპარატურას საკმაოდ ცოტა დრო დასჭირდება, Google ამტკიცებს, რომ პორტრეტის სინათლის ფუნქცია ოპტიმიზირებულია მობილურ მოწყობილობებზე ინტერაქტიული კადრების სიჩქარით გასაშვებად, მოდელის საერთო ზომით ნაკლები 10 მბ.