В недавнем сообщении в блоге Google подробно описал технологию, лежащую в основе новой функции Portrait Light, которая дебютировала в Pixel 5 и Pixel 4a 5G.
После нескольких утечек и слухов Google наконец представила Pixel 5 и Pixel 4a 5G в начале этого года, в сентябре. Как и ожидалось, устройства поставлялись с множеством новые функции Google Камеры это отличает их от других телефонов Android на рынке. К ним относятся кинематографическое панорамирование для плавного панорамирования видео, режимы заблокированной и активной стабилизации, ночной режим. Поддержка прицела в портретном режиме и функция «Портретный свет» для настройки освещения портретных снимков. автоматически. Через несколько недель после запуска Google выпустила большинство этих функций для старые устройства Pixel через обновление Google Фото. И теперь компания поделилась некоторыми подробностями о технологии, лежащей в основе функции Portrait Light.
Согласно недавнему Сообщение блога Функция Portrait Light от компании была вдохновлена выносным освещением, используемым фотографами-портретистами. Он улучшает портретные снимки, моделируя перемещаемый источник света, который можно добавить в сцену. При автоматическом добавлении источник искусственного света автоматически регулирует направление и интенсивность в соответствии с существующим освещением фотографии с помощью машинного обучения.
Как объясняет Google, эта функция использует новые модели машинного обучения, которые были обучены с использованием разнообразного набора данных фотографий, сделанных в Световая сцена вычислительная система освещения. Эти модели обеспечивают две алгоритмические возможности:
- Автоматическое размещение направленного света. На основе алгоритма машинного обучения эта функция автоматически размещает искусственный источник света. источник света, который соответствует тому, как профессиональный фотограф разместил бы источник света вне камеры в реальном мире. мир.
- Синтетическое повторное освещение после съемки: основано на направлении и интенсивности существующего света в при портретной съемке алгоритм машинного обучения добавляет синтетический свет, который выглядит реалистично и естественный.
Для автоматического размещения направленного света Google обучил модель машинного обучения оценивать расширенный динамический диапазон, профиль всенаправленного освещения для сцены на основе входного портрета. Этот новый модель оценки освещения может определить направление, относительную интенсивность и цвет всех источников света в сцене, исходящих со всех сторон, рассматривая лицо как световой зонд. Он также оценивает заголовок субъекта с помощью Сетка для лица MediaPipe. На основе вышеупомянутых данных алгоритм затем определяет направление синтетического света.
Как только направление и интенсивность синтетического освещения установлены, следующая модель машинного обучения добавляет синтетический источник света к исходной фотографии. Вторая модель обучалась на миллионах пар портретов как с дополнительным освещением, так и без него. Этот набор данных был создан путем фотографирования семидесяти разных людей с использованием системы вычислительного освещения Light Stage. представляет собой сферическую осветительную установку, включающую 64 камеры с разными точками обзора и 331 индивидуально программируемый светодиодный источник света. источники.
Каждый из семидесяти субъектов был захвачен при поочередном освещении (OLAT) каждым из 331 светодиода. Это породило их поле отражения, т. е. их вид при освещении дискретными участками сферической среды. Поле отражения кодировало уникальный цвет и светоотражающие свойства кожи, волос и одежды объекта и определяло, насколько блестящим или тусклым выглядит каждый материал на фотографиях.
Эти OLAT-изображения затем линейно складывались вместе, чтобы создать реалистичные изображения объекта, какими бы они ни были. среда освещения на основе изображения, со сложными явлениями переноса света, такими как подповерхностное рассеяние правильно представлено.
Затем, вместо того, чтобы обучать алгоритм машинного обучения непосредственно прогнозировать выходные изображения, Google обучил модель выдавать изображение с низким разрешением. частное изображение который можно применить к исходному входному изображению для получения желаемого результата. Этот метод эффективен в вычислительном отношении и позволяет изменять только низкочастотное освещение без воздействие на высокочастотные детали изображения, которые напрямую передаются из входного изображения для поддержания качество.
Кроме того, Google обучил модель машинного обучения имитировать оптическое поведение источников света, отражающихся от относительно матовых поверхностей. Для этого компания обучила модель оценивать нормали к поверхности с учетом входной фотографии, а затем применила Закон Ламберта для расчета «карты видимости света» для желаемого направления освещения. Эта карта видимости света затем предоставляется в качестве входных данных для факторного предсказателя изображений, чтобы гарантировать, что модель обучена с использованием данных, основанных на физике.
Хотя все это может показаться длительным процессом, на обработку которого аппаратному обеспечению среднего класса Pixel 5 потребуется довольно много времени, Google утверждает, что функция «Портретный свет» была оптимизирована для работы с интерактивной частотой кадров на мобильных устройствах, при этом общий размер модели менее 10 МБ.