У нещодавній публікації в блозі Google детально описав технологію нової функції портретного освітлення, яка дебютувала з Pixel 5 і Pixel 4a 5G.
Після кількох витоків і чуток Google нарешті представила Pixel 5 і Pixel 4a 5G на початку цього року у вересні. Як і очікувалося, пристроїв прийшло безліч нові функції Google Camera що відрізняє їх від інших телефонів Android на ринку. До них належать кінематографічне панорамування для панорамування відео без тремтіння, режими заблокованої та активної стабілізації, ніч Підтримка зору в портретному режимі та функція портретного освітлення для налаштування освітлення портретних знімків автоматично. Через кілька тижнів після запуску Google випустив більшість цих функцій для старіші пристрої Pixel через оновлення Google Фото. А тепер компанія поділилася деякими подробицями про технологію, що лежить в основі функції Portrait Light.
Згідно з нещодавнім публікація в блозі від компанії, функція «Портретне освітлення» була створена за мотивами зовнішнього освітлення, яке використовують портретні фотографи. Він покращує портретні знімки, моделюючи змінне джерело світла, яке можна додати до сцени. Коли додається автоматично, штучне джерело світла автоматично регулює напрямок і інтенсивність, щоб доповнити наявне освітлення фотографії за допомогою машинного навчання.
Як пояснює Google, функція використовує нові моделі машинного навчання, які були навчені з використанням різноманітних даних фотографій, зроблених у Світла сцена обчислювальна система освітлення. Ці моделі забезпечують дві алгоритмічні можливості:
- Автоматичне розміщення спрямованого світла: ґрунтуючись на алгоритмі машинного навчання, функція автоматично розміщує штучне освітлення джерело світла, яке відповідає тому, як професійний фотограф розмістив би зовнішнє джерело світла в реальності світ.
- Синтетичне повторне освітлення після зйомки: на основі напрямку та інтенсивності наявного світла в портретний знімок, алгоритм машинного навчання додає синтетичне світло, яке виглядає реалістично природний.
Для автоматичного розміщення спрямованого світла Google навчив модель машинного навчання для оцінки a високий динамічний діапазон, всеспрямований профіль освітлення для сцени на основі вхідного портрета. Цей новий модель оцінки освітлення може визначити напрямок, відносну інтенсивність і колір усіх джерел світла в сцені, що надходять з усіх боків, розглядаючи обличчя як світловий зонд. Він також оцінює головний пост суб'єкта за допомогою a MediaPipe Face Mesh. На основі вищезазначених даних алгоритм визначає напрямок синтетичного світла.
Після встановлення напрямку та інтенсивності синтетичного освітлення наступна модель машинного навчання додає синтетичне джерело світла до вихідної фотографії. Друга модель була навчена з використанням мільйонів пар портретів, як з додатковим світлом, так і без нього. Цей набір даних було створено шляхом фотографування сімдесяти різних людей за допомогою системи обчислювального освітлення Light Stage, яка є сферичною освітлювальною установкою, яка включає 64 камери з різними точками огляду та 331 індивідуально програмований світлодіод джерела.
Кожен із сімдесяти суб’єктів був знятий під час освітлення одним світлом за раз (OLAT) кожним із 331 світлодіодів. Це породило їх поле відбиття, тобто вигляд їх освітлених дискретними ділянками сферичного середовища. Поле відбиття кодувало унікальний колір і світловідбиваючі властивості шкіри, волосся та одягу об’єкта зйомки та визначало, наскільки блискучим або тьмяним видається кожен матеріал на фотографіях.
Потім ці OLAT-зображення були лінійно додані разом, щоб відтворити реалістичні зображення об’єкта, як вони виглядатимуть у будь-якому середовище освітлення на основі зображення, зі складними явищами переносу світла, як-от підповерхневе розсіювання правильно представлено.
Тоді, замість того, щоб навчати алгоритм машинного навчання безпосередньо прогнозувати вихідні пересвітлені зображення, Google навчив модель виводити зображення з низькою роздільною здатністю. часткове зображення які можна застосувати до оригінального вхідного зображення для отримання бажаного результату. Цей метод є обчислювально ефективним і заохочує лише низькочастотні зміни освітлення без впливають на високочастотні деталі зображення, які безпосередньо передаються з вхідного зображення для підтримки якість.
Крім того, Google навчив модель машинного навчання для імітації оптичної поведінки джерел світла, що відбивається від відносно матових поверхонь. Для цього компанія навчила модель оцінювати нормалі поверхні за вхідним фото, а потім застосувала Закон Ламберта щоб обчислити "карту видимості світла" для бажаного напрямку освітлення. Ця карта видимості світла потім надається як вхідні дані для предиктора часткового зображення, щоб гарантувати, що модель навчена з використанням фізики.
Хоча все це може здатися тривалим процесом, на обробку якого апаратне забезпечення середнього класу Pixel 5 займе чимало часу, Google стверджує, що функцію портретного освітлення було оптимізовано для роботи з інтерактивною частотою кадрів на мобільних пристроях із загальним розміром моделі менше 10 МБ.