У недавном посту на блогу, Гоогле је детаљно описао технологију која стоји иза нове функције Портраит Лигхт која је дебитовала са Пикел 5 и Пикел 4а 5Г.
Након неколико цурења и гласина, Гоогле је коначно представио Пикел 5 и Пикел 4а 5Г раније ове године у септембру. Као што се и очекивало, уређаји су дошли са мноштвом нове функције Гоогле камере што их издваја од других Андроид телефона на тржишту. Ово укључује Цинематиц Пан за померање видео записа без подрхтавања, закључани и активни режими стабилизације, ноћ Подршка за вид у портретном режиму и функција Портраит Лигхт за подешавање осветљења портретних снимака аутоматски. Неколико недеља након лансирања, Гоогле је објавио већину ових функција за старији Пикел уређаји преко ажурирања Гоогле фотографија. А сада, компанија је поделила неке детаље о технологији иза функције Портраит Лигхт.
Према недавном блог пост из компаније, функција Портраит Лигхт је инспирисана светлима ван камере коју користе портретни фотографи. Побољшава портретне снимке моделовањем извора светлости који се може мењати и који се може додати сцени. Када се дода аутоматски, вештачки извор светлости аутоматски прилагођава правац и интензитет како би употпунио постојеће осветљење фотографије помоћу машинског учења.
Како Гугл објашњава, ова функција користи нове моделе машинског учења који су обучени коришћењем разноликог скупа података фотографија снимљених у Лигхт Стаге рачунарски систем осветљења. Ови модели омогућавају две алгоритамске могућности:
- Аутоматско усмерено постављање светла: На основу алгоритма машинског учења, функција аутоматски поставља вештачко извор светлости који је у складу са начином на који би професионални фотограф поставио извор светлости ван камере у стварност свет.
- Синтетичко поновно осветљење након снимања: Засновано на смеру и интензитету постојеће светлости у портретни снимак, алгоритам машинског учења додаје синтетичко светло које изгледа реално и природним.
За аутоматско постављање усмереног светла, Гоогле је обучио модел машинског учења да процени а висок динамички опсег, вишесмерни профил осветљења за сцену засновану на улазном портрету. Ово ново модел процене осветљења може пронаћи правац, релативни интензитет и боју свих извора светлости у сцени који долазе из свих праваца, сматрајући лице светлосна сонда. Такође процењује главни положај субјекта користећи а МедиаПипе Фаце Месх. На основу горе наведених података, алгоритам затим одређује правац за синтетичко светло.
Када се успоставе правац и интензитет синтетичког осветљења, следећи модел машинског учења додаје синтетички извор светлости оригиналној фотографији. Други модел је обучен користећи милионе парова портрета, са и без додатних светла. Овај скуп података је генерисан фотографисањем седамдесет различитих људи помоћу рачунарског система осветљења Лигхт Стаге, који је сферни уређај за осветљење који укључује 64 камере са различитим тачкама гледишта и 331 индивидуално програмабилно ЛЕД светло извори.
Сваки од седамдесет субјеката је снимљен док су осветљени једно светло по једно (ОЛАТ) од стране сваке од 331 ЛЕД диода. Ово је створило њихов поље рефлексије, односно њихов изглед осветљен дискретним деловима сферног окружења. Поље рефлексије је кодирало јединствену боју и својства рефлектирања светлости коже, косе и одеће субјекта и одредило колико је сваки материјал на фотографијама сјајан или досадан.
Ове ОЛАТ слике су затим линеарно сабиране да би се приказале реалистичне слике субјекта какве би се појавиле у било ком окружење осветљења засновано на слици, са сложеним феноменима транспорта светлости попут подземно расипање исправно представљена.
Затим, уместо да обучи алгоритам машинског учења да директно предвиди излазне слике, Гоогле је обучио модел да даје резултате ниске резолуције количник слике који се може применити на оригиналну улазну слику да би се произвео жељени излаз. Овај метод је рачунарски ефикасан и подстиче само промене нискофреквентног осветљења без утичући на детаље слике високе фреквенције који се директно преносе са улазне слике ради одржавања квалитета.
Штавише, Гоогле је обучио модел машинског учења да опонаша оптичко понашање извора светлости који се рефлектују од релативно мат површина. Да би то урадила, компанија је обучила модел да процени нормале површине на основу улазне фотографије и затим применила Ламбертов закон да се израчуна "мапа видљивости светлости" за жељени правац осветљења. Ова мапа видљивости светлости се затим даје као улаз у предиктор квоцијентне слике како би се осигурало да је модел обучен коришћењем увида заснованих на физици.
Иако све ово може изгледати као дуготрајан процес који би хардверу средњег ранга Пикел-а 5 одузео доста времена за обраду, Гоогле тврди да је функција Портраит Лигхт оптимизована за рад при интерактивној брзини кадрова на мобилним уређајима, са укупном величином модела испод 10МБ.