Google åpner kilder for et verktøy som brukes til å aktivere Portrait Mode-lignende funksjoner fra Pixel 2

Google har gitt ut kildekoden for DeepLab-v3, en AI-teknologi som kan brukes for å aktivere Portrett Modus på Google-kameraet, slik at utviklere kan bruke den samme teknologien i sine egne apper for andre formål.

Oppdatering 05:02 CST: Google har tatt kontakt for å klargjøre at selve Portrait Mode-teknologien ikke er åpen hentet, men snarere at teknologien som gjør det mulig – semantisk bildesegmentering – nå er åpen hentet. Tittelen er endret for å gjenspeile denne rettelsen.

De fleste er enige om at Pixel 2-familien har de beste kameraene på enhver smarttelefon akkurat nå. Selve kameraets maskinvare er flott, men det meste av magien skjer på programvaresiden. For eksempel gjør HDR+-funksjonen nesten hvilket som helst kamera bedre når det er portert til andre telefoner. En ny programvarefunksjon på Pixel 2 er «Portrettmodus». Den identifiserer deg og gjør bakgrunnen uskarp for å skape en kul effekt.

Kameraet bruker semantisk bildesegmentering for å oppnå dette. I utgangspunktet kategoriserer den hver piksel med en etikett som «person» eller «himmel». Dette hjelper kameraet med å skille mellom en person i forgrunnen og himmelen i bakgrunnen. Google har gitt ut denne teknologien som åpen kildekode, noe som betyr at utviklere kan bruke samme teknologi i sine egne apper. Portrettmodus er bare ett eksempel på hvordan denne teknologien kan brukes. Utviklere kan gjøre enda mer kule ting.

Denne utgivelsen inkluderer DeepLab-v3+-modeller bygget på toppen av en kraftig konvolusjonelt nevralt nettverk (CNN) ryggradsarkitektur [2, 3] for de mest nøyaktige resultatene, beregnet for distribusjon på serversiden. Som en del av denne utgivelsen deler vi i tillegg vår Tensorflow-modellopplærings- og evalueringskode, som samt modeller som allerede er forhåndsutdannet på Pascal VOC 2012 og Cityscapes benchmark semantisk segmentering oppgaver.


Kilde: Google Research