Universal Translator bruker AI til å leppesynkronisere og oversette videoer, men du vil ikke kunne bruke den

click fraud protection

Googles Universal Translator er et privat eksperiment som selskapet tester med visse partnere for å oversette videoer på en mer naturlig måte.

Under sin I/O-utviklerkonferanse kunngjorde Google i dag at de jobber med et eksperiment kalt Universell oversetter. Som navnet antyder, har dette verktøyet som mål å oversette videoer fra ett språk til et annet, samtidig som det beholder den generelle tonen og stemningen. Dette betyr at verktøyet ikke bare oversetter lyden fra ett språk til et annet, men det etterligner også stemmen, tonen og ansiktsuttrykkene til høyttaleren. Det stemmer, den utsendte videoen av en person som snakker vil synkronisere leppenes bevegelser basert på målspråkets ytringer.

Tatt i betraktning at dette verktøyet kan misbrukes til å lage problematiske deepfakes, begrenser Google tilgangen til Universal Translator. Følgelig vil kun autoriserte partnere få utnytte kraften sin til konstruktive prosjekter, mens brukere generelt vil bli ekskludert. Selv om dette trekket begrenser det lovende potensialet til Universal Translator, bidrar det til å holde dårlige skuespillere i sjakk.

Som grafikken på bildet ovenfor gjenspeiler, oppdager Universal Translator først ordene og oversetter dem. Deretter sjekker den tonen til høyttaleren og hva de stresser med. Etter å ha kombinert disse to aspektene, genererer den talen på målspråket. Til slutt synkroniserer den leppene til høyttaleren i videoen basert på uttalen til den AI-genererte stemmen.

Bortsett fra Universal Translator, lanserte Google i dag andre AI-drevne verktøy, inkludert forbedret navigasjon i Maps, a smartere Google-søk, og mer. Spesielt lanserte selskapet også noe av sin etterlengtede maskinvare, for eksempel Pixel 7a, Pixel Fold og Pixel Tablet. Men med tanke på de nåværende trendene rundt kunstig intelligens, dedikerte selskapet en betydelig del av keynoten for å forhåndsvise de AI-drevne verktøyene, i stedet for mest å fokusere på maskinvaren og kommende Android OS egenskaper.

De som er interessert i å sjekke ut hovedinnlegget, kan se strømmen på nytt etter at den er avsluttet via Googles offisielle YouTube-kanal.