Universal Translator använder AI för att läppsynkronisera och översätta videor, men du kommer inte att kunna använda det

click fraud protection

Googles Universal Translator är ett privat experiment som företaget testar med vissa partners för att översätta videor på ett mer naturligt sätt.

Under sin I/O-utvecklarkonferens meddelade Google idag att de arbetar med ett experiment som heter Universell översättare. Som namnet antyder syftar det här verktyget till att översätta videor från ett språk till ett annat, samtidigt som den övergripande tonen och atmosfären behålls. Det betyder att verktyget inte bara översätter ljudet från ett språk till ett annat, utan det härmar också talarens röst, ton och ansiktsuttryck. Det stämmer, den utmatade videon av en person som talar kommer att synkronisera läpparnas rörelser baserat på målspråkets yttranden.

Med tanke på att detta verktyg kan missbrukas för att skapa problematiska deepfakes, begränsar Google åtkomsten till Universal Translator. Följaktligen kommer endast auktoriserade partners att få använda sin makt för konstruktiva projekt, medan användare i allmänhet kommer att uteslutas. Även om detta drag begränsar den lovande potentialen hos Universal Translator, hjälper det till att hålla dåliga skådespelare på avstånd.

Som grafiken på bilden ovan återspeglar, upptäcker Universal Translator först orden och översätter dem. Sedan kontrollerar den tonen på högtalaren och vad de stressar på. Efter att ha kombinerat dessa två aspekter genererar den talet på målspråket. Slutligen synkroniserar den högtalarens läppar i videon baserat på uttalen av den AI-genererade rösten.

Förutom Universal Translator lanserade Google idag andra AI-drivna verktyg, inklusive förbättrad navigering i Maps, a smartare Google-sökning, och mer. Noterbart lanserade företaget också en del av sin efterlängtade hårdvara, såsom Pixel 7a, Pixel Fold och Pixel Tablet. Men med tanke på de nuvarande trenderna kring artificiell intelligens, dedikerade företaget en betydande del av sin keynote för att förhandsgranska dess AI-drivna verktyg, snarare än att mest fokusera på dess hårdvara och kommande Android OS Funktioner.

De som är intresserade av att kolla in huvudinlägget kan se strömmen igen efter att den avslutats via Googles officiella YouTube-kanal.