Universal Translator verwendet KI zur Lippensynchronisation und Übersetzung von Videos, Sie können sie jedoch nicht verwenden

Der Universal Translator von Google ist ein privates Experiment, das das Unternehmen mit bestimmten Partnern testet, um Videos auf natürlichere Weise zu übersetzen.

Während seiner I/O-Entwicklerkonferenz gab Google heute bekannt, dass es an einem Experiment namens arbeitet Universeller Übersetzer. Wie der Name schon sagt, zielt dieses Tool darauf ab, Videos von einer Sprache in eine andere zu übersetzen und dabei den Gesamtton und die Atmosphäre beizubehalten. Das bedeutet, dass das Dienstprogramm nicht nur den Ton von einer Sprache in eine andere übersetzt, sondern auch die Stimme, den Ton und die Mimik des Sprechers nachahmt. Das ist richtig, das ausgegebene Video einer sprechenden Person synchronisiert die Lippenbewegungen basierend auf den Äußerungen der Zielsprache.

Da dieses Tool zur Erstellung problematischer Deepfakes missbraucht werden kann, schränkt Google den Zugriff auf den Universal Translator ein. Folglich können nur autorisierte Partner seine Macht für konstruktive Projekte nutzen, während Benutzer im Allgemeinen ausgeschlossen werden. Dieser Schritt schränkt zwar das vielversprechende Potenzial von Universal Translator ein, trägt aber dazu bei, schlechte Akteure in Schach zu halten.

Wie die Grafik im Foto oben zeigt, erkennt Universal Translator zunächst die Wörter und übersetzt sie. Dann prüft es den Ton des Sprechers und was er betont. Nach der Kombination dieser beiden Aspekte wird die Sprache in der Zielsprache generiert. Schließlich synchronisiert es die Lippen des Sprechers im Video basierend auf der Aussprache der KI-generierten Stimme.

Neben Universal Translator hat Google heute weitere KI-gestützte Tools auf den Markt gebracht, darunter verbesserte Navigation in Karten, A intelligentere Google-Suche, und mehr. Bemerkenswert ist, dass das Unternehmen auch einige seiner mit Spannung erwarteten Hardware auf den Markt brachte, wie z Pixel 7a, Pixel Fold und Pixel Tablet. Angesichts der aktuellen Trends rund um künstliche Intelligenz hat das Unternehmen jedoch einen erheblichen Teil investiert In seiner Keynote ging es darum, eine Vorschau auf seine KI-gestützten Tools zu geben, anstatt sich hauptsächlich auf seine Hardware und das kommende Android-Betriebssystem zu konzentrieren Merkmale.

Wer sich die Haupt-Keynote ansehen möchte, kann sich den Stream nach Ende noch einmal über den offiziellen YouTube-Kanal von Google ansehen.