Universal Translator utilise l'IA pour synchroniser les lèvres et traduire des vidéos, mais vous ne pourrez pas l'utiliser

click fraud protection

Universal Translator de Google est une expérience privée que l'entreprise teste avec certains partenaires pour traduire les vidéos de manière plus naturelle.

Lors de sa conférence des développeurs d'E/S, Google a annoncé aujourd'hui qu'il travaillait sur une expérience appelée Traducteur universel. Comme son nom l'indique, cet outil vise à traduire des vidéos d'une langue à une autre, tout en conservant le ton et l'ambiance générale. Cela signifie que non seulement l'utilitaire traduit l'audio d'une langue à une autre, mais qu'il imite également la voix, le ton et les expressions faciales de l'orateur. C'est vrai, la vidéo émise d'une personne parlant synchronisera les mouvements des lèvres en fonction des énoncés de la langue cible.

Considérant que cet outil peut être utilisé à mauvais escient pour créer des deepfakes problématiques, Google limite l'accès à Universal Translator. Par conséquent, seuls les partenaires autorisés pourront utiliser son pouvoir pour des projets constructifs, tandis que les utilisateurs en général en seront exclus. Bien que cette décision limite le potentiel prometteur d’Universal Translator, elle permet de tenir à distance les mauvais acteurs.

Comme le reflète le graphique de la photo ci-dessus, Universal Translator détecte d'abord les mots et les traduit. Ensuite, il vérifie le ton de l'orateur et sur quoi il insiste. Après avoir combiné ces deux aspects, il génère la parole dans la langue cible. Enfin, il synchronise les lèvres de l'orateur dans la vidéo en fonction des prononciations de la voix générée par l'IA.

Outre Universal Translator, Google a lancé aujourd'hui d'autres outils basés sur l'IA, notamment navigation améliorée dans Maps, un Recherche Google plus intelligente, et plus. Notamment, la société a également lancé certains de ses matériels très attendus, tels que le Pixel 7a, Pixel Fold et tablette Pixel. Cependant, compte tenu des tendances actuelles autour de l’intelligence artificielle, la société a consacré une part importante de son discours pour présenter en avant-première ses outils basés sur l'IA, plutôt que de se concentrer principalement sur son matériel et son prochain système d'exploitation Android caractéristiques.

Ceux qui souhaitent écouter le discours principal peuvent revoir le flux une fois celui-ci terminé via la chaîne YouTube officielle de Google.