Universal Translator usa IA para sincronizar labios y traducir videos, pero no podrás usarlo

Universal Translator de Google es un experimento privado que la empresa está probando con ciertos socios para traducir vídeos de una manera más natural.

Durante su conferencia de desarrolladores de E/S, Google anunció hoy que está trabajando en un experimento llamado Traductor universal. Como sugiere su nombre, esta herramienta tiene como objetivo traducir videos de un idioma a otro, manteniendo el tono y la vibra generales. Esto significa que la utilidad no sólo traduce el audio de un idioma a otro, sino que también imita la voz, el tono y las expresiones faciales del hablante. Así es, el vídeo generado de una persona hablando sincronizará los movimientos de los labios según las expresiones del idioma de destino.

Teniendo en cuenta que esta herramienta puede utilizarse indebidamente para crear deepfakes problemáticos, Google está limitando el acceso a Universal Translator. En consecuencia, sólo los socios autorizados podrán utilizar su poder para proyectos constructivos, mientras que los usuarios en general quedarán excluidos. Si bien esta medida limita el potencial prometedor de Universal Translator, ayuda a mantener a raya a los malos actores.

Como refleja el gráfico de la foto de arriba, Universal Translator primero detecta las palabras y las traduce. Luego, verifica el tono del hablante y en qué está enfatizando. Tras combinar estos dos aspectos, genera el discurso en la lengua de destino. Por último, sincroniza los labios del hablante en el vídeo en función de las pronunciaciones de la voz generada por IA.

Además de Universal Translator, Google lanzó hoy otras herramientas impulsadas por IA, incluidas navegación mejorada en Maps, a Búsqueda de Google más inteligente, y más. En particular, la compañía también lanzó parte de su hardware tan esperado, como el Píxel 7a, Pixel Fold y Pixel Tablet. Sin embargo, considerando las tendencias actuales que giran en torno a la Inteligencia Artificial, la empresa dedicó una parte importante de su discurso de apertura para obtener una vista previa de sus herramientas impulsadas por IA, en lugar de centrarse principalmente en su hardware y el próximo sistema operativo Android. características.

Aquellos interesados ​​en ver la conferencia principal pueden volver a ver la transmisión una vez que concluya a través del canal oficial de YouTube de Google.