Universal Translator は AI を使用してビデオをリップシンクして翻訳しますが、それを使用することはできません

Google の Universal Translator は、より自然な方法でビデオを翻訳するために同社が特定のパートナーとテストしているプラ​​イベートな実験です。

I/O 開発者カンファレンスで、Google は本日、と呼ばれる実験に取り組んでいることを発表しました。 ユニバーサル翻訳者. その名前が示すように、このツールは、全体的なトーンと雰囲気を維持しながら、ビデオをある言語から別の言語に翻訳することを目的としています。 これは、このユーティリティが音声をある言語から別の言語に翻訳するだけでなく、話者の声、口調、表情も模倣することを意味します。 そうです、出力された人が話しているビデオは、ターゲット言語の発話に基づいて唇の動きを同期させます。

このツールが悪用されて問題のあるディープフェイクが作成される可能性があることを考慮し、Google は Universal Translator へのアクセスを制限しています。 その結果、承認されたパートナーのみがそのパワーを建設的なプロジェクトに利用できるようになり、一般のユーザーは除外されます。 この動きは Universal Translator の有望な可能性を制限しますが、悪意のある行為者を寄せ付けないようにするのに役立ちます。

上の写真のグラフィックが反映しているように、Universal Translator はまず単語を検出して翻訳します。 次に、話者の口調と何を強調しているかをチェックします。 これら 2 つの側面を組み合わせた後、ターゲット言語で音声を生成します。 最後に、AI が生成した音声の発音に基づいて、ビデオ内の話者の唇を同期します。

Universal Translator とは別に、Google は本日、次のような他の AI を活用したツールを発表しました。 マップのナビゲーションが改善されましたよりスマートな Google 検索、 もっと。 注目すべきことに、同社は次のような非常に期待されているハードウェアのいくつかも発売しました。 ピクセル7a、Pixel Fold、Pixel タブレット。 しかし、人工知能を中心に展開する現在のトレンドを考慮すると、同社はかなりの部分を費やしました。 ハードウェアと今後の Android OS に主に焦点を当てるのではなく、AI を活用したツールをプレビューする基調講演の内容 特徴。

メインの基調講演に興味がある人は、終了後に Google の公式 YouTube チャンネルを通じてストリームをもう一度見ることができます。