Універсальний перекладач використовує AI для синхронізації та перекладу відео, але ви не зможете ним користуватися

Універсальний перекладач Google – це приватний експеримент, який компанія тестує з певними партнерами, щоб перекладати відео більш природним способом.

Під час конференції розробників вводу-виводу компанія Google сьогодні оголосила, що працює над експериментом під назвою Універсальний перекладач. Як випливає з назви, цей інструмент спрямований на переклад відео з однієї мови на іншу, зберігаючи загальний тон і атмосферу. Це означає, що утиліта не тільки перекладає аудіо з однієї мови на іншу, але й імітує голос, тон і вираз обличчя мовця. Правильно, виведене відео людини, що розмовляє, синхронізуватиме рухи губ на основі висловлювань цільової мови.

Враховуючи, що цим інструментом можна зловживати для створення проблемних дипфейків, Google обмежує доступ до Universal Translator. Отже, лише авторизовані партнери зможуть використовувати його потужність для конструктивних проектів, тоді як користувачі загалом будуть виключені. Хоча цей крок обмежує багатообіцяючий потенціал Universal Translator, він допомагає тримати поганих акторів на відстані.

Як показано на зображенні вище, універсальний перекладач спочатку виявляє слова та перекладає їх. Потім він перевіряє тон мовця та те, на чому він наголошує. Після поєднання цих двох аспектів він генерує мовлення цільовою мовою. Нарешті, він синхронізує губи мовця у відео на основі вимови голосу, створеного ШІ.

Окрім універсального перекладача, Google сьогодні запустив інші інструменти на основі ШІ, зокрема покращена навігація в Картах, а розумніший пошук Google, і більше. Примітно, що компанія також випустила деяке зі свого довгоочікуваного апаратного забезпечення, наприклад Pixel 7a, Pixel Fold і Pixel Tablet. Однак, враховуючи поточні тенденції, що обертаються навколо штучного інтелекту, компанія виділила значну частину своєї основної доповіді, щоб переглянути її інструменти на базі штучного інтелекту, а не зосереджуватися на апаратному забезпеченні та майбутній ОС Android особливості.

Ті, хто бажає переглянути основну доповідь, можуть переглянути трансляцію після її завершення через офіційний канал Google на YouTube.