Universal Translator использует искусственный интеллект для синхронизации губ и перевода видео, но вы не сможете его использовать.

Универсальный переводчик Google — это частный эксперимент, который компания тестирует с некоторыми партнерами, чтобы переводить видео более естественным образом.

Сегодня на конференции разработчиков систем ввода-вывода компания Google объявила, что работает над экспериментом под названием Универсальный переводчик. Как следует из названия, этот инструмент предназначен для перевода видео с одного языка на другой, сохраняя при этом общий тон и атмосферу. Это означает, что утилита не только переводит звук с одного языка на другой, но и имитирует голос, тон и мимику говорящего. Да, выведенное видео говорящего человека будет синхронизировать движения губ в зависимости от высказываний на целевом языке.

Учитывая, что этот инструмент может быть использован не по назначению для создания проблемных дипфейков, Google ограничивает доступ к Universal Translator. Следовательно, только авторизованные партнеры смогут использовать его мощность для конструктивных проектов, в то время как пользователи в целом будут исключены. Хотя этот шаг ограничивает многообещающий потенциал Universal Translator, он помогает держать под контролем злоумышленников.

Как видно из рисунка на фотографии выше, Universal Translator сначала распознает слова и переводит их. Затем он проверяет тон говорящего и то, на что он обращает внимание. После объединения этих двух аспектов он генерирует речь на целевом языке. Наконец, он синхронизирует губы говорящего в видео на основе произношения голоса, сгенерированного ИИ.

Помимо Universal Translator, Google запустил сегодня другие инструменты на базе искусственного интеллекта, в том числе улучшенная навигация в Картах, а умный поиск Google, и более. Примечательно, что компания также представила некоторые из своих долгожданных устройств, таких как Пиксель 7а, Pixel Fold и Pixel Tablet. Однако, учитывая текущие тенденции, связанные с искусственным интеллектом, компания посвятила значительную часть своего основного выступления, чтобы предварительно просмотреть свои инструменты на базе искусственного интеллекта, а не сосредоточиться главным образом на своем оборудовании и будущей ОС Android. функции.

Те, кто заинтересован в ознакомлении с основным докладом, могут пересмотреть трансляцию после ее завершения на официальном канале Google на YouTube.