Universal Translator는 AI를 사용하여 동영상을 립싱크하고 번역하지만 사용할 수는 없습니다.

Google의 Universal Translator는 보다 자연스러운 방식으로 동영상을 번역하기 위해 회사가 특정 파트너와 테스트하고 있는 비공개 실험입니다.

I/O 개발자 컨퍼런스에서 Google은 오늘 다음과 같은 실험을 진행 중이라고 발표했습니다. 유니버설 번역기. 이름에서 알 수 있듯이 이 도구는 전체적인 톤과 분위기를 유지하면서 비디오를 한 언어에서 다른 언어로 번역하는 것을 목표로 합니다. 이는 유틸리티가 오디오를 한 언어에서 다른 언어로 번역할 뿐만 아니라 말하는 사람의 음성, 톤, 얼굴 표정도 모방한다는 것을 의미합니다. 그렇습니다. 말하는 사람의 출력 영상은 대상 언어의 발화에 따라 입술의 움직임을 동기화합니다.

이 도구가 문제가 있는 딥페이크를 만드는 데 오용될 수 있다는 점을 고려하여 Google은 Universal Translator에 대한 액세스를 제한하고 있습니다. 결과적으로 승인된 파트너만이 건설적인 프로젝트에 그 힘을 활용할 수 있게 되며 일반 사용자는 제외됩니다. 이러한 움직임은 Universal Translator의 유망한 잠재력을 제한하지만 악의적인 행위자를 막는 데 도움이 됩니다.

위 사진의 그래픽이 반영된 것처럼 Universal Translator는 먼저 단어를 감지하고 번역합니다. 그런 다음 화자의 어조와 강조하는 바가 무엇인지 확인합니다. 이 두 가지 측면을 결합한 후 대상 언어로 음성을 생성합니다. 마지막으로 AI가 생성한 음성의 발음을 기반으로 영상 속 화자의 입술을 동기화한다.

Universal Translator 외에도 Google은 오늘 다음을 포함한 다른 AI 기반 도구를 출시했습니다. 지도 내 탐색 개선, ㅏ 더 스마트해진 Google 검색, 그리고 더. 특히 이 회사는 다음과 같은 매우 기대되는 일부 하드웨어도 출시했습니다. 픽셀 7a, 픽셀 폴드 및 픽셀 태블릿. 그러나 인공 지능을 중심으로 하는 현재 추세를 고려하여 회사는 상당한 부분을 투자했습니다. 주로 하드웨어와 곧 출시될 Android OS에 초점을 맞추는 대신 AI 기반 도구를 미리 보여주는 기조 연설 특징.

주요 기조연설을 확인하고 싶은 분들은 스트리밍이 끝난 후 Google 공식 YouTube 채널을 통해 스트리밍을 다시 시청하실 수 있습니다.