Googleは通話中に「ライブキャプション」を使用できるように準備中

Google は、聴覚障害のあるユーザーがビデオを理解できるようにライブ キャプションを作成しました。 今回、Google がこの機能を電話で有効にするようです。

Googleが最初に発表したのは「ライブキャプション「アクセシビリティ機能」 昨年の Google I/O 2019 で. この機能は、3 つのオンデバイス機械学習モデルを使用して、メディア内の英語の音声を検出し、キャプションを自動的に生成します。 この機能は最初に Pixel 4 で利用可能になりましたが、後に Pixel 4 にも拡張されました。 ピクセル 3a、ピクセル 3, ピクセル2, サムスンギャラクシーS20, ワンプラス 7T、 そして ワンプラス8. ただし、この機能が開始されて以来、機能の更新は行われていません。 ただし、Google が通話上での Live Caption の機能を許可するという証拠を発見したため、この状況はすぐに変わる可能性があります。

APK のティアダウンでは、多くの場合、アプリケーションの将来のアップデートで追加される可能性のある機能を予測できますが、ここで言及した機能のいずれも将来のリリースには含まれない可能性があります。 これは、これらの機能が現在ライブ ビルドに実装されておらず、開発者によって将来のビルドでいつでもプルされる可能性があるためです。

Google Pixel 4 の Android 11 Developer Preview 3 では、ライブ キャプションを担当するアプリケーションである Device Personalization Services のバージョン 2.13.302920511 を分析しました。 その中で、ユーザーが通話中にライブ キャプションをオンにできるようになるという文字列を発見しました。

<stringname="call_confirmation_cancel">CANCELstring>
<stringname="call_confirmation_confirmation_message">Enable Live Caption over this phone call? Your use of the feature will be annonunced to others on the call.string>
<stringname="call_confirmation_dialog_name">
Enable Live Caption confirmation dialogstring>
<stringname="call_confirmation_enable">ENABLEstring>
<stringname="call_other_side_transcription_prefix">Callerstring>
<stringname="call_system_message_prefix">Systemstring>
<stringname="call_turn_indicator_text">string>
<stringname="call_user_typed_input_prefix">You typedstring>

電話でこの機能を有効にすると、通話が字幕に書き起こされることがすべての参加者にアナウンスされます。 通話中に音声ファイルが再生されますが、この音声ファイルには次の行が書かれているだけです。

<stringname="system_message_start_call_speaking_mode">Hi, the person you’re about to speak with has call captions turned on. They’ll see captions of what you say to help them listen along.string>

現在、ライブ キャプションが依存する API、AudioPlaybackCaptureConfiguration、 許可しません 音声通話の音声をキャプチャします。 ただし、可能性としては、 Android 11 Developer Preview 3 で追加された新しいシステムのみの権限 機能がこの制限を回避できるようになります。


使用ライセンスを提供してくださった PNF Software に感謝します JEB デコンパイラ、Android アプリケーション用のプロフェッショナル グレードのリバース エンジニアリング ツールです。