Google heeft Live Captions gemaakt om gebruikers met gehoorproblemen te helpen een video te volgen. Nu lijkt het erop dat Google deze functie voor telefoongesprekken zal inschakelen.
Google kondigde voor het eerst zijn "Live ondertiteling"toegankelijkheidsfunctie op Google I/O 2019 vorig jaar. Met behulp van drie machine learning-modellen op het apparaat detecteert deze functie Engelstalige spraak in media en genereert automatisch ondertiteling. De functie werd voor het eerst beschikbaar gemaakt op de Pixel 4, maar later uitgebreid naar de Pixel3a, Pixel3, Pixel2, Samsung Galaxy S20, OnePlus 7T, En OnePlus 8. Sinds de lancering van de functie heeft deze echter geen updates voor de functionaliteit ontvangen. Dat zou echter snel kunnen veranderen, omdat we aanwijzingen hebben gevonden dat Google Live Caption via telefoongesprekken zal laten werken.
Een APK-demontage kan vaak functies voorspellen die in een toekomstige update van een applicatie kunnen verschijnen, maar het is mogelijk dat een van de functies die we hier noemen mogelijk niet in een toekomstige release wordt opgenomen. Dit komt omdat deze functies momenteel niet zijn geïmplementeerd in de live build en op elk moment door de ontwikkelaars kunnen worden ingetrokken in een toekomstige build.
In Android 11 Developer Preview 3 voor de Google Pixel 4 analyseerden we versie 2.13.302920511 van Device Personalisation Services, de applicatie die verantwoordelijk is voor Live Captions. Daarin hebben we strings gezien die aangeven dat gebruikers Live Caption via een telefoongesprek kunnen inschakelen.
<stringname="call_confirmation_cancel">CANCELstring>
<stringname="call_confirmation_confirmation_message">Enable Live Caption over this phone call? Your use of the feature will be annonunced to others on the call.string>
<stringname="call_confirmation_dialog_name">Enable Live Caption confirmation dialogstring>
<stringname="call_confirmation_enable">ENABLEstring>
<stringname="call_other_side_transcription_prefix">Callerstring>
<stringname="call_system_message_prefix">Systemstring>
<stringname="call_turn_indicator_text">…string>
<stringname="call_user_typed_input_prefix">You typedstring>Als u de functie via een telefoongesprek inschakelt, wordt aan alle deelnemers bekend gemaakt dat het gesprek wordt getranscribeerd in ondertiteling. Tijdens het telefoongesprek wordt een audiobestand afgespeeld en dit audiobestand zegt eenvoudigweg de volgende regel:
<stringname="system_message_start_call_speaking_mode">Hi, the person you’re about to speak with has call captions turned on. They’ll see captions of what you say to help them listen along.string>Momenteel is de API waar Live Captions op vertrouwt, AudioPlaybackCaptureConfiguration, laat dit niet toe audio van spraakoproepen vastleggen. Het is echter mogelijk dat a nieuwe systeem-only toestemming toegevoegd in Android 11 Developer Preview 3 zorgt ervoor dat de functie deze beperking kan omzeilen.
Met dank aan PNF Software voor het verstrekken van een gebruikslicentie JEB-decompiler, een professionele reverse engineering-tool voor Android-applicaties.