Google werkt aan het gebruik van machine learning-modellen om te voorspellen wanneer de gebruiker een terugveegbeweging wil maken in Android 12.
Google heeft de eerste Developer Preview uitgebracht van Android 12 onlangs, en we hebben in de code gegraven om alles te vinden wat nieuw is. Een van de meest opwindende veranderingen die we hebben opgemerkt, is een herziening van de manier waarop Android veegbewegingen naar achteren detecteert. Indien geïmplementeerd, zal Android 12 machine learning-modellen gebruiken voorspellen wanneer de gebruiker het teruggebaar wil gebruiken.
Met de lancering van Android 10 heeft Google geïntroduceerd het gebarennavigatiesysteem op volledig scherm. Het gebarennavigatiesysteem van Android plaatst een pil onder aan het scherm waarmee u kunt communiceren tussen apps, de recente apps-interface kunt openen of naar het startscherm kunt gaan. De terugknop is ondertussen vervangen door een naar binnen gerichte veegbeweging die vanaf de linker- of rechterkant van het scherm kan worden geactiveerd. Er is veel inkt gemorst
het probleem met het teruggebaar van Android, maar het strekt Google tot eer dat ze dat wel hebben gedaan maakte de ervaring consistent in het hele ecosysteem en hebben geleverde API's voor ontwikkelaars om compatibiliteit met het gebaar te garanderen. Hoewel veel apps zijn afgestapt van het gebruik van a Navigatielade, er zijn nog steeds genoeg apps waarbij het teruggebaar in conflict kan komen met de in-app gebruikersinterface. Om dit probleem op te lossen, test Google een nieuwe, op machine learning gebaseerde aanpak voor detectie van ruggebaren in Android 12.Hoe het teruggebaar van Android momenteel werkt, is als volgt. Er is vrijwel altijd aan beide zijden van het scherm een onzichtbaar triggergebied aanwezig. Dit triggergebied strekt zich uit tussen 18dp-40dp in de breedte vanaf de zijkanten van het scherm, afhankelijk van de door de gebruiker gedefinieerde instelling voor de achtergevoeligheid. De gebruiker kan een ruggebaar activeren door simpelweg een vinger ergens binnen de inzet te plaatsen en die vinger vervolgens over een minimale afstand naar binnen te bewegen. Google gebruikte heatmaps voor telefoonschermen bij het ontwerpen van de inzetstukken voor rugbewegingen zij vestigden zich herkenningsgebieden die volgens gebruikers ergonomisch en éénhandvriendelijk zijn.
Gebarennavigatie in Android 10+. Bron: Google.
Het probleem met deze aanpak, zoals Google zelf toegeven, is dat sommige gebruikers nog steeds vegen om navigatieladen te openen, wat in strijd is met het teruggebaar. Elke app is anders ontworpen, maar het triggergebied voor het teruggebaar zegt nog steeds hetzelfde. Deze one-size-fits-all benadering van het teruggebaar sluit dus niet goed aan bij de manier waarop sommige apps zijn ontworpen, dus daarom experimenteert Google met machinaal leren om het huidige model te vervangen.
Tijdens het onderzoeken van de wijzigingen die Google heeft aangebracht het dubbeltik-terug-gebaar in Android 12, XDA erkende ontwikkelaar Quinny899 ontdekte de aanwezigheid van een nieuw TensorFlow Lite-model en vocabbestand genaamd "backgesture". Het laatste bevat een lijst met 43.000 pakketnamen voor zowel populaire als obscure Android-apps, waaronder 2 van Quinny899's eigen apps. Wij zijn van mening dat deze lijst de apps bevat waartegen Google zijn machine learning-model heeft getraind – dat wil zeggen. ze bepaalden per app de meest voorkomende begin- en eindpunten voor het ruggebaar. Als we dieper graven, ontdekken we dat er naar het machine learning-model wordt verwezen in de bijgewerkte EdgeBackGestureHandler-klasse in de SystemUI van Android 12. Als een feature flag is ingeschakeld, lijkt het erop dat Android 12 het ML-model zal gebruiken om te voorspellen of de gebruiker van plan was een teruggebaar uit te voeren of dat hij gewoon in de app wilde navigeren. De gegevens die voor gevolgtrekking naar het ML-model worden gevoerd, omvatten de begin- en eindpunten van de beweging, of de app in de lijst staat en de breedte van het scherm in pixels. Als alternatief, als de functievlag is uitgeschakeld, keert Android 12 eenvoudigweg terug naar de standaard back-swipe-detectiemethode (dwz. inzetstukken).
Momenteel is de op ML gebaseerde voorspelling van teruggebaren standaard uitgeschakeld in Android 12 Developer Preview 1. Het is mogelijk dat Google deze aanpak schrapt als deze niet superieur blijkt te zijn aan het bestaande, op inzet gebaseerde model. We zullen het echter pas zeker weten als Google over een paar maanden de bètaversie van Android 12 onthult, want dat is het moment waarop Google gewoonlijk zijn grotere wijzigingen aan Android onthult.
Met dank aan PNF Software voor het verstrekken van een gebruikslicentie JEB-decompiler, een professionele reverse engineering-tool voor Android-applicaties.