Google travaille à l'utilisation de modèles d'apprentissage automatique pour prédire quand l'utilisateur souhaite effectuer un geste de balayage arrière dans Android 12.
Google a publié le premier aperçu du développeur d'Android 12 l'autre jour, et nous avons fouillé le code pour trouver tout ce qui était nouveau. L'un des changements les plus intéressants que nous avons repérés est une refonte de la façon dont Android détecte les gestes de balayage arrière. S'il est mis en œuvre, Android 12 utilisera des modèles d'apprentissage automatique pour prédire lorsque l'utilisateur a l'intention d'utiliser le geste de retour.
Avec le lancement d'Android 10, Google introduit son système de navigation gestuelle plein écran. Le système de navigation gestuelle d'Android place une pilule en bas de l'écran avec laquelle vous pouvez interagir pour basculer entre les applications, ouvrir l'interface des applications récentes ou accéder à l'écran d'accueil. Le bouton de retour, quant à lui, a été remplacé par un geste de balayage vers l'intérieur qui peut être déclenché depuis le côté gauche ou droit de l'écran. Beaucoup d'encre a coulé
Le fonctionnement actuel du geste de retour d'Android est le suivant. Une zone de déclenchement invisible existe presque à tout moment des deux côtés de l'écran. Cette zone de déclenchement s'étend entre 18 dp et 40 dp en largeur depuis les côtés de l'écran en fonction du paramètre de sensibilité arrière défini par l'utilisateur. L'utilisateur peut déclencher un geste de retour en plaçant simplement un doigt n'importe où dans l'encart, puis en déplaçant ce doigt vers l'intérieur au-delà d'une distance minimale. Google a utilisé des cartes thermiques d'écran de téléphone lors de la conception des encarts de gestes arrière, et ils se sont installés des zones de reconnaissance que les utilisateurs jugent ergonomiques et faciles à utiliser d'une seule main.
Navigation gestuelle dans Android 10+. Source: Google.
Le problème de cette approche, comme Google eux-mêmes admettent, c'est que certains utilisateurs glissent encore pour ouvrir les tiroirs de navigation, ce qui entre en conflit avec le geste de retour. Chaque application est conçue différemment, mais la zone de déclenchement du geste arrière dit toujours la même chose. Cette approche universelle du geste du dos ne correspond donc pas bien à la façon dont certaines applications sont conçues. C'est pourquoi Google expérimente l'apprentissage automatique pour remplacer le modèle actuel.
En enquêtant sur les modifications apportées par Google à le geste de double-clic en arrière dans Android 12, Développeur reconnu par XDA Quinny899 a découvert la présence d'un nouveau modèle TensorFlow Lite et d'un nouveau fichier de vocabulaire appelé « backgesture ». Le dernier contient une liste de 43 000 noms de packages pour des applications Android populaires et obscures, dont 2 de Quinny899 propres applications. Nous pensons que cette liste contient les applications sur lesquelles Google a formé son modèle d'apprentissage automatique, c'est-à-dire. ils ont déterminé les points de début et de fin les plus fréquents pour le geste du dos, application par application. En creusant plus profondément, nous avons découvert que le modèle d'apprentissage automatique est référencé dans la classe EdgeBackGestureHandler mise à jour dans SystemUI d'Android 12. Si un indicateur de fonctionnalité est activé, il semble qu'Android 12 utilisera le modèle ML pour prédire si l'utilisateur avait l'intention d'effectuer un geste de retour ou s'il souhaitait simplement naviguer dans l'application. Les données transmises au modèle ML à des fins d'inférence incluent les points de début et de fin du geste, si l'application est dans la liste et la largeur de l'affichage en pixels. Alternativement, si l'indicateur de fonctionnalité est désactivé, Android 12 revient simplement à la méthode standard de détection par balayage arrière (c.-à-d. encarts).
Actuellement, la prédiction des gestes arrière basée sur le ML est désactivée par défaut dans Android 12 Developer Preview 1. Il est possible que Google abandonne cette approche si elle ne s'avère pas supérieure au modèle existant basé sur les encarts. Cependant, nous ne le saurons pas avec certitude avant que Google ne dévoile la version bêta d'Android 12 dans quelques mois, car c'est à ce moment-là que Google révèle habituellement ses changements les plus importants sur Android.
Merci à PNF Software de nous avoir fourni une licence d'utilisation Décompilateur JEB, un outil d'ingénierie inverse de qualité professionnelle pour les applications Android.