Az Android 12 gépi tanulást használhat a Vissza kézmozdulatokkal kapcsolatos probléma megoldására

A Google kiadta az első fejlesztői előnézetet Android 12 a minap, és már beleástunk a kódba, hogy minden újat megtaláljunk. Az egyik legizgalmasabb változás, amit észleltünk, az az, hogy az Android hogyan érzékeli a visszacsúsztatási gesztusokat. Ha megvalósul, az Android 12 gépi tanulási modelleket fog használni megjósolni amikor a felhasználó a hátsó mozdulatot kívánja használni.

Az Android 10 megjelenésével a Google bemutatott teljes képernyős gesztusos navigációs rendszere. Az Android gesztusos navigációs rendszere a képernyő alján elhelyez egy tablettát, amellyel válthat az alkalmazások között, megnyithatja a legutóbbi alkalmazások felületét, vagy a kezdőképernyőre léphet. A vissza gombot időközben egy befelé húzó mozdulat váltotta fel, amely a képernyő bal vagy jobb oldaláról indítható. Sok tinta ömlött ki kb a probléma az Android hátsó gesztusával

, de a Google érdemére legyen mondva, megtették következetessé tette az élményt az egész ökoszisztémában és rendelkeznek biztosított API-k a fejlesztők számára, hogy biztosítsák a gesztussal való kompatibilitást. Miközben rengeteg alkalmazás eltolódtak az a Navigációs fiók, még mindig rengeteg olyan alkalmazás van, ahol a hátsó kézmozdulat ütközhet az alkalmazáson belüli felhasználói felülettel. A probléma megoldása érdekében a Google új, gépi tanuláson alapuló megközelítést tesztel a hátsó gesztusok észlelésére az Android 12 rendszerben.

Az Android hátsó kézmozdulata jelenleg a következőképpen működik. Egy láthatatlan trigger terület szinte mindig van a képernyő mindkét oldalán. Ez a trigger terület a képernyő széleitől 18dp és 40dp között terjed a felhasználó által megadott hátsó érzékenység beállításától függően. A felhasználó úgy indíthat vissza mozdulatot, hogy egyszerűen behelyezi az ujját a betéten belül bárhová, majd az ujját egy minimális távolságon túl befelé mozgatja. A Google a telefon képernyőjének hőtérképét használta a hátsó gesztusbetétek tervezésekor, és rátelepedtek felismerési területek, amelyeket a felhasználók ergonomikusnak és egykezesnek érzik.

Gesztusos navigáció Android 10+ rendszeren. Forrás: Google.

A probléma ezzel a megközelítéssel, mint a Google maguk is elismerik, az az, hogy egyes felhasználók továbbra is csúsztatással nyitják meg a navigációs fiókokat, ami ütközik a hátsó kézmozdulattal. Minden alkalmazás másképp van megtervezve, de a hátsó gesztusok aktiválási területe továbbra is ugyanazt mondja. A hátsó gesztusnak ez az egyméretes megközelítése ezért nem játszik jól egyes alkalmazások tervezésével, ezért a Google gépi tanulással kísérletezik a jelenlegi modell helyettesítésére.

A Google által végrehajtott változtatások vizsgálata közben a dupla koppintással visszafelé történő kézmozdulat az Android 12 rendszerben, XDA elismert fejlesztő Quinny899 felfedezte egy új TensorFlow Lite modell és a "backgesture" nevű vocab fájl jelenlétét. A levél tartalmaz egy listát, amely 43 000 csomagnevet tartalmaz mind a népszerű, mind a homályos Android-alkalmazásokhoz, köztük kettő Quinny899-hez saját alkalmazások. Úgy gondoljuk, hogy ez a lista azokat az alkalmazásokat tartalmazza, amelyekre a Google kiképezte a gépi tanulási modelljét – pl. alkalmazásonként határozták meg a hátsó gesztus leggyakoribb kezdő- és végpontját. Mélyebbre ásva felfedeztük, hogy a gépi tanulási modellre hivatkozik az Android 12 SystemUI frissített EdgeBackGestureHandler osztálya. Ha a funkciójelző engedélyezve van, akkor úgy tűnik, hogy az Android 12 az ML modellt fogja használni annak előrejelzésére, hogy a felhasználó vissza akart-e mozdulni, vagy egyszerűen csak navigálni akart az alkalmazásban. Az ML-modellnek a következtetéshez betáplált adatok magukban foglalják a gesztus kezdő- és végpontját, azt, hogy az alkalmazás szerepel-e a listában, valamint a képernyő szélességét pixelben. Alternatív megoldásként, ha a funkciójelző le van tiltva, az Android 12 egyszerűen visszaáll a normál visszahúzás-észlelési módszerhez (pl. betétek).

Jelenleg az ML-alapú vissza gesztusok előrejelzése alapértelmezés szerint le van tiltva az Android 12 Developer Preview 1-ben. Lehetséges, hogy a Google elveti ezt a megközelítést, ha az nem lesz jobb, mint a meglévő, betétalapú modell. Ezt azonban nem tudhatjuk egészen addig, amíg a Google néhány hónapon belül bemutatja az Android 12 Beta verzióját, ugyanis a Google általában ekkor fedi fel az Androiddal kapcsolatos nagyobb változtatásait.

Köszönet a PNF Software-nek, hogy engedélyt adott nekünk a használatra JEB Decompiler, egy professzionális minőségű visszafejtő eszköz Android alkalmazásokhoz.