Android 12 može koristiti strojno učenje za rješavanje problema s pokretom leđa

click fraud protection

Google radi na korištenju modela strojnog učenja za predviđanje kada korisnik želi napraviti gestu prelaska unatrag u Androidu 12.

Google je objavio prvi Developer Preview od Androida 12 neki dan, a mi smo kopali po kodu kako bismo pronašli sve što je novo. Jedna od najuzbudljivijih promjena koje smo uočili je revizija načina na koji Android otkriva pokrete prelaska prstom unatrag. Ako se implementira, Android 12 će koristiti modele strojnog učenja za predvidjeti kada korisnik namjerava upotrijebiti pokret leđa.

S lansiranjem Androida 10, Google uveo njegov gestualni navigacijski sustav preko cijelog zaslona. Androidov sustav za navigaciju gestama postavlja pilulu na dno zaslona s kojom možete komunicirati kako biste se prebacivali između aplikacija, otvorili sučelje nedavnih aplikacija ili otišli na početni zaslon. Gumb za povratak u međuvremenu je zamijenjen pokretom prelaska prema unutra koji se može pokrenuti s lijeve ili desne strane zaslona. Mnogo je tinte proliveno problem s Androidovom pokretom leđa

, ali svaka čast Googleu, jesu učinio iskustvo dosljednim u cijelom ekosustavu i imaju osigurani API-ji za programere kako bi osigurali kompatibilnost s gestom. Iako se mnoge aplikacije udaljile od upotrebe a Ladica za navigaciju, još uvijek postoji mnogo aplikacija u kojima pokret leđa može biti u sukobu s korisničkim sučeljem unutar aplikacije. Kako bi riješio ovaj problem, Google testira novi pristup koji se temelji na strojnom učenju za otkrivanje pokreta unatrag u Androidu 12.

Kako Androidov pokret leđa trenutno funkcionira je sljedeći. Gotovo cijelo vrijeme s obje strane zaslona postoji nevidljivo područje okidača. Ovo područje okidača proteže se između 18dp-40dp u širinu od bočnih strana zaslona, ​​ovisno o korisnički definiranoj postavci stražnje osjetljivosti. Korisnik može pokrenuti povratnu gestu jednostavnim postavljanjem prsta bilo gdje unutar umetka i zatim pomicanjem tog prsta prema unutra nakon minimalne udaljenosti. Google je upotrijebio toplinske karte zaslona telefona pri dizajniranju umetaka pokreta na leđima i nasjeli su na područja prepoznavanja za koja korisnici smatraju da su ergonomska i laka za rukovanje jednom rukom.

Navigacija pokretima u Androidu 10+. Izvor: Google.

Problem s ovim pristupom, kao Google sami priznaju, je to što neki korisnici još uvijek prelaze prstom kako bi otvorili navigacijske ladice, što je u sukobu s pokretom leđa. Svaka je aplikacija drugačije dizajnirana, ali područje okidača pokreta unatrag govori isto. Ovaj jedinstveni pristup pokretu leđa stoga se ne poigrava dobro s načinom na koji su neke aplikacije dizajnirane, pa je to razlog zašto Google eksperimentira sa strojnim učenjem kako bi zamijenio trenutni model.

Tijekom istraživanja promjena koje je Google napravio u dvostruki dodir unatrag u Androidu 12, XDA priznati programer Quinny899 otkrio prisutnost novog modela TensorFlow Lite i vocab datoteke pod nazivom "backgesture". Ovo drugo sadrži popis od 43.000 naziva paketa za popularne i opskurne Android aplikacije, uključujući 2 od Quinny899 vlastite aplikacije. Vjerujemo da ovaj popis sadrži aplikacije protiv kojih je Google obučavao svoj model strojnog učenja — tj. odredili su najčešće početne i završne točke za pokret unatrag na temelju aplikacije po aplikaciju. Kopajući dublje, otkrili smo da se model strojnog učenja spominje u ažuriranoj klasi EdgeBackGestureHandler u SystemUI-u Androida 12. Ako je zastavica značajke omogućena, tada se čini da će Android 12 koristiti ML model za predviđanje je li korisnik namjeravao izvršiti pokret unatrag ili je jednostavno želio navigirati u aplikaciji. Podaci koji se unose u ML model za zaključivanje uključuju početnu i završnu točku geste, nalazi li se aplikacija na popisu i širinu zaslona u pikselima. Alternativno, ako je oznaka značajke onemogućena, onda se Android 12 jednostavno vraća na standardnu ​​metodu otkrivanja prelaska prstom unazad (tj. umetci).

Trenutačno je predviđanje pokreta unatrag temeljeno na ML-u onemogućeno prema zadanim postavkama u Android 12 Developer Preview 1. Moguće je da Google odustane od ovog pristupa ako na kraju ne bude bolji od postojećeg modela koji se temelji na umetnutom modelu. Međutim, nećemo znati sa sigurnošću sve dok Google ne predstavi Android 12 Beta za nekoliko mjeseci, budući da je to vrijeme kada Google obično otkriva svoje veće promjene na Androidu.

Zahvaljujemo PNF softveru što nam je dao licencu za korištenje JEB Decompiler, profesionalni alat za obrnuti inženjering za Android aplikacije.