Google pracuje na používaní modelov strojového učenia na predpovedanie, kedy chce používateľ v systéme Android 12 urobiť gesto potiahnutia dozadu.
Google vydal prvý Developer Preview systému Android 12 druhý deň a my sme sa prehrabávali v kóde, aby sme našli všetko, čo je nové. Jednou z najzaujímavejších zmien, ktoré sme zaznamenali, je prepracovanie spôsobu, akým Android rozpoznáva gestá potiahnutia späť. Ak bude implementovaný, Android 12 bude využívať modely strojového učenia predpovedať keď používateľ zamýšľa použiť gesto späť.
So spustením systému Android 10 spoločnosť Google zavedené jeho gestický navigačný systém na celú obrazovku. Navigačný systém Android pomocou gest umiestni do spodnej časti obrazovky tabletku, s ktorou môžete prepínať medzi aplikáciami, otvárať rozhranie nedávnych aplikácií alebo prejsť na úvodnú obrazovku. Tlačidlo Späť bolo medzitým nahradené gestom potiahnutia dovnútra, ktoré možno spustiť z ľavej alebo pravej strany obrazovky. Rozlialo sa veľa atramentu problém s gestom chrbta Androidu
Ako momentálne funguje gesto Späť v systéme Android, je nasledovné. Takmer vždy na oboch stranách obrazovky existuje neviditeľná oblasť spúšťania. Táto oblasť spúšťania sa rozprestiera na šírku medzi 18dp a 40dp od strán obrazovky v závislosti od užívateľom definovaného nastavenia zadnej citlivosti. Používateľ môže spustiť gesto späť jednoduchým priložením prsta kamkoľvek do vložky a následným posunutím prsta dovnútra za minimálnu vzdialenosť. Spoločnosť Google použila tepelné mapy obrazovky telefónu pri navrhovaní vložiek gest na zadnej strane a usadili sa rozpoznávacie oblasti, ktoré používatelia považujú za ergonomické a ovládateľné jednou rukou.
Navigácia gestami v systéme Android 10+. Zdroj: Google.
Problém s týmto prístupom, ako Google sami priznávajú, je, že niektorí používatelia stále potiahnutím prstom otvoria navigačné zásuvky, čo je v rozpore s gestom späť. Každá aplikácia je navrhnutá inak, ale oblasť spúšťania gesta späť hovorí stále to isté. Tento univerzálny prístup k gestu chrbta sa teda nehrá dobre s tým, ako sú niektoré aplikácie navrhnuté, a preto Google experimentuje so strojovým učením, aby nahradil súčasný model.
Počas skúmania zmien, ktoré spoločnosť Google vykonala gesto späť dvojitým klepnutím v systéme Android 12, XDA uznávaný vývojár Quinny899 objavila prítomnosť nového modelu TensorFlow Lite a súboru vocab s názvom „backgesture“. To druhé obsahuje zoznam 43 000 názvov balíkov pre populárne aj neznáme aplikácie pre Android, vrátane 2 z Quinny899 vlastné aplikácie. Veríme, že tento zoznam obsahuje aplikácie, proti ktorým Google trénoval svoj model strojového učenia – napr. určili najčastejšie začiatočné a koncové body pre gesto späť pre každú aplikáciu. Pri hlbšom skúmaní sme zistili, že na model strojového učenia sa odkazuje v aktualizovanej triede EdgeBackGestureHandler v SystemUI systému Android 12. Ak je povolený príznak funkcie, zdá sa, že Android 12 použije model ML na predpovedanie, či používateľ zamýšľal vykonať gesto späť alebo či sa chcel jednoducho pohybovať v aplikácii. Údaje dodávané do modelu ML na odvodenie zahŕňajú počiatočné a koncové body gesta, či je aplikácia v zozname a šírku displeja v pixeloch. Prípadne, ak je príznak funkcie zakázaný, Android 12 sa jednoducho vráti späť na štandardnú metódu detekcie potiahnutím prstom dozadu (tj. vložky).
V súčasnosti je predikcia gest späť založená na ML v predvolenom nastavení v Android 12 Developer Preview 1 zakázaná. Je možné, že Google môže tento prístup zrušiť, ak nakoniec nebude lepší ako existujúci model založený na vložkách. Nebudeme to však vedieť s istotou, kým Google o pár mesiacov neodhalí Android 12 Beta, pretože to je čas, kedy Google zvyčajne odhalí svoje väčšie zmeny pre Android.
Ďakujeme spoločnosti PNF Software za poskytnutie licencie na používanie JEB Decompiler, profesionálny nástroj reverzného inžinierstva pre aplikácie pre Android.