Google работает над использованием моделей машинного обучения, чтобы предсказывать, когда пользователь захочет сделать жест смахивания назад в Android 12.
Google выпустила первую версию Developer Preview Android 12 на днях мы копались в коде, чтобы найти все новое. Одно из самых интересных изменений, которые мы заметили, — это пересмотр того, как Android распознает жесты смахивания назад. В случае реализации Android 12 будет использовать модели машинного обучения для предсказывать когда пользователь собирается использовать жест назад.
С выпуском Android 10 Google представил полноэкранная система навигации с помощью жестов. Система навигации по жестам Android размещает таблетку в нижней части экрана, с которой вы можете взаимодействовать, чтобы переключаться между приложениями, открывать интерфейс последних приложений или переходить на главный экран. Тем временем кнопка «Назад» была заменена жестом смахивания внутрь, который можно активировать с левой или правой стороны экрана. Много чернил было пролито
проблема с жестом назад в Android, но надо отдать должное Google, они сделал опыт последовательным по всей экосистеме и имеют предоставленные API для разработчиков, чтобы обеспечить совместимость с этим жестом. Хотя многие приложения отказались от использования Навигационный ящик, существует множество приложений, в которых жест назад может конфликтовать с пользовательским интерфейсом приложения. Чтобы решить эту проблему, Google тестирует новый подход, основанный на машинном обучении, для обнаружения жестов назад в Android 12.В настоящее время жест назад в Android работает следующим образом. Невидимая область триггера существует почти всегда по обе стороны экрана. Эта область срабатывания простирается на 18–40 dp по ширине от сторон экрана в зависимости от заданной пользователем настройки задней чувствительности. Пользователь может вызвать жест назад, просто поместив палец в любое место внутри вставки, а затем переместив этот палец внутрь на минимальное расстояние. Google использовал тепловые карты экрана телефона при разработке вставок для жестов назад. они остановились на области распознавания, которые, по мнению пользователей, эргономичны и удобны для работы одной рукой.
Навигация с помощью жестов в Android 10+. Источник: Гугл.
Проблема с этим подходом, как говорит Google сами признаются, заключается в том, что некоторые пользователи по-прежнему проводят пальцем, чтобы открыть панели навигации, что противоречит жесту назад. Каждое приложение спроектировано по-разному, но область триггера жеста назад говорит то же самое. Таким образом, этот универсальный подход к жесту назад не очень хорошо сочетается с дизайном некоторых приложений, поэтому Google экспериментирует с машинным обучением, чтобы заменить текущую модель.
Изучая изменения, внесенные Google в жест двойного касания назад в Android 12, признанный разработчик XDA Куинни899 обнаружил наличие новой модели TensorFlow Lite и файла словаря под названием «backgesture». Последний содержит список из 43 000 названий пакетов как для популярных, так и для малоизвестных приложений Android, включая 2 пакета Quinny899. собственные приложения. Мы полагаем, что этот список содержит приложения, на которых Google обучал свою модель машинного обучения, т.е. они определили наиболее частые начальные и конечные точки жеста назад для каждого приложения отдельно. Копнув глубже, мы обнаружили, что модель машинного обучения упоминается в обновленном классе EdgeBackGestureHandler в SystemUI Android 12. Если флаг функции включен, то, похоже, Android 12 будет использовать модель ML, чтобы предсказать, собирается ли пользователь выполнить жест назад или просто хочет перемещаться по приложению. Данные, передаваемые в модель машинного обучения для вывода, включают начальную и конечную точки жеста, наличие приложения в списке, а также ширину дисплея в пикселях. Альтернативно, если флаг функции отключен, Android 12 просто возвращается к стандартному методу обнаружения смахивания назад (т. вставки).
В настоящее время прогнозирование жестов назад на основе машинного обучения отключено по умолчанию в Android 12 Developer Preview 1. Вполне возможно, что Google откажется от этого подхода, если в конечном итоге он не будет превосходить существующую модель, основанную на вставках. Однако мы не будем знать наверняка, пока Google не представит бета-версию Android 12 через пару месяцев, поскольку именно в это время Google обычно раскрывает свои более крупные изменения в Android.
Спасибо PNF Software за предоставление нам лицензии на использование. JEB-декомпилятор, инструмент профессионального уровня для обратного проектирования приложений Android.