Google กำลังทำงานเกี่ยวกับการใช้โมเดลการเรียนรู้ของเครื่องเพื่อคาดการณ์ว่าเมื่อใดที่ผู้ใช้ต้องการใช้ท่าทางสัมผัสแบบปัดกลับใน Android 12
Google เปิดตัวตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ครั้งแรก ของ Android 12 เมื่อวันก่อน และเราได้เจาะลึกโค้ดเพื่อค้นหาทุกสิ่งที่ใหม่ การเปลี่ยนแปลงที่น่าตื่นเต้นที่สุดอย่างหนึ่งที่เราพบคือการยกเครื่องวิธีที่ Android ตรวจจับท่าทางการปัดกลับ หากนำไปใช้ Android 12 จะใช้โมเดลการเรียนรู้ของเครื่อง ทำนาย เมื่อผู้ใช้ตั้งใจจะใช้ท่าทางย้อนกลับ
ด้วยการเปิดตัว Android 10, Google แนะนำ ระบบนำทางด้วยท่าทางแบบเต็มหน้าจอ ระบบนำทางด้วยท่าทางของ Android จะวางเม็ดยาไว้ที่ด้านล่างของหน้าจอซึ่งคุณสามารถโต้ตอบด้วยเพื่อสลับระหว่างแอป เปิดอินเทอร์เฟซแอปล่าสุด หรือไปที่หน้าจอหลัก ในขณะเดียวกันปุ่มย้อนกลับก็ถูกแทนที่ด้วยท่าทางการปัดนิ้วเข้าด้านในซึ่งสามารถเปิดใช้งานได้จากด้านซ้ายหรือขวาของหน้าจอ มีหมึกหกเยอะมาก ปัญหาเกี่ยวกับท่าทางด้านหลังของ Androidแต่ต้องให้เครดิตกับ Google นะ ทำให้ประสบการณ์สอดคล้องกัน ทั่วทั้งระบบนิเวศและมี API ที่ให้มา สำหรับนักพัฒนาเพื่อให้แน่ใจว่าเข้ากันได้กับท่าทาง ในขณะที่แอพจำนวนมากได้เปลี่ยนจากการใช้
วิธีการทำงานของท่าทางย้อนกลับของ Android ในปัจจุบันมีดังนี้ พื้นที่ทริกเกอร์ที่มองไม่เห็นมีอยู่เกือบตลอดเวลาทั้งสองด้านของหน้าจอ พื้นที่ทริกเกอร์นี้จะขยายความกว้างระหว่าง 18dp-40dp จากด้านข้างของหน้าจอ ขึ้นอยู่กับการตั้งค่าความไวด้านหลังที่ผู้ใช้กำหนด ผู้ใช้สามารถกระตุ้นท่าทางสัมผัสด้านหลังได้โดยเพียงวางนิ้วที่ใดก็ได้ภายในสิ่งที่ใส่เข้าไป จากนั้นเลื่อนนิ้วนั้นเข้ามาภายในระยะทางขั้นต่ำ Google ใช้แผนที่ความร้อนบนหน้าจอโทรศัพท์เมื่อออกแบบการแทรกท่าทางด้านหลัง และ พวกเขาตกลงกัน พื้นที่การจดจำที่ผู้ใช้รู้สึกว่าออกแบบตามหลักสรีรศาสตร์และเป็นมิตรต่อมือเดียว
การนำทางด้วยท่าทางใน Android 10+ ที่มา: Google.
ปัญหาด้วยวิธีนี้เหมือนกับของ Google ตัวเองยอมรับคือผู้ใช้บางคนยังคงปัดเพื่อเปิดลิ้นชักการนำทาง ซึ่งขัดแย้งกับท่าทางด้านหลัง ทุกแอปได้รับการออกแบบแตกต่างกัน แต่บริเวณทริกเกอร์ท่าทางด้านหลังยังคงพูดเหมือนเดิม วิธีการใช้ท่าทางสัมผัสด้านหลังแบบขนาดเดียวนี้จึงไม่เหมาะกับการออกแบบบางแอป ดังนั้น Google จึงทดลองใช้การเรียนรู้ของเครื่องเพื่อแทนที่รุ่นปัจจุบัน
ขณะตรวจสอบการเปลี่ยนแปลงที่ Google ทำไว้ ท่าทางสัมผัสย้อนกลับแบบแตะสองครั้งใน Android 12, XDA นักพัฒนาที่ได้รับการยอมรับ ควินนี่899 ค้นพบการมีอยู่ของโมเดล TensorFlow Lite ใหม่และไฟล์คำศัพท์ที่เรียกว่า "backgesture" หลัง มีรายชื่อแพ็คเกจ 43,000 ชื่อสำหรับแอพ Android ยอดนิยมและคลุมเครือ รวมถึง 2 ของ Quinny899 แอพของตัวเอง เราเชื่อว่ารายการนี้มีแอปที่ Google ฝึกโมเดลการเรียนรู้ของเครื่องด้วย เช่น พวกเขากำหนดจุดเริ่มต้นและจุดสิ้นสุดที่พบบ่อยที่สุดสำหรับท่าทางด้านหลังแบบทีละแอป เมื่อเจาะลึกลงไป เราพบว่าโมเดลแมชชีนเลิร์นนิงมีการอ้างอิงในคลาส EdgeBackGestureHandler ที่อัปเดตใน SystemUI ของ Android 12 หากเปิดใช้งานฟีเจอร์แฟล็ก ดูเหมือนว่า Android 12 จะใช้โมเดล ML เพื่อคาดเดาว่าผู้ใช้ตั้งใจจะใช้ท่าทางย้อนกลับหรือเพียงต้องการนำทางในแอป ข้อมูลที่ป้อนให้กับโมเดล ML เพื่อการอนุมานประกอบด้วยจุดเริ่มต้นและจุดสิ้นสุดของท่าทาง ไม่ว่าแอปจะอยู่ในรายการหรือไม่ และความกว้างของจอแสดงผลเป็นพิกเซล อีกทางหนึ่ง หากปิดใช้งานการตั้งค่าสถานะฟีเจอร์ Android 12 ก็จะเปลี่ยนกลับไปเป็นวิธีการตรวจจับการปัดกลับแบบมาตรฐาน (เช่น สิ่งที่ใส่เข้าไป)
ปัจจุบันการคาดเดาท่าทางสัมผัสด้านหลังแบบ ML ถูกปิดใช้งานโดยค่าเริ่มต้นใน Android 12 Developer Preview 1 เป็นไปได้ที่ Google อาจยกเลิกแนวทางนี้หากสุดท้ายแล้วไม่ได้เหนือกว่าโมเดลที่แทรกอยู่ในปัจจุบัน อย่างไรก็ตาม เราจะไม่ทราบแน่ชัดจนกว่า Google จะเปิดตัว Android 12 เบต้าในอีกไม่กี่เดือนข้างหน้า เนื่องจากนั่นเป็นเวลาที่ Google มักจะเปิดเผยการเปลี่ยนแปลงที่ใหญ่กว่าใน Android
ขอขอบคุณซอฟต์แวร์ PNF ที่ให้ใบอนุญาตแก่เรา โปรแกรมถอดรหัส JEBซึ่งเป็นเครื่องมือวิศวกรรมย้อนกลับระดับมืออาชีพสำหรับแอปพลิเคชัน Android