Androids Neural Networks API (NNAPI) understøtter nu hardware-accelereret inferencing med Facebooks PyTorch Framework. Læs videre for mere!
Machine Learning har formet vores nutid på mange måder, som vi ikke engang bemærker det længere. Opgaver, der tidligere enten var umulige, er nu blevet trivielle at udføre, hvilket gør teknologien og dens fordele endnu mere tilgængelig for befolkningen som helhed. Meget af dette er gjort muligt gennem on-device machine learning og Googles Neural Networks API (NNAPI). Nu vil endnu flere brugere kunne opleve accelererede neurale netværk og deres fordele, som Android-teamet har annonceret understøttelse af en prototypefunktion, der gør det muligt for udviklere at bruge hardware-accelereret inferens med Facebooks PyTorch Ramme.
Maskinlæring på enheden giver maskinlæringsmodeller mulighed for at køre lokalt på enheden uden behov for at overføre data til en server, hvilket giver mulighed for lavere latenstid, forbedret privatliv og forbedret forbindelse. Android Neural Networks API (NNAPI) er designet til at køre beregningsintensive operationer til maskinlæring på Android-enheder. NNAPI leverer et enkelt sæt API'er for at drage fordel af tilgængelige hardwareacceleratorer, herunder GPU'er, DSP'er og NPU'er.
NNAPI kan tilgås direkte via en Android C API, eller via rammer på højere niveau som f.eks TensorFlow Lite. Og som i dagens meddelelse, PyTorch Mobile har annonceret en ny prototypefunktion, der understøtter NNAPI, hvilket gør det muligt for udviklere at bruge hardware-accelereret inferens med PyTorch-rammeværket. Denne første udgivelse inkluderer understøttelse af velkendte lineære foldnings- og flerlagsperceptronmodeller på Android 10 og nyere. Ydeevnetest ved hjælp af MobileNetV2-modellen viser op til en 10x speedup sammenlignet med en enkelt-trådet CPU. Som en del af udviklingen hen imod en fuldstændig stabil udgivelse vil fremtidige opdateringer omfatte understøttelse af yderligere operatører og modelarkitekturer inklusive Mask R-CNN, en populær objektdetektering og instanssegmentering model.
Den måske mest kendte software bygget oven på PyTorch er Teslas Autopilot-software. Selvom dagens meddelelse ikke staver nogen direkte nyheder for autopiloten, åbner den op for fordelene ved accelererede neurale netværk til millioner af Android-brugere, der bruger software, der er bygget ovenpå PyTorch.