De Neural Networks API (NNAPI) van Android ondersteunt nu hardwareversnelde inferentie met het PyTorch Framework van Facebook. Lees verder voor meer!
Machine Learning heeft ons heden op veel manieren gevormd, zodat we het niet eens meer merken. Taken die voorheen onmogelijk waren, zijn nu triviaal geworden om uit te voeren, waardoor de technologie en de voordelen ervan ontstaan nog breder toegankelijk voor de bevolking als geheel. Veel hiervan wordt mogelijk gemaakt door machine learning op het apparaat en de Neural Networks API (NNAPI) van Google. Nu zullen nog meer gebruikers versnelde neurale netwerken en de voordelen ervan kunnen ervaren, net als het Android-team heeft ondersteuning aangekondigd voor een prototypefunctie waarmee ontwikkelaars hardwareversnelde inferentie kunnen gebruiken met Facebook's PyTorch Kader.
Dankzij machine learning op het apparaat kunnen machine learning-modellen lokaal op het apparaat worden uitgevoerd gegevens naar een server moeten verzenden, waardoor een lagere latentie, verbeterde privacy en verbeterde privacy mogelijk zijn connectiviteit. De Android Neural Networks API (NNAPI) is ontworpen voor het uitvoeren van rekenintensieve bewerkingen voor machine learning op Android-apparaten. NNAPI biedt één set API's om te profiteren van beschikbare hardwareversnellers, waaronder GPU's, DSP's en NPU's.
NNAPI is rechtstreeks toegankelijk via een Android C API, of via frameworks op een hoger niveau, zoals TensorFlow Lite. En volgens de aankondiging van vandaag, PyTorch mobiel heeft een nieuwe prototypefunctie aangekondigd die NNAPI ondersteunt, waardoor ontwikkelaars hardwareversnelde inferentie kunnen gebruiken met het PyTorch-framework. Deze eerste release bevat ondersteuning voor bekende lineaire convolutionele en meerlaagse perceptron-modellen op Android 10 en hoger. Uit prestatietests met het MobileNetV2-model blijkt dat de snelheid tot 10x hoger ligt dan bij een single-threaded CPU. Als onderdeel van de ontwikkeling naar een volledig stabiele release zullen toekomstige updates ondersteuning bieden voor aanvullende operators en modelarchitecturen, waaronder Mask R-CNN, een populaire objectdetectie en instantiesegmentatie model.
Misschien wel de meest bekende software die bovenop PyTorch is gebouwd, is Tesla's Autopilot-software. Hoewel de aankondiging van vandaag geen direct nieuws voor Autopilot betekent, biedt het wel de voordelen van versnelde neurale netwerken voor miljoenen Android-gebruikers die software gebruiken die daarop is gebouwd PyTorch.