Androids Neural Networks API (NNAPI) stöder nu hårdvaruaccelererad slutledning med Facebooks PyTorch Framework. Läs vidare för mer!
Machine Learning har format vår nutid på många sätt som vi inte ens märker av det längre. Uppgifter som tidigare antingen var omöjliga har nu blivit triviala att utföra, vilket gör tekniken och dess fördelar ännu mer allmänt tillgänglig för befolkningen i stort. Mycket av detta möjliggörs genom maskininlärning på enheten och Googles Neural Networks API (NNAPI). Nu kommer ännu fler användare att kunna uppleva accelererade neurala nätverk och deras fördelar som Android-teamet har meddelade stöd för en prototypfunktion som gör det möjligt för utvecklare att använda hårdvaruaccelererad slutledning med Facebooks PyTorch Ramverk.
Maskininlärning på enheten gör att maskininlärningsmodeller kan köras lokalt på enheten utan behöver överföra data till en server, vilket möjliggör lägre latens, förbättrad integritet och förbättrad anslutning. Android Neural Networks API (NNAPI) är designad för att köra beräkningsintensiva operationer för maskininlärning på Android-enheter. NNAPI tillhandahåller en enda uppsättning API: er för att dra nytta av tillgängliga hårdvaruacceleratorer inklusive GPU: er, DSP: er och NPU: er.
NNAPI kan nås direkt via ett Android C API, eller via ramverk på högre nivå som t.ex TensorFlow Lite. Och enligt dagens tillkännagivande, PyTorch Mobile har tillkännagett en ny prototypfunktion som stöder NNAPI, vilket gör det möjligt för utvecklare att använda hårdvaruaccelererad slutledning med PyTorch-ramverket. Den här första versionen innehåller stöd för välkända linjära faltnings- och flerskiktsperceptronmodeller på Android 10 och senare. Prestandatestning med MobileNetV2-modellen visar upp till 10x hastighet jämfört med en entrådig CPU. Som en del av utvecklingen mot en fullständigt stabil utgåva kommer framtida uppdateringar att innehålla stöd för ytterligare operatörer och modellarkitekturer inklusive Mask R-CNN, en populär objektdetektering och instanssegmentering modell.
Den kanske mest välkända programvaran som byggts ovanpå PyTorch är Teslas Autopilot-mjukvara. Även om dagens tillkännagivande inte stavar några direkta nyheter för autopilot, öppnar det upp fördelarna med accelererade neurala nätverk till miljontals Android-användare som använder programvara som är byggd ovanpå PyTorch.