Androidov NNAPI sada podržava hardversko ubrzanje s PyTorchom

click fraud protection

Androidov API za neuronske mreže (NNAPI) sada podržava hardverski ubrzano zaključivanje s Facebookovim PyTorch okvirom. Čitajte dalje za više!

Strojno učenje je oblikovalo našu sadašnjost na mnoge načine da to više niti ne primjećujemo. Zadaci koji su prije bili nemogući sada su postali trivijalni za izvršenje, čineći tehnologiju i njezine prednosti još dostupniji široj populaciji. Mnogo toga omogućeno je strojnim učenjem na uređaju i Googleovim API-jem za neuronske mreže (NNAPI). Sada će još više korisnika moći iskusiti ubrzane neuronske mreže i njihove prednosti kao što to ima Android tim najavio podršku za značajku prototipa koja programerima omogućuje korištenje hardverski ubrzanog zaključivanja s Facebookovim PyTorchom Okvir.

Strojno učenje na uređaju omogućuje lokalno pokretanje modela strojnog učenja na uređaju bez njega trebaju prenijeti podatke na poslužitelj, omogućujući nižu latenciju, poboljšanu privatnost i poboljšanu povezanost. Android Neural Networks API (NNAPI) dizajniran je za izvođenje računski intenzivnih operacija za strojno učenje na Android uređajima. NNAPI pruža jedan skup API-ja za iskorištavanje dostupnih hardverskih akceleratora uključujući GPU-ove, DSP-ove i NPU-ove.

NNAPI-ju se može pristupiti izravno putem Android C API-ja ili putem okvira više razine kao što je TensorFlow Lite. I prema današnjoj objavi, PyTorch Mobile je najavio novu značajku prototipa koja podržava NNAPI, posljedično omogućujući programerima korištenje hardverski ubrzanog zaključivanja s okvirom PyTorch. Ovo početno izdanje uključuje podršku za dobro poznate linearne konvolucijske i višeslojne modele perceptrona na Androidu 10 i novijim verzijama. Testiranje performansi korištenjem modela MobileNetV2 pokazuje do 10x ubrzanje u usporedbi s CPU-om s jednom niti. Kao dio razvoja prema potpunom stabilnom izdanju, buduća ažuriranja uključivat će podršku za dodatne operatori i arhitekture modela uključujući Mask R-CNN, popularnu detekciju objekata i segmentaciju instanci model.

Možda najpoznatiji softver izgrađen na PyTorchu je Teslin Autopilot softver. Iako današnja objava ne govori nikakve izravne vijesti za Autopilot, otvara prednosti ubrzane neuronske mreže za milijune korisnika Androida koji koriste softver koji je izgrađen na njima PyTorch.