Die Neural Networks API (NNAPI) von Android unterstützt jetzt hardwarebeschleunigte Inferenz mit dem PyTorch Framework von Facebook. Lesen Sie weiter für mehr!
Maschinelles Lernen hat unsere Gegenwart in vielerlei Hinsicht geprägt, dass wir es gar nicht mehr bemerken. Aufgaben, die früher entweder unmöglich waren, sind jetzt trivial zu erledigen, was die Technologie und ihre Vorteile zunichte macht der breiten Bevölkerung noch besser zugänglich gemacht werden. Vieles davon wird durch maschinelles Lernen auf dem Gerät und die Neural Networks API (NNAPI) von Google ermöglicht. Jetzt können noch mehr Benutzer wie das Android-Team beschleunigte neuronale Netze und ihre Vorteile erleben kündigte Unterstützung für eine Prototypfunktion an, die es Entwicklern ermöglicht, hardwarebeschleunigte Inferenz mit Facebooks PyTorch zu verwenden Rahmen.
Durch maschinelles Lernen auf dem Gerät können Modelle für maschinelles Lernen lokal auf dem Gerät ausgeführt werden Die Notwendigkeit, Daten an einen Server zu übertragen, ermöglicht eine geringere Latenz, eine verbesserte Privatsphäre und eine verbesserte Konnektivität. Die Android Neural Networks API (NNAPI) ist für die Ausführung rechenintensiver Vorgänge für maschinelles Lernen auf Android-Geräten konzipiert. NNAPI bietet einen einzigen Satz von APIs, um von verfügbaren Hardwarebeschleunigern wie GPUs, DSPs und NPUs zu profitieren.
Auf NNAPI kann direkt über eine Android-C-API oder über übergeordnete Frameworks zugegriffen werden TensorFlow Lite. Und gemäß der heutigen Ankündigung, PyTorch Mobile hat eine neue Prototypfunktion angekündigt, die NNAPI unterstützt und es Entwicklern somit ermöglicht, hardwarebeschleunigte Inferenz mit dem PyTorch-Framework zu verwenden. Diese erste Version umfasst Unterstützung für bekannte lineare Faltungs- und mehrschichtige Perzeptronmodelle auf Android 10 und höher. Leistungstests mit dem MobileNetV2-Modell zeigen eine bis zu 10-fache Beschleunigung im Vergleich zu einer Single-Threaded-CPU. Als Teil der Entwicklung hin zu einer vollständig stabilen Version werden zukünftige Updates Unterstützung für weitere enthalten Operatoren und Modellarchitekturen, einschließlich Mask R-CNN, einer beliebten Objekterkennung und Instanzsegmentierung Modell.
Die vielleicht bekannteste Software, die auf PyTorch aufbaut, ist Teslas Autopilot-Software. Obwohl die heutige Ankündigung keine direkten Neuigkeiten für Autopilot bedeutet, eröffnet sie doch die Vorteile von beschleunigte neuronale Netze für Millionen von Android-Benutzern, die darauf aufbauende Software verwenden PyTorch.