NNAPI на Android вече поддържа хардуерно ускорение с PyTorch

click fraud protection

API за невронни мрежи на Android (NNAPI) вече поддържа хардуерно ускорено извеждане с PyTorch Framework на Facebook. Прочетете за повече!

Машинното обучение е оформило нашето настояще по много начини, които вече дори не забелязваме. Задачи, които преди бяха или невъзможни, сега станаха тривиални за изпълнение, което прави технологията и нейните предимства още по-достъпни за населението като цяло. Голяма част от това става възможно чрез машинно обучение на устройството и API на Google за невронни мрежи (NNAPI). Сега още повече потребители ще могат да изпитат ускорените невронни мрежи и техните предимства, каквито има екипът на Android обяви поддръжка за функция за прототип, която позволява на разработчиците да използват хардуерно ускорено заключение с PyTorch на Facebook рамка.

Машинното обучение на устройството позволява моделите на машинно обучение да работят локално на устройството без необходимост от предаване на данни към сървър, което позволява по-ниска латентност, подобрена поверителност и подобрени свързаност. Android Neural Networks API (NNAPI) е предназначен за изпълнение на изчислително интензивни операции за машинно обучение на устройства с Android. NNAPI предоставя единичен набор от API, за да се възползвате от наличните хардуерни ускорители, включително GPU, DSP и NPU.

NNAPI може да бъде достъпен директно чрез Android C API или чрез рамки от по-високо ниво, като напр TensorFlow Lite. И според днешното съобщение, PyTorch Mobile обяви нова прототипна функция, поддържаща NNAPI, като впоследствие позволява на разработчиците да използват хардуерно ускорено заключение с рамката на PyTorch. Тази първоначална версия включва поддръжка за добре познати линейни конволюционни и многослойни перцептронни модели на Android 10 и по-нови версии. Тестването на производителността с помощта на модела MobileNetV2 показва до 10 пъти ускорение в сравнение с еднонишков CPU. Като част от развитието към пълно стабилно издание, бъдещите актуализации ще включват поддръжка за допълнителни оператори и моделни архитектури, включително Mask R-CNN, популярно откриване на обекти и сегментиране на екземпляри модел.

Може би най-известният софтуер, изграден върху PyTorch, е софтуерът Autopilot на Tesla. Въпреки че днешното съобщение не казва никакви директни новини за Autopilot, то разкрива предимствата на ускорени невронни мрежи за милиони потребители на Android, които използват софтуер, изграден върху него PyTorch.