Google dissocie les API sur appareil de ML Kit de Firebase

Google utilise largement l'intelligence artificielle pour fournir des résultats de recherche Web et d'images hautement contextuels et précis. Outre la recherche sur la plateforme Web, les modèles d'apprentissage automatique de Google fournissent également une variété d'applications d'IA sur les téléphones Android, allant de la recherche visuelle sur Objectif Google à photographie informatique pour lesquels les appareils Pixel sont célèbres. Outre ses propres applications, Google permet également aux développeurs tiers d'intégrer de manière transparente des fonctionnalités d'apprentissage automatique dans leurs applications avec l'aide de ML Kit, un SDK (Software Development Kit) qui fait partie de Firebase – son tableau de bord de gestion et d'analyse en ligne pour mobile développement. À compter d'aujourd'hui, Google annonce un changement majeur dans ML Kit et rendra les API sur appareil indépendantes de Firebase.

ML Kit a été annoncé lors de Google I/O 2018 pour simplifier l'ajout de fonctionnalités d'apprentissage automatique aux applications. Au moment de son lancement, ML Kit comprenait des API de reconnaissance de texte, de détection de visage, de lecture de codes-barres, d'étiquetage d'images et de reconnaissance de points de repère. Dans En avril 2019, Google a introduit ses premières API de traitement du langage naturel (NLP) dans le SDK destiné aux développeurs sous la forme de Smart Reply et Language. Identification. Un mois plus tard, c'est-à-dire lors de Google I/O 2019, Google a introduit trois nouvelles API ML pour la traduction sur l'appareil, la détection et le suivi d'objets, ainsi que le API AutoML Vision Edge pour identifier des objets spécifiques comme des types de fleurs ou des aliments à l'aide de la recherche visuelle.

ML Kit comprend à la fois des API sur appareil et basées sur le cloud. Comme on peut s'y attendre, les API sur l'appareil traitent les données à l'aide des modèles d'apprentissage automatique enregistrés sur l'appareil. tandis que les API basées sur le cloud envoient des données à des modèles d'apprentissage automatique hébergés sur la plateforme cloud de Google et reçoivent les données résolues sur Internet. connexion. Étant donné que les API sur appareil fonctionnent sans Internet, elles peuvent analyser les informations plus rapidement et sont plus sécurisées que leurs homologues basées sur le cloud. Les API d'apprentissage automatique sur appareil peuvent également être accélérées matériellement sur les appareils Android exécutant Android Oreo 8.1 et supérieur. et exécutez l'API Neural Networks de Google (NNAPI) ainsi que des blocs de calcul spéciaux ou des NPU trouvés sur les derniers chipsets. depuis Qualcomm, MediaTek, HiSilicon, etc.

Google a récemment publié un article de blog annonçant que les API sur appareil de ML Kit seront désormais disponibles dans le cadre d'un SDK indépendant. Cela signifie des API sur l'appareil dans ML Kit – y compris la reconnaissance de texte, la lecture de codes-barres, la détection de visage, l'étiquetage d'images, la détection d'objets et le suivi, l'identification de la langue, la réponse intelligente et la traduction sur l'appareil – seront disponibles dans un SDK distinct accessible sans Base de feu. Google recommande cependant d'utiliser le SDK ML Kit dans Firebase pour migrer leurs projets existants au nouveau SDK autonome. Un nouveau microsite a été lancé avec toutes les ressources liées à ML Kit.

Outre le nouveau SDK, Google a annoncé certains changements permettant aux développeurs d'intégrer plus facilement des modèles d'apprentissage automatique dans leurs applications. Premièrement, le modèle de détection de visage/contour est désormais fourni dans le cadre des services Google Play afin que les développeurs n'aient pas à cloner l'API et le modèle séparément pour leurs applications. Cela permet de réduire la taille du package d’application et de réutiliser le modèle dans d’autres applications de manière plus transparente.

Deuxièmement, Google a ajouté Cycle de vie du Jetpack Android prise en charge de toutes les API. Cela aidera à gérer l'utilisation des API lorsqu'une application subit une rotation d'écran ou est fermée par l'utilisateur. De plus, cela facilite également l'intégration facile du Bibliothèque CameraX Jetpack dans les applications qui utilisent ML Kit.

Troisièmement, Google a annoncé un programme d'accès anticipé afin que les développeurs puissent accéder aux API et fonctionnalités à venir avant les autres. La société ajoute désormais deux nouvelles API dans ML Kit pour permettre aux développeurs sélectionnés de les prévisualiser et de partager leurs commentaires. Ces API incluent :

• Extraction d'entité pour détecter des éléments tels que des numéros de téléphone, des adresses, des numéros de paiement, des numéros de suivi, ainsi que la date et l'heure dans le texte, et
• Détection de poses pour la détection à faible latence de 33 points du squelette, y compris les mains et les pieds

Enfin, Google permet désormais aux développeurs de remplacer les API existantes d'étiquetage d'images ainsi que de détection et de suivi d'objets de ML Kit par des modèles d'apprentissage automatique personnalisés de TensorFlow Lite. La société annoncera bientôt plus de détails sur la façon de rechercher ou de cloner des modèles TensorFlow Lite et de les former à l'aide de ML Kit ou des nouvelles fonctionnalités d'intégration ML d'Android Studio.