Google disaccoppia le API sul dispositivo di ML Kit da Firebase

Google utilizza ampiamente l'intelligenza artificiale per fornire risultati di ricerca web e di immagini altamente contestuali e accurati. Oltre alla ricerca sulla piattaforma web, i modelli di machine learning di Google forniscono anche una varietà di applicazioni AI sui telefoni Android che vanno dalla ricerca visiva su Google Lens A fotografia computazionale per cui i dispositivi Pixel sono famosi. Oltre alle proprie applicazioni, Google consente anche agli sviluppatori di terze parti di integrare perfettamente funzionalità di apprendimento automatico nelle loro app l'aiuto di ML Kit, un SDK (Software Development Kit) che fa parte di Firebase, il suo dashboard di gestione e analisi online per dispositivi mobili sviluppo. Ad oggi, Google annuncia un'importante modifica a ML Kit e renderà le API sul dispositivo indipendenti da Firebase.

ML Kit è stato annunciato al Google I/O 2018 per semplificare l'aggiunta di funzionalità di machine learning alle app. Al momento del suo lancio, ML Kit consisteva in API di riconoscimento del testo, rilevamento dei volti, scansione di codici a barre, etichettatura di immagini e riconoscimento dei punti di riferimento. In Nell'aprile 2019, Google ha introdotto le sue prime API di elaborazione del linguaggio naturale (NLP) nell'SDK per sviluppatori sotto forma di Smart Reply e Language Identificazione. Un mese dopo, ovvero al Google I/O 2019, Google ha introdotto tre nuove API ML per la traduzione sul dispositivo, il rilevamento e il tracciamento di oggetti e il API AutoML Vision Edge per identificare oggetti specifici come tipi di fiori o cibo utilizzando la ricerca visiva.

ML Kit comprende API sia sul dispositivo che basate su cloud. Come ci si aspetterebbe, le API sul dispositivo elaborano i dati utilizzando i modelli di machine learning salvati sul dispositivo stesso mentre le API basate su cloud inviano dati a modelli di machine learning ospitati sulla piattaforma cloud di Google e ricevono i dati risolti tramite Internet connessione. Poiché le API sul dispositivo funzionano senza Internet, possono analizzare le informazioni più rapidamente e sono più sicure rispetto alle loro controparti basate su cloud. Le API di machine learning sul dispositivo possono anche essere accelerate tramite hardware sui dispositivi Android che eseguono Android Oreo 8.1 e versioni successive e funziona con l'API Neural Networks (NNAPI) di Google insieme a speciali blocchi di calcolo o NPU presenti sui chipset più recenti da Qualcomm, MediaTek, HiSilicon, ecc.

Google ha recentemente pubblicato un post sul blog annunciando che le API sul dispositivo di ML Kit saranno ora disponibili come parte di un SDK indipendente. Ciò significa API sul dispositivo in ML Kit, tra cui riconoscimento del testo, scansione di codici a barre, rilevamento dei volti, etichettatura delle immagini, rilevamento degli oggetti e monitoraggio, identificazione della lingua, risposta intelligente e traduzione sul dispositivo: saranno disponibili con un SDK separato a cui è possibile accedere senza Base di fuoco. Google, tuttavia, consiglia di utilizzare l'SDK ML Kit in Firebase per migrare i loro progetti esistenti al nuovo SDK autonomo. Un nuovo microsito è stato lanciato con tutte le risorse relative a ML Kit.

Oltre al nuovo SDK, Google ha annunciato alcune modifiche che rendono più semplice per gli sviluppatori integrare modelli di machine learning nelle loro app. Innanzitutto, il modello di rilevamento/contorno del volto viene ora fornito come parte di Google Play Services, quindi gli sviluppatori non devono clonare l'API e il modello separatamente per le loro app. Ciò consente dimensioni più ridotte per il pacchetto dell'app e la possibilità di riutilizzare il modello in altre app in modo più semplice.

In secondo luogo, ha aggiunto Google Ciclo di vita di Android Jetpack supporto a tutte le API. Ciò aiuterà a gestire l'utilizzo delle API quando un'app subisce la rotazione dello schermo o viene chiusa dall'utente. Inoltre, facilita anche una facile integrazione del file Libreria CameraX Jetpack nelle app che utilizzano ML Kit.

In terzo luogo, Google ha annunciato un programma di accesso anticipato in modo che gli sviluppatori possano accedere alle API e alle funzionalità future prima degli altri. L'azienda sta ora aggiungendo due nuove API in ML Kit affinché sviluppatori selezionati possano visualizzarle in anteprima e condividere il loro feedback. Queste API includono:

• Estrazione di entità per rilevare elementi come numeri di telefono, indirizzi, numeri di pagamento, numeri di tracciamento e data e ora nel testo e
• Rilevamento della posa per il rilevamento a bassa latenza di 33 punti scheletrici, inclusi mani e piedi

Infine, Google consente ora agli sviluppatori di sostituire le API esistenti di etichettatura delle immagini e di rilevamento e tracciamento degli oggetti di ML Kit con modelli di machine learning personalizzati di TensorFlow Lite. L'azienda annuncerà presto maggiori dettagli su come trovare o clonare i modelli TensorFlow Lite e addestrarli utilizzando ML Kit o le nuove funzionalità di integrazione ML di Android Studio.