Google heeft machine learning-API's op het apparaat in ML Kit gescheiden van Firebase en een nieuw Early Access-programma aangekondigd voor het testen van aankomende API's.
Google maakt op grote schaal gebruik van kunstmatige intelligentie om zeer contextuele en nauwkeurige zoekresultaten op internet en afbeeldingen weer te geven. Naast Zoeken op het webplatform bieden de machine learning-modellen van Google ook een verscheidenheid aan AI-toepassingen op Android-telefoons, variërend van visueel zoeken op Google Lens naar computationele fotografie waar Pixel-apparaten bekend om staan. Naast de eigen applicaties biedt Google ook externe ontwikkelaars de mogelijkheid om machine learning-functies naadloos in hun apps te integreren de hulp van ML Kit, een SDK (Software Development Kit) die deel uitmaakt van Firebase – het online beheer- en analysedashboard voor mobiel ontwikkeling. Vanaf vandaag kondigt Google een grote wijziging aan in ML Kit en zal API's op het apparaat onafhankelijk maken van Firebase.
ML Kit werd aangekondigd op Google I/O 2018 om de toevoeging van machine learning-functies aan apps te vereenvoudigen. Bij de lancering bestond de ML Kit uit tekstherkenning, gezichtsdetectie, barcodescanning, beeldlabeling en API's voor herkenning van herkenningspunten. In In april 2019 introduceerde Google zijn eerste Natural Language Processing (NLP) API's in de SDK voor ontwikkelaars in de vorm van Smart Reply en Language Identificatie. Een maand later, dus op Google I/O 2019, Google heeft drie nieuwe ML API’s geïntroduceerd voor vertaling op het apparaat, objectdetectie en tracking, en de AutoML Vision Edge-API voor het identificeren van specifieke objecten zoals soorten bloemen of voedsel met behulp van visueel zoeken.
ML Kit omvat zowel on-device als cloudgebaseerde API's. Zoals je zou verwachten, verwerken de API's op het apparaat gegevens met behulp van de machine learning-modellen die op het apparaat zijn opgeslagen zichzelf, terwijl de cloudgebaseerde API's gegevens verzenden naar machine learning-modellen die worden gehost op het Cloud Platform van Google en de opgeloste gegevens via internet ontvangen verbinding. Omdat API's op apparaten zonder internet werken, kunnen ze informatie sneller parseren en zijn ze veiliger dan hun cloudgebaseerde tegenhangers. Machine learning-API's op het apparaat kunnen ook hardwarematig worden versneld op Android-apparaten met Android Oreo 8.1 en hoger en draait op Google's Neural Networks API (NNAPI) samen met speciale rekenblokken of NPU's die te vinden zijn op de nieuwste chipsets van Qualcomm, MediaTek, HiSilicon, enz.
Google heeft onlangs een blogpost Er wordt aangekondigd dat de on-device API's van ML Kit nu beschikbaar zullen zijn als onderdeel van een onafhankelijke SDK. Dit betekent API's op het apparaat in ML Kit – inclusief tekstherkenning, scannen van streepjescodes, gezichtsdetectie, beeldlabeling, objectdetectie en tracking, taalidentificatie, slim antwoord en vertaling op het apparaat – zullen beschikbaar zijn onder een afzonderlijke SDK die toegankelijk is zonder Vuurbasis. Google raadt u echter aan de ML Kit SDK in Firebase te gebruiken hun bestaande projecten migreren naar de nieuwe zelfstandige SDK. Een nieuwe microsite is gelanceerd met alle bronnen die verband houden met ML Kit.
Naast de nieuwe SDK heeft Google enkele wijzigingen aangekondigd die het voor ontwikkelaars gemakkelijker maken om machine learning-modellen in hun apps te integreren. Ten eerste wordt het gezichtsdetectie-/contourmodel nu geleverd als onderdeel van Google Play Services, zodat ontwikkelaars de API en het model niet afzonderlijk voor hun apps hoeven te klonen. Dit zorgt voor een kleiner formaat voor het app-pakket en de mogelijkheid om het model naadloos te hergebruiken in andere apps.
Ten tweede heeft Google toegevoegd Android Jetpack-levenscyclus ondersteuning voor alle API's. Dit helpt bij het beheren van het gebruik van de API's wanneer een app schermrotatie ondergaat of door de gebruiker wordt gesloten. Bovendien vergemakkelijkt het ook een eenvoudige integratie van de CameraX Jetpack-bibliotheek in apps die ML Kit gebruiken.
Ten derde heeft Google een programma voor vroege toegang zodat ontwikkelaars vóór de rest toegang kunnen krijgen tot aankomende API's en functies. Het bedrijf voegt nu twee nieuwe API's toe aan ML Kit, zodat geselecteerde ontwikkelaars er een voorbeeld van kunnen bekijken en hun feedback kunnen delen. Deze API's omvatten:
- Entiteitsextractie om zaken als telefoonnummers, adressen, betalingsnummers, trackingnummers en datum en tijd in tekst te detecteren, en
- Posedetectie voor detectie met lage latentie van 33 skeletpunten, inclusief handen en voeten
Ten slotte staat Google ontwikkelaars nu toe de bestaande Image Labeling, Object Detection en Tracking API's van ML Kit te vervangen door aangepaste machine learning-modellen van TensorFlow Lite. Het bedrijf zal binnenkort meer details bekendmaken over het vinden of klonen van TensorFlow Lite-modellen en het trainen ervan met behulp van ML Kit of de nieuwe ML-integratiefuncties van Android Studio.