Google kopplar bort ML Kits API: er på enheten från Firebase

Google använder artificiell intelligens i stor utsträckning för att visa mycket kontextuella och korrekta webb- och bildsökningsresultat. Förutom Sök på webbplattformen erbjuder Googles maskininlärningsmodeller också en mängd olika AI-applikationer på Android-telefoner, allt från visuell sökning på Google Lens till beräkningsfotografering som Pixel-enheter är kända för. Förutom sina egna applikationer tillåter Google även tredjepartsutvecklare att integrera maskininlärningsfunktioner i sina appar sömlöst med hjälp av ML Kit, ett SDK (Software Development Kit) som är en del av Firebase – dess onlinehanterings- och analysinstrumentpanel för mobiler utveckling. Från och med idag tillkännager Google en stor förändring av ML Kit och kommer att göra API: er på enheten oberoende av Firebase.

ML Kit tillkännagavs vid Google I/O 2018 för att förenkla tillägget av maskininlärningsfunktioner till appar. Vid tiden för lanseringen bestod ML Kit av textigenkänning, ansiktsigenkänning, streckkodsskanning, bildmärkning och API: er för landmärkenigenkänning. I I april 2019 introducerade Google sina första Natural Language Processing (NLP) API: er till SDK för utvecklare i form av Smart Reply och Language Identifiering. En månad senare, det vill säga på Google I/O 2019,

Google introducerade tre nya ML API: er för översättning på enheten, objektdetektering och spårning, och AutoML Vision Edge API för att identifiera specifika föremål som typer av blommor eller mat med hjälp av visuell sökning.

ML Kit innehåller både på enheten och molnbaserade API: er. Som du kan förvänta dig bearbetar API: erna på enheten data med hjälp av maskininlärningsmodeller som sparats på enheten sig själv medan de molnbaserade API: erna skickar data till maskininlärningsmodeller som finns på Googles molnplattform och tar emot lösta data över ett internet förbindelse. Eftersom API: er på enheten körs utan internet kan de analysera information snabbare och är säkrare än sina molnbaserade motsvarigheter. Maskininlärnings-API: er på enheten kan också hårdvaruaccelereras på Android-enheter som kör Android Oreo 8.1 och senare och kör av Googles Neural Networks API (NNAPI) tillsammans med speciella beräkningsblock eller NPU: er som finns på de senaste styrkretsen från Qualcomm, MediaTek, HiSilicon, etc.

Google publicerade nyligen en blogginlägg meddelar att API: erna på enheten från ML Kit nu kommer att vara tillgängliga som en del av en oberoende SDK. Detta innebär på enhetens API: er i ML Kit – inklusive textigenkänning, streckkodsskanning, ansiktsdetektering, bildmärkning, objektdetektering och spårning, språkidentifiering, smart svar och översättning på enheten – kommer att vara tillgängliga under en separat SDK som kan nås utan Firebase. Google rekommenderar dock att du använder ML Kit SDK i Firebase migrera sina befintliga projekt till den nya fristående SDK: n. En ny mikrosite har lanserats med alla resurser relaterade till ML Kit.

Förutom den nya SDK: n har Google meddelat några ändringar som gör det lättare för utvecklare att integrera maskininlärningsmodeller i sina appar. För det första levereras ansiktsdetektions-/konturmodellen nu som en del av Google Play Services så att utvecklare inte behöver klona API: et och modellen separat för sina appar. Detta möjliggör en mindre storlek för apppaketet och möjligheten att återanvända modellen i andra appar mer sömlöst.

För det andra har Google lagt till Android Jetpack Lifecycle stöd för alla API: er. Detta kommer att hjälpa till att hantera användningen av API: erna när en app genomgår skärmrotation eller stängs av användaren. Dessutom underlättar det också enkel integrering av CameraX Jetpack-bibliotek i appar som använder ML Kit.

För det tredje har Google meddelat en program för tidig åtkomst så att utvecklare kan få tillgång till kommande API: er och funktioner före resten. Företaget lägger nu till två nya API: er i ML Kit för utvalda utvecklare att förhandsgranska dem och dela sin feedback. Dessa API: er inkluderar:

• Enhetsutvinning för att upptäcka saker som telefonnummer, adresser, betalningsnummer, spårningsnummer och datum och tid i text, och
• Pose Detektion för låg latensdetektering av 33 skelettpunkter, inklusive händer och fötter

Slutligen tillåter Google nu utvecklare att ersätta befintliga bildmärknings- och objektdetektions- och spårnings-API: er från ML Kit med anpassade maskininlärningsmodeller från TensorFlow Lite. Företaget kommer snart att meddela mer information om hur man hittar eller klonar TensorFlow Lite-modeller och tränar dem med ML Kit eller Android Studios nya ML-integreringsfunktioner.