Google kobler ML Kits API-er på enheten fra Firebase

Google bruker kunstig intelligens i stor utstrekning for å levere svært kontekstuelle og nøyaktige nett- og bildesøkeresultater. I tillegg til søk på nettplattformen, gir Googles maskinlæringsmodeller også en rekke AI-applikasjoner på Android-telefoner, alt fra det visuelle søket på Google Lens til databasert fotografering som Pixel-enheter er kjent for. Bortsett fra sine egne applikasjoner, lar Google også tredjepartsutviklere integrere maskinlæringsfunksjoner i appene sine sømløst med hjelp av ML Kit, en SDK (Software Development Kit) som er en del av Firebase – dets online administrasjons- og analysedashbord for mobil utvikling. Fra i dag kunngjør Google en stor endring av ML Kit og vil gjøre API-er på enheten uavhengig av Firebase.

ML Kit ble annonsert på Google I/O 2018 for å forenkle tillegget av maskinlæringsfunksjoner til apper. På tidspunktet for lanseringen besto ML Kit av tekstgjenkjenning, ansiktsgjenkjenning, strekkodeskanning, bildemerking og landemerkegjenkjennings-APIer. I April 2019 introduserte Google sine første Natural Language Processing (NLP) API-er til SDK for utviklere i form av Smart Reply and Language Identifikasjon. En måned senere, dvs. på Google I/O 2019,

Google introduserte tre nye ML APIer for oversettelse på enheten, gjenkjenning og sporing av objekter, og AutoML Vision Edge API for å identifisere spesifikke objekter som typer blomster eller mat ved hjelp av visuelt søk.

ML Kit omfatter både på enheten og skybaserte APIer. Som du forventer, behandler API-ene på enheten data ved å bruke maskinlæringsmodellene som er lagret på enheten seg selv mens de skybaserte API-ene sender data til maskinlæringsmodeller som er vert på Googles Cloud Platform og mottar de løste dataene over et Internett forbindelse. Siden API-er på enheten kjører uten Internett, kan de analysere informasjon raskere og er sikrere enn deres skybaserte motparter. Maskinlærings-API-er på enheten kan også akselereres med maskinvare på Android-enheter som kjører Android Oreo 8.1 og nyere og kjøre av Googles Neural Networks API (NNAPI) sammen med spesielle datablokker eller NPU-er funnet på de nyeste brikkesettene fra Qualcomm, MediaTek, HiSilicon, etc.

Google postet nylig en blogg innlegg kunngjør at API-ene på enheten fra ML Kit nå vil være tilgjengelige som en del av en uavhengig SDK. Dette betyr API-er på enheten i ML Kit – inkludert tekstgjenkjenning, strekkodeskanning, ansiktsgjenkjenning, bildemerking, objektgjenkjenning og sporing, språkidentifikasjon, smart svar og oversettelse på enheten – vil være tilgjengelig under en separat SDK som kan nås uten Firebase. Google anbefaler imidlertid å bruke ML Kit SDK i Firebase migrere sine eksisterende prosjekter til den nye frittstående SDK. En ny mikroside har blitt lansert med alle ressursene knyttet til ML Kit.

Bortsett fra den nye SDK, har Google annonsert noen endringer som gjør det enklere for utviklere å integrere maskinlæringsmodeller i appene sine. For det første leveres ansiktsgjenkjennings-/konturmodellen nå som en del av Google Play-tjenester, slik at utviklere ikke trenger å klone API-en og modellen separat for appene sine. Dette gir mulighet for en mindre størrelse for apppakken og muligheten til å gjenbruke modellen i andre apper mer sømløst.

For det andre har Google lagt til Android Jetpack Lifecycle støtte til alle APIer. Dette vil hjelpe med å administrere bruken av API-ene når en app gjennomgår skjermrotasjon eller lukkes av brukeren. I tillegg tilrettelegger det også for enkel integrering av CameraX Jetpack-bibliotek i apper som bruker ML Kit.

For det tredje har Google annonsert en tidlig tilgangsprogram slik at utviklere kan få tilgang til kommende APIer og funksjoner før resten. Selskapet legger nå til to nye API-er i ML Kit slik at utvalgte utviklere kan forhåndsvise dem og dele tilbakemeldingene deres. Disse APIene inkluderer:

• Enhetsutvinning for å oppdage ting som telefonnumre, adresser, betalingsnumre, sporingsnumre og dato og klokkeslett i tekst, og
• Posegjenkjenning for lav latensdeteksjon av 33 skjelettpunkter, inkludert hender og føtter

Til slutt tillater Google nå utviklere å erstatte eksisterende bildemerking samt objektdeteksjons- og sporings-API-er fra ML Kit med tilpassede maskinlæringsmodeller fra TensorFlow Lite. Selskapet vil snart kunngjøre flere detaljer om hvordan man finner eller kloner TensorFlow Lite-modeller og trener dem ved hjelp av ML Kit eller Android Studios nye ML-integrasjonsfunksjoner.