Google afkobler ML Kit's on-device API'er fra Firebase

Google bruger kunstig intelligens i vid udstrækning til at tjene meget kontekstuelle og nøjagtige web- og billedsøgeresultater. Udover søgning på webplatformen giver Googles maskinlæringsmodeller også mulighed for en række forskellige AI-applikationer på Android-telefoner lige fra den visuelle søgning på Google Lens til computerfotografering som Pixel-enheder er berømte for. Udover sine egne applikationer tillader Google også tredjepartsudviklere at integrere maskinlæringsfunktioner i deres apps problemfrit med hjælp fra ML Kit, et SDK (Software Development Kit), som er en del af Firebase – dets online administrations- og analysedashboard til mobil udvikling. Fra i dag annoncerer Google en større ændring af ML Kit og vil gøre on-device API'er uafhængige af Firebase.

ML Kit blev annonceret på Google I/O 2018 for at forenkle tilføjelsen af ​​maskinlæringsfunktioner til apps. På tidspunktet for lanceringen bestod ML Kit af tekstgenkendelse, ansigtsgenkendelse, stregkodescanning, billedmærkning og API'er til skelsættende genkendelse. I April 2019 introducerede Google sine første Natural Language Processing (NLP) API'er til SDK for udviklere i form af Smart Reply og Language Identifikation. En måned senere, dvs. ved Google I/O 2019,

Google introducerede tre nye ML API'er til oversættelse på enheden, objektdetektering og sporing og AutoML Vision Edge API til at identificere specifikke objekter som typer af blomster eller mad ved hjælp af visuel søgning.

ML Kit omfatter både on-device og cloud-baserede API'er. Som du ville forvente, behandler API'erne på enheden data ved hjælp af maskinlæringsmodeller, der er gemt på enheden sig selv, mens de skybaserede API'er sender data til maskinlæringsmodeller hostet på Googles Cloud Platform og modtager de løste data over et internet forbindelse. Da on-device API'er kører uden internettet, kan de parse oplysninger hurtigere og er mere sikre end deres cloud-baserede modparter. Maskinlærings-API'er på enheden kan også hardwareaccelereres på Android-enheder, der kører Android Oreo 8.1 og nyere og løbe fra Googles Neural Networks API (NNAPI) sammen med specielle beregningsblokke eller NPU'er fundet på de nyeste chipsæt fra Qualcomm, MediaTek, HiSilicon osv.

Google har for nylig indsendt en blogindlæg annoncerer, at on-device API'erne fra ML Kit nu vil være tilgængelige som en del af et uafhængigt SDK. Dette betyder on-device API'er i ML Kit – inklusive tekstgenkendelse, stregkodescanning, ansigtsgenkendelse, billedmærkning, objektgenkendelse og sporing, sprogidentifikation, smart svar og oversættelse på enheden – vil være tilgængelig under et separat SDK, der kan tilgås uden Firebase. Google anbefaler dog at bruge ML Kit SDK i Firebase til migrere deres eksisterende projekter til det nye selvstændige SDK. En ny mikrosite er blevet lanceret med alle ressourcer relateret til ML Kit.

Bortset fra den nye SDK har Google annonceret nogle ændringer, der gør det nemmere for udviklere at integrere maskinlæringsmodeller i deres apps. For det første leveres ansigtsgenkendelse/konturmodellen nu som en del af Google Play Services, så udviklere ikke behøver at klone API'en og modellen separat for deres apps. Dette giver mulighed for en mindre størrelse for app-pakken og muligheden for at genbruge modellen i andre apps mere problemfrit.

For det andet har Google tilføjet Android Jetpack Lifecycle understøttelse af alle API'er. Dette vil hjælpe med at administrere brugen af ​​API'erne, når en app gennemgår skærmrotation eller lukkes af brugeren. Derudover letter det også nem integration af CameraX Jetpack bibliotek i apps, der bruger ML Kit.

For det tredje har Google annonceret en program for tidlig adgang så udviklere kan få adgang til kommende API'er og funktioner før resten. Virksomheden tilføjer nu to nye API'er i ML Kit, så udvalgte udviklere kan forhåndsvise dem og dele deres feedback. Disse API'er inkluderer:

• Enhedsudvinding at registrere ting som telefonnumre, adresser, betalingsnumre, sporingsnumre og dato og klokkeslæt i tekst, og
• Positionsdetektion til lav latensdetektion af 33 skeletpunkter, inklusive hænder og fødder

Endelig giver Google nu udviklere mulighed for at erstatte de eksisterende billedmærkning samt objektdetektions- og sporings-API'er fra ML Kit med tilpassede maskinlæringsmodeller fra TensorFlow Lite. Virksomheden vil snart annoncere flere detaljer om, hvordan man finder eller kloner TensorFlow Lite-modeller og træner dem ved hjælp af ML Kit eller Android Studios nye ML-integrationsfunktioner.