Google entkoppelt die On-Device-APIs von ML Kit von Firebase

Google nutzt in großem Umfang künstliche Intelligenz, um hochkontextbezogene und genaue Web- und Bildsuchergebnisse bereitzustellen. Neben der Suche auf der Webplattform ermöglichen die maschinellen Lernmodelle von Google auch eine Vielzahl von KI-Anwendungen auf Android-Telefonen, von der visuellen Suche bis hin zur visuellen Suche Google Lens Zu Computerfotografie wofür Pixel-Geräte berühmt sind. Neben seinen eigenen Anwendungen ermöglicht Google auch Drittentwicklern die nahtlose Integration von Funktionen für maschinelles Lernen in ihre Apps mithilfe von ML Kit, einem SDK (Software Development Kit), das Teil von Firebase ist – seinem Online-Verwaltungs- und Analyse-Dashboard für Mobilgeräte Entwicklung. Ab heute kündigt Google eine wesentliche Änderung am ML Kit an und wird On-Device-APIs unabhängig von Firebase machen.

ML Kit wurde auf der Google I/O 2018 angekündigt

um das Hinzufügen von Funktionen für maschinelles Lernen zu Apps zu vereinfachen. Zum Zeitpunkt seiner Einführung bestand das ML Kit aus APIs für Texterkennung, Gesichtserkennung, Barcode-Scanning, Bildbeschriftung und Wahrzeichenerkennung. In Im April 2019 führte Google mit Smart Reply and Language seine ersten NLP-APIs (Natural Language Processing) für Entwickler in das SDK ein Identifikation. Einen Monat später, also auf der Google I/O 2019, Google hat drei neue ML-APIs eingeführt für die Übersetzung auf dem Gerät, die Objekterkennung und -verfolgung und die AutoML Vision Edge-API zur Identifizierung spezifischer Objekte wie Blumenarten oder Lebensmittel mithilfe der visuellen Suche.

Das ML Kit umfasst sowohl geräteinterne als auch cloudbasierte APIs. Wie zu erwarten ist, verarbeiten die On-Device-APIs Daten mithilfe der auf dem Gerät gespeicherten Machine-Learning-Modelle selbst, während die cloudbasierten APIs Daten an Modelle für maschinelles Lernen senden, die auf der Cloud-Plattform von Google gehostet werden, und die aufgelösten Daten über das Internet empfangen Verbindung. Da On-Device-APIs ohne Internet laufen, können sie Informationen schneller analysieren und sind sicherer als ihre cloudbasierten Gegenstücke. Geräteinterne APIs für maschinelles Lernen können auch auf Android-Geräten mit Android Oreo 8.1 und höher hardwarebeschleunigt werden und laufen über die Neural Networks API (NNAPI) von Google zusammen mit speziellen Rechenblöcken oder NPUs, die auf den neuesten Chipsätzen zu finden sind aus Qualcomm, MediaTek, HiSilicon usw.

Google hat kürzlich einen gepostet Blogeintrag kündigt an, dass die On-Device-APIs von ML Kit nun als Teil eines unabhängigen SDK verfügbar sein werden. Dies bedeutet geräteinterne APIs im ML Kit – einschließlich Texterkennung, Barcode-Scannen, Gesichtserkennung, Bildbeschriftung, Objekterkennung usw Tracking, Spracherkennung, intelligente Antwort und Übersetzung auf dem Gerät – werden unter einem separaten SDK verfügbar sein, auf das auch ohne zugegriffen werden kann Feuerbasis. Google empfiehlt jedoch die Verwendung des ML Kit SDK in Firebase ihre bestehenden Projekte migrieren zum neuen eigenständigen SDK. Ein neuer Microsite wurde mit allen Ressourcen im Zusammenhang mit ML Kit gestartet.

Abgesehen vom neuen SDK hat Google einige Änderungen angekündigt, die es Entwicklern erleichtern, Modelle für maschinelles Lernen in ihre Apps zu integrieren. Erstens wird das Gesichtserkennungs-/Konturmodell jetzt als Teil der Google Play-Dienste bereitgestellt, sodass Entwickler die API und das Modell nicht separat für ihre Apps klonen müssen. Dies ermöglicht eine kleinere Größe des App-Pakets und die Möglichkeit, das Modell nahtloser in anderen Apps wiederzuverwenden.

Zweitens hat Google hinzugefügt Android Jetpack-Lebenszyklus Unterstützung für alle APIs. Dies hilft bei der Verwaltung der Verwendung der APIs, wenn eine App eine Bildschirmrotation durchläuft oder vom Benutzer geschlossen wird. Darüber hinaus erleichtert es auch die einfache Integration CameraX Jetpack-Bibliothek in Apps, die ML Kit verwenden.

Drittens hat Google eine angekündigt Early-Access-Programm damit Entwickler vor allen anderen Zugriff auf kommende APIs und Funktionen erhalten. Das Unternehmen fügt jetzt zwei neue APIs in ML Kit hinzu, damit ausgewählte Entwickler eine Vorschau davon anzeigen und ihr Feedback teilen können. Zu diesen APIs gehören:

• Entitätsextraktion um Dinge wie Telefonnummern, Adressen, Zahlungsnummern, Tracking-Nummern sowie Datum und Uhrzeit im Text zu erkennen und
• Posenerkennung zur Erkennung von 33 Skelettpunkten mit geringer Latenz, einschließlich Händen und Füßen

Schließlich ermöglicht Google Entwicklern nun, die vorhandenen APIs für Bildbeschriftung sowie Objekterkennung und -verfolgung von ML Kit durch benutzerdefinierte Modelle für maschinelles Lernen von zu ersetzen TensorFlow Lite. Das Unternehmen wird in Kürze weitere Einzelheiten dazu bekannt geben, wie man TensorFlow Lite-Modelle findet oder klont und sie mithilfe der neuen ML-Integrationsfunktionen von ML Kit oder Android Studio trainiert.