Firma Google oddzieliła interfejsy API uczenia maszynowego na urządzeniach w ML Kit od Firebase i ogłosiła nowy program wczesnego dostępu umożliwiający testowanie nadchodzących interfejsów API.
Google szeroko wykorzystuje sztuczną inteligencję, aby wyświetlać wysoce kontekstowe i dokładne wyniki wyszukiwania w Internecie i obrazach. Oprócz wyszukiwania na platformie internetowej modele uczenia maszynowego Google udostępniają także różnorodne aplikacje AI na telefonach z systemem Android, począwszy od wyszukiwania wizualnego na Obiektyw Google’a Do fotografia obliczeniowa z czego słyną urządzenia Pixel. Oprócz własnych aplikacji Google umożliwia także zewnętrznym programistom bezproblemową integrację funkcji uczenia maszynowego ze swoimi aplikacjami za pomocą ML Kit, pakietu SDK (Software Development Kit), który jest częścią Firebase – panelu zarządzania online i analiz dla urządzeń mobilnych rozwój. Od dzisiaj Google ogłasza poważną zmianę w ML Kit i uniezależni interfejsy API na urządzeniu od Firebase.
Zestaw ML Kit został ogłoszony na konferencji Google I/O 2018 aby uprościć dodawanie funkcji uczenia maszynowego do aplikacji. W momencie premiery zestaw ML Kit obejmował rozpoznawanie tekstu, wykrywanie twarzy, skanowanie kodów kreskowych, etykietowanie obrazów i interfejsy API rozpoznawania punktów orientacyjnych. W W kwietniu 2019 r. firma Google wprowadziła do pakietu SDK swoje pierwsze interfejsy API przetwarzania języka naturalnego (NLP) dla programistów w postaci inteligentnej odpowiedzi i języka Identyfikacja. Miesiąc później, czyli na Google I/O 2019, Google wprowadził trzy nowe interfejsy API ML do tłumaczenia na urządzeniu, wykrywania i śledzenia obiektów oraz API AutoML Vision Edge do identyfikacji określonych obiektów, takich jak rodzaje kwiatów lub żywności, za pomocą wyszukiwania wizualnego.
ML Kit obejmuje interfejsy API zarówno na urządzeniu, jak i w chmurze. Jak można się spodziewać, interfejsy API na urządzeniu przetwarzają dane przy użyciu modeli uczenia maszynowego zapisanych na urządzeniu się, podczas gdy oparte na chmurze interfejsy API wysyłają dane do modeli uczenia maszynowego hostowanych na platformie Google Cloud i odbierają rozwiązane dane przez Internet połączenie. Ponieważ interfejsy API na urządzeniu działają bez Internetu, mogą szybciej analizować informacje i są bezpieczniejsze niż ich odpowiedniki w chmurze. Interfejsy API uczenia maszynowego na urządzeniu można także przyspieszać sprzętowo na urządzeniach z systemem Android z systemem Android Oreo 8.1 i nowszym i korzysta z interfejsu Google Neural Networks API (NNAPI) wraz ze specjalnymi blokami obliczeniowymi lub jednostkami NPU znajdującymi się w najnowszych chipsetach z Qualcomm, MediaTek, HiSilicon itp.
Google niedawno opublikowało plik post na blogu ogłaszamy, że interfejsy API na urządzeniu z ML Kit będą teraz dostępne jako część niezależnego pakietu SDK. Oznacza to interfejsy API na urządzeniu w pakiecie ML Kit – obejmujące rozpoznawanie tekstu, skanowanie kodów kreskowych, wykrywanie twarzy, etykietowanie obrazów, wykrywanie obiektów i śledzenie, identyfikacja języka, inteligentna odpowiedź i tłumaczenie na urządzeniu – będą dostępne w ramach osobnego pakietu SDK, do którego można uzyskać dostęp bez Baza ogniowa. Google zaleca jednak używanie zestawu SDK ML Kit w Firebase migrować swoje istniejące projekty do nowego, samodzielnego pakietu SDK. Nowy mikrostrona został uruchomiony ze wszystkimi zasobami związanymi z ML Kit.
Oprócz nowego SDK, Google ogłosiło pewne zmiany ułatwiające programistom integrację modeli uczenia maszynowego ze swoimi aplikacjami. Po pierwsze, model wykrywania/konturów twarzy jest teraz dostarczany w ramach Usług Google Play, więc programiści nie muszą oddzielnie klonować interfejsu API i modelu dla swoich aplikacji. Pozwala to na mniejszy rozmiar pakietu aplikacji i możliwość płynniejszego ponownego wykorzystania modelu w innych aplikacjach.
Po drugie, dodał Google Cykl życia Androida Jetpack wsparcie dla wszystkich interfejsów API. Pomoże to w zarządzaniu wykorzystaniem interfejsów API, gdy aplikacja zostanie obrócona na ekranie lub zostanie zamknięta przez użytkownika. Ponadto ułatwia także łatwą integrację Biblioteka CameraX Jetpack w aplikacjach korzystających z ML Kit.
Po trzecie, Google ogłosiło program wczesnego dostępu aby programiści mogli uzyskać dostęp do nadchodzących interfejsów API i funkcji przed resztą. Firma dodaje teraz dwa nowe interfejsy API w pakiecie ML Kit, aby wybrani programiści mogli je przeglądać i dzielić się swoimi opiniami. Te interfejsy API obejmują:
- Ekstrakcja jednostek do wykrywania takich elementów jak numery telefonów, adresy, numery płatności, numery śledzenia oraz data i godzina w tekście oraz
- Wykrywanie pozycji do wykrywania z niskim opóźnieniem 33 punktów szkieletowych, w tym dłoni i stóp
Wreszcie Google umożliwia teraz programistom zastąpienie istniejących interfejsów API do etykietowania obrazów oraz wykrywania i śledzenia obiektów z ML Kit niestandardowymi modelami uczenia maszynowego z TensorFlow Lite. Firma wkrótce ogłosi więcej szczegółów na temat wyszukiwania lub klonowania modeli TensorFlow Lite i uczenia ich przy użyciu ML Kit lub nowych funkcji integracji ML w Android Studio.