Google відокремив API машинного навчання на пристрої в ML Kit від Firebase і оголосив про нову програму раннього доступу для тестування майбутніх API.
Google широко використовує штучний інтелект для обслуговування висококонтекстних і точних результатів пошуку в Інтернеті та зображеннях. Окрім пошуку на веб-платформі, моделі машинного навчання Google також забезпечують різноманітні програми ШІ на телефонах Android, починаючи від візуального пошуку й Google Lens до комп'ютерна фотографія якими славляться пристрої Pixel. Окрім власних програм, Google також дозволяє стороннім розробникам легко інтегрувати функції машинного навчання у свої програми за допомогою за допомогою ML Kit, SDK (Software Development Kit), який є частиною Firebase – його інформаційної панелі онлайн-управління та аналітики для мобільних пристроїв розвитку. Відсьогодні Google оголошує про серйозні зміни в ML Kit і зробить API на пристрої незалежними від Firebase.
ML Kit було анонсовано на Google I/O 2018 щоб спростити додавання функцій машинного навчання до програм. На момент запуску ML Kit складався з розпізнавання тексту, виявлення облич, сканування штрих-кодів, маркування зображень і API розпізнавання орієнтирів. в У квітні 2019 року Google представила свої перші API обробки природної мови (NLP) для SDK для розробників у формі Smart Reply і Language Ідентифікація. Через місяць, тобто на Google I/O 2019,
Google представив три нових API ML для перекладу на пристрої, виявлення та відстеження об’єктів, а також API AutoML Vision Edge для ідентифікації конкретних об’єктів, наприклад типів квітів або їжі, за допомогою візуального пошуку.ML Kit містить як вбудовані, так і хмарні API. Як і слід було очікувати, API на пристрої обробляють дані за допомогою моделей машинного навчання, збережених на пристрої сам, тоді як хмарні API надсилають дані моделям машинного навчання, розміщеним на хмарній платформі Google, і отримують розв’язані дані через Інтернет підключення. Оскільки API на пристрої працюють без Інтернету, вони можуть аналізувати інформацію швидше та безпечніші, ніж їхні хмарні аналоги. API машинного навчання на пристрої також можна апаратно прискорити на пристроях Android під управлінням Android Oreo 8.1 і вище і використовувати API нейронних мереж Google (NNAPI) разом зі спеціальними обчислювальними блоками або NPU, які є в останніх наборах мікросхем від Qualcomm, MediaTek, HiSilicon тощо.
Google нещодавно опублікував a публікація в блозі оголошуючи, що вбудовані API від ML Kit тепер будуть доступні як частина незалежного SDK. Це означає вбудовані API у ML Kit, включаючи розпізнавання тексту, сканування штрих-кодів, розпізнавання облич, маркування зображень, виявлення об’єктів та відстеження, ідентифікація мови, інтелектуальна відповідь і переклад на пристрої – будуть доступні в окремому SDK, до якого можна отримати доступ без Firebase. Однак Google рекомендує використовувати ML Kit SDK у Firebase для перенести свої існуючі проекти до нового окремого SDK. Новий мікросайт було запущено з усіма ресурсами, пов’язаними з ML Kit.
Крім нового SDK, Google оголосила про деякі зміни, які полегшують розробникам інтеграцію моделей машинного навчання у свої програми. По-перше, модель визначення/контуру обличчя тепер постачається як частина служб Google Play, тому розробникам не потрібно клонувати API та модель окремо для своїх програм. Це дає змогу зменшити розмір пакета додатків і простіше повторно використовувати модель в інших додатках.
По-друге, Google додав Життєвий цикл Android Jetpack підтримка всіх API. Це допоможе керувати використанням API, коли програма обертається на екрані або закривається користувачем. Крім того, це також полегшує інтеграцію Бібліотека CameraX Jetpack у програмах, які використовують ML Kit.
По-третє, Google оголосив про програма раннього доступу щоб розробники могли отримати доступ до майбутніх API та функцій раніше за інших. Зараз компанія додає два нові API в ML Kit, щоб вибрані розробники могли попередньо переглянути їх і поділитися своїми відгуками. Ці API включають:
- Витяг сутності для виявлення таких речей, як номери телефонів, адреси, номери платежів, номери відстеження, дата й час у тексті та
- Виявлення пози для виявлення з низькою затримкою 33 точок скелета, включаючи руки та ноги
Нарешті, тепер Google дозволяє розробникам замінювати існуючі API маркування зображень, а також виявлення об’єктів і відстеження від ML Kit на власні моделі машинного навчання від TensorFlow Lite. Незабаром компанія оголосить більше деталей про те, як знайти або клонувати моделі TensorFlow Lite і навчити їх за допомогою ML Kit або нових функцій інтеграції ML в Android Studio.