Google отделил API-интерфейсы машинного обучения на устройстве в ML Kit от Firebase и анонсировал новую программу раннего доступа для тестирования будущих API.
Google широко использует искусственный интеллект для предоставления высококонтекстных и точных результатов поиска в Интернете и изображений. Помимо поиска на веб-платформе, модели машинного обучения Google также обеспечивают работу различных приложений искусственного интеллекта на телефонах Android, начиная от визуального поиска и заканчивая Google Объектив к компьютерная фотография которыми славятся устройства Pixel. Помимо собственных приложений, Google также позволяет сторонним разработчикам легко интегрировать функции машинного обучения в свои приложения. с помощью ML Kit, SDK (комплекта разработки программного обеспечения), который является частью Firebase — его онлайн-панели управления и аналитики для мобильных устройств. разработка. На сегодняшний день Google объявляет о серьезном изменении в ML Kit и сделает API на устройстве независимыми от Firebase.
ML Kit был анонсирован на Google I/O 2018. чтобы упростить добавление функций машинного обучения в приложения. На момент запуска ML Kit состоял из API-интерфейсов распознавания текста, лиц, сканирования штрих-кодов, маркировки изображений и API распознавания ориентиров. В В апреле 2019 года Google представила в SDK свои первые API-интерфейсы обработки естественного языка (NLP) для разработчиков в форме Smart Reply и Language. Идентификация. Месяц спустя, то есть на Google I/O 2019, Google представил три новых API машинного обучения для перевода на устройстве, обнаружения и отслеживания объектов, а также API AutoML Vision Edge для идентификации конкретных объектов, таких как виды цветов или продуктов питания, с помощью визуального поиска.
ML Kit включает в себя API-интерфейсы как на устройстве, так и в облаке. Как и следовало ожидать, API-интерфейсы на устройстве обрабатывают данные, используя модели машинного обучения, сохраненные на устройстве. сам, в то время как облачные API отправляют данные в модели машинного обучения, размещенные на облачной платформе Google, и получают обработанные данные через Интернет. связь. Поскольку API-интерфейсы на устройстве работают без Интернета, они могут анализировать информацию быстрее и более безопасны, чем их облачные аналоги. API-интерфейсы машинного обучения на устройстве также могут быть аппаратно ускорены на устройствах Android под управлением Android Oreo 8.1 и более поздних версий. и использовать API нейронных сетей Google (NNAPI) вместе со специальными вычислительными блоками или NPU, которые есть в новейших чипсетах. от Квалкомм, MediaTek, HiSilicon и т. д.
Google недавно опубликовал Сообщение блога объявляя, что API-интерфейсы на устройстве из ML Kit теперь будут доступны как часть независимого SDK. Это означает API-интерфейсы на устройстве в ML Kit, включая распознавание текста, сканирование штрих-кодов, распознавание лиц, маркировку изображений, обнаружение объектов и отслеживание, идентификация языка, интеллектуальный ответ и перевод на устройстве — будут доступны в отдельном SDK, доступ к которому можно получить без Огневая база. Google, однако, рекомендует использовать SDK ML Kit в Firebase, чтобы перенести существующие проекты в новый автономный SDK. новый микросайт был запущен со всеми ресурсами, связанными с ML Kit.
Помимо нового SDK, Google объявила о некоторых изменениях, упрощающих разработчикам интеграцию моделей машинного обучения в свои приложения. Во-первых, модель обнаружения/контуров лица теперь поставляется как часть сервисов Google Play, поэтому разработчикам не нужно клонировать API и модель отдельно для своих приложений. Это позволяет уменьшить размер пакета приложения и более эффективно повторно использовать модель в других приложениях.
Во-вторых, Google добавил Жизненный цикл Android Jetpack поддержка всех API. Это поможет управлять использованием API, когда приложение поворачивает экран или закрывается пользователем. Кроме того, это также облегчает интеграцию Библиотека CameraX Jetpack в приложениях, использующих ML Kit.
В-третьих, Google объявила программа раннего доступа чтобы разработчики могли получить доступ к предстоящим API и функциям раньше остальных. Сейчас компания добавляет два новых API в ML Kit, чтобы избранные разработчики могли просмотреть их и поделиться своими отзывами. Эти API включают в себя:
- Извлечение сущности для обнаружения таких вещей, как номера телефонов, адреса, номера платежей, номера отслеживания, а также дата и время в тексте, и
- Обнаружение позы для обнаружения с малой задержкой 33 точек скелета, включая руки и ноги
Наконец, Google теперь позволяет разработчикам заменять существующие API-интерфейсы маркировки изображений, а также API-интерфейсы обнаружения и отслеживания объектов из ML Kit на собственные модели машинного обучения из ТензорФлоу Лайт. Вскоре компания объявит более подробную информацию о том, как находить или клонировать модели TensorFlow Lite и обучать их с помощью ML Kit или новых функций интеграции ML в Android Studio.