Новая функция распознавания музыки «Сейчас исполняется» в Google Pixel 2 основана на технологии AmbientSense, которая обещает минимальный расход заряда батареи.
ОБНОВЛЕНИЕ 16.10.2017: Google связался с нами, чтобы сообщить, что «Сейчас исполняется» не основан на AmbientSense. Мы ответили на запрос дополнительной информации об этой функции и обновим эту статью их ответом.
ОБНОВЛЕНИЕ 19.10.2017: Мы узнали более подробную информацию о том, как работает «Сейчас исполняется». Пожалуйста прочитайте эту следующую статью Больше подробностей.
Google Пиксель 2 и Пиксель 2 XL официально после многих месяцев утечек. Одной из наиболее интересных (и спорных) функций является функция «Сейчас исполняется», которая определяет музыку, играющую в фоновом режиме, и показывает, что играет на экране блокировки. Мы впервые услышали об этой функции за несколько недель до запуска, но у нас не было много информации об этой функции, кроме сообщения Google о том, что она может работать в автономном режиме без отправки каких-либо данных в облако (последнее особенно важно в свете
Функция «Сейчас воспроизводится» в Google Pixel 2
Впервые мы узнали об этом, когда анализировали приложение Pixel Ambient Services, которое доступно в магазине Google Play.
Но не само приложение сообщило нам о подключении AmbientSense. Вместо этого это было имя APK, предварительно установленного в /system/priv-app на Google Pixel 2. APK-файл под названием AmbientSense соответствует названию технологии, описанной в исследовательской работе, представленной на сайте Международная конференция IEEE 2013 года по всеобъемлющим вычислениям и коммуникациям, семинары исследователей М. Росси, С. Физе, О. Амфт, Н. Брауне, С. Мартис и Г. Трёстер.
Что такое AmbientSense и как оно связано с «Сейчас играет?»
Мы нашли веб-страницу, на которой отображается первая страница этого документа. здесь. Согласно аннотации статьи, AmbientSense — это «система распознавания окружающего звука в реальном времени на смартфонеЧто самое интересное в AmbientSense, так это то, что его можно реализовать как приложение для Android, и для анализа окружающих звуков требуется только доступ к микрофону устройства.
В статье описаны два режима обработки: автономный и режим сервера. Автономная обработка происходит на смартфоне только путем сравнения аудиосэмплов с локально хранящейся базой данных. Для сравнения, в режиме сервера аудиофункции отправляются на сервер, который затем отправляет результаты классификации обратно. Очевидно, что функция Google «Сейчас исполняется» запускает AmbientSense в «автономном» режиме, поскольку она может работать в автономном режиме, не отправляя ничего в Google.
Далее в документе описывается, как группа исследователей тестировала производительность распознавания, время выполнения, загрузку ЦП и и задержка распознавания как в автономном, так и в серверном режиме распознавания в наборе из 23 классов окружающего звука. Они обнаружили, что приложение AmbientSense работало до 13,75 часов на Samsung Galaxy SII и до 12,87 часов на Google Nexus One. Имейте в виду, сколько лет этим устройствам; Google Nexus One был выпущен в 2010 году с аккумулятором емкостью 1400 мАч и представляет собой динозавра по сравнению с Pixel 2. Мы можем только представить, насколько AmbientSense был усовершенствован в результате тестирования Google.
Можно ли перенести функцию «Сейчас воспроизводится» на телефоны, отличные от Google Pixel 2?
Я пока не могу ничего обещать, но я думаю, что это возможно. Мы работаем с признанным участником XDA. Куинни899 чтобы это произошло. Чтобы функция «Сейчас исполняется» работала на смартфонах Google Pixel/Nexus первого поколения, по нашему мнению, необходимо сделать несколько вещей:
- Pixel Ambient Services (AmbientSense.apk)
- База данных сопоставления аудио
- Некоторые недостающие библиотеки
- Изменения SystemUI для внешнего дисплея
- Root-доступ (чтобы поместить указанные выше файлы в /system)
Скриншоты предоставлены: Кирон Куинн (Quinny899)
В настоящее время у нас уже есть база данных сопоставления аудио под названием «matcher.leveldb». Это библиотека объемом 53 МБ, основанная на Google. УровеньБД. Это база данных, на которую опирается AmbientSense для сопоставления аудио в автономном режиме.
Что касается библиотек, мы знаем, как они называются и где их искать, но пройдет некоторое время, прежде чем мы сможем получить Pixel 2 для их извлечения.
Наконец, необходимо изменить SystemUI, поскольку функция «Сейчас исполняется» записывает текст в окружающий дисплей — то, что в настоящее время невозможно с помощью функции окружающего дисплея, найденной в первом поколения Пиксель.
Что касается работы этой функции на телефонах, отличных от Google, мы проверим ее после того, как она заработает на телефонах Google Pixel и Nexus. Если или когда мы добьемся прорыва в реализации этой функции, первое место, где вы о ней узнаете, — это портал XDA, так что следите за обновлениями!