Nowa funkcja rozpoznawania muzyki „Teraz odtwarzane” w Google Pixel 2 opiera się na technologii AmbientSense, która zapewnia minimalne zużycie baterii.
AKTUALIZACJA 16.10.2017: Firma Google skontaktowała się z nami i poinformowała, że opcja „Teraz odtwarzane” nie jest oparty na AmbientSense. Odpowiedzieliśmy, prosząc o więcej informacji na temat tej funkcji, i zaktualizujemy ten artykuł, uwzględniając ich odpowiedź.
AKTUALIZACJA 19.10.2017: Poznaliśmy więcej szczegółów na temat działania funkcji Teraz odtwarzane. Proszę przeczytaj ten kolejny artykuł po więcej szczegółów.
The Google Pixel 2 i Pixel 2 XL są oficjalne po wielu miesiącach przecieków. Jedną z bardziej interesujących (i kontrowersyjnych) funkcji jest „Teraz odtwarzane”, która wykrywa muzykę odtwarzaną w tle i pokazuje, co jest odtwarzane na ekranie blokady. Po raz pierwszy usłyszeliśmy o tej funkcji kilka tygodni przed startem, ale nie mieliśmy zbyt wielu informacji na temat tej funkcji poza tym, że Google poinformował nas, że może ona działać w trybie offline, bez wysyłania jakichkolwiek danych do chmury (to ostatnie jest szczególnie ważne w świetle
najnowsze doniesienia dotyczące Google Home Mini). Po zapoznaniu się z funkcją Teraz odtwarzane odkryliśmy, że opiera się ona na starej technologii zwanej Zmysł otoczenia co obiecuje minimalne zużycie baterii.Funkcja Teraz odtwarzane w Google Pixel 2
Po raz pierwszy dowiedzieliśmy się o tym, analizując aplikację Pixel Ambient Services, która jest dostępna w sklepie Google Play.
Ale to nie sama aplikacja uświadomiła nam o połączeniu AmbientSense. Zamiast tego była to nazwa pakietu APK preinstalowanego w /system/priv-app na Google Pixel 2. Plik APK o nazwie AmbientSense odpowiada nazwie technologii opisanej w artykule badawczym przedstawionym pod adresem Międzynarodowa konferencja IEEE 2013 na temat warsztatów poświęconych wszechobecnemu przetwarzaniu komputerowemu i komunikacji, zorganizowana przez naukowców M. Rossi, S. Feese, O. Amft, N. Braune, S. Martisa i G. Tröster.
Co to jest AmbientSense i jaki ma związek z funkcją „Teraz odtwarzane”?
Znaleźliśmy stronę internetową, która wyświetla pierwszą stronę tego artykułu Tutaj. Według streszczenia artykułu AmbientSense to „system rozpoznawania dźwięków otoczenia w czasie rzeczywistym na smartfonie.” Najciekawsze w AmbientSense jest to, że można go zaimplementować jako aplikację na Androida i potrzebuje jedynie dostępu do mikrofonu urządzenia, aby analizować dźwięki otoczenia.
W artykule opisano dwa tryby przetwarzania: autonomiczny I tryb serwera. Autonomiczne przetwarzanie odbywa się na smartfonie jedynie poprzez porównanie próbek audio z lokalnie przechowywaną bazą danych. Dla porównania, tryb serwera wysyła funkcje audio do serwera, który następnie odsyła wyniki klasyfikacji. Najwyraźniej funkcja Google „Teraz odtwarzane” uruchamia AmbientSense w trybie „autonomicznym”, ponieważ może pracować w trybie offline bez wysyłania czegokolwiek do Google.
W dalszej części artykułu opisano, jak zespół badaczy testował wydajność rozpoznawania, czas działania, obciążenie procesora, i opóźnienie rozpoznawania zarówno w trybie autonomicznym, jak i w trybie serwerowym, w zestawie 23 klas dźwięków otoczenia. Ustalili, że aplikacja AmbientSense działała do 13,75 godziny na Samsungu Galaxy SII i do 12,87 godziny na Google Nexusie One. Należy pamiętać, ile lat mają te urządzenia; Google Nexus One został wydany w 2010 roku z baterią 1400 mAh i jest dinozaurem w porównaniu do Pixela 2. Możemy sobie tylko wyobrazić, jak bardzo AmbientSense zostało udoskonalone w testach Google.
Czy można przenieść funkcję Teraz odtwarzane na telefony inne niż Google Pixel 2?
Nie mogę jeszcze nic obiecać, ale tak myślę, że to możliwe. Współpracujemy z uznanym współtwórcą XDA Quinny899 sprawić, aby się wydarzyło. Aby funkcja Teraz odtwarzane działała na smartfonach Google Pixel/Nexus pierwszej generacji, naszym zdaniem potrzeba kilku rzeczy:
- Usługi Pixel Ambient (AmbientSense.apk)
- Baza danych dopasowania audio
- Brakujące biblioteki
- Modyfikacje SystemUI do wyświetlania otoczenia
- Dostęp do roota (aby wypchnąć powyższe pliki do /system)
Źródło zrzutów ekranu: Kieron Quinn (Quinny899)
Obecnie posiadamy już bazę danych dopasowywania plików audio o nazwie „matcher.leveldb”. Jest to biblioteka pamięci o pojemności 53 MB oparta na bibliotece Google PoziomDB. Jest to baza danych, na której opiera się AmbientSense przy dopasowywaniu dźwięku w trybie autonomicznym.
Jeśli chodzi o biblioteki, wiemy, jak się nazywają i gdzie ich szukać, ale minie trochę czasu, zanim będziemy mogli zdobyć Pixela 2 w celu ich wyodrębnienia.
Na koniec należy zmodyfikować SystemUI, ponieważ funkcja „Teraz odtwarzane” zapisuje tekst do otoczenia wyświetlacz — coś, co obecnie nie jest możliwe w przypadku funkcji wyświetlania otoczenia dostępnej w pierwszym przypadku generacji Pixela.
Jeśli chodzi o działanie na telefonach innych firm, przetestujemy to, gdy zaczniemy działać na telefonach Google Pixel i Nexus. Jeśli lub kiedy dokonamy przełomu w uruchomieniu tej funkcji, pierwszym miejscem, w którym się o tym dowiesz, będzie portal XDA — więc czekaj na więcej!