Die neue Musikerkennungsfunktion „Now Playing“ von Google Pixel 2 basiert auf der Technologie namens AmbientSense, die einen minimalen Batterieverbrauch verspricht.
UPDATE 16.10.2017: Google hat sich an uns gewandt und uns mitgeteilt, dass die Meldung „Wird gerade abgespielt“ angezeigt wird. basiert nicht auf AmbientSense. Wir haben auf unsere Anfrage nach weiteren Informationen zu dieser Funktion geantwortet und werden diesen Artikel mit der Antwort aktualisieren.
UPDATE 19.10.2017: Wir haben mehr Details darüber erfahren, wie Now Playing funktioniert. Bitte Lesen Sie diesen Folgeartikel für mehr Details.
Der Google Pixel 2 und Pixel 2 XL sind nach vielen Monaten der Leaks offiziell. Eine der interessanteren (und umstritteneren) Funktionen ist „Now Playing“, die Musik erkennt, die im Hintergrund abgespielt wird, und Ihnen anzeigt, was auf dem Sperrbildschirm abgespielt wird. Wir haben zum ersten Mal von dieser Funktion gehört ein paar Wochen vor dem Start, aber wir hatten nicht viele Informationen über die Funktion, außer dass Google uns mitgeteilt hat, dass sie offline funktionieren kann, ohne Daten an die Cloud zu senden (letzteres ist im Hinblick auf besonders wichtig).
Aktuelle Enthüllungen zum Google Home Mini). Nachdem wir uns mit der Funktion „Now Playing“ beschäftigt haben, haben wir herausgefunden, dass die Funktion auf einer Jahre alten Technologie namens „Now Playing“ basiert AmbientSense was verspricht minimaler Batterieverbrauch.Die Now Playing-Funktion von Google Pixel 2
Darauf wurden wir erstmals aufmerksam, als wir die Anwendung „Pixel Ambient Services“ analysierten, die im Google Play Store verfügbar ist.
Aber es war nicht die App selbst, die uns auf die AmbientSense-Verbindung aufmerksam gemacht hat. Stattdessen handelte es sich um den Namen des APK, das in /system/priv-app auf dem Google Pixel 2 vorinstalliert war. Das APK heißt AmbientSense und entspricht dem Namen einer Technologie, die in einem Forschungsbericht beschrieben wird, der unter vorgestellt wird die 2013 IEEE International Conference on Pervasive Computing und Kommunikationsworkshops von Forschern M. Rossi, S. Feese, O. Amft, N. Braune, S. Martis und G. Tröster.
Was ist AmbientSense und in welcher Beziehung steht es zu „Now Playing“?
Wir haben eine Webseite gefunden, auf der die erste Seite dieses Dokuments angezeigt wird Hier. Laut der Zusammenfassung des Papiers ist AmbientSense ein „Echtzeit-Umgebungsgeräuscherkennungssystem auf einem Smartphone.“ Das Interessanteste an AmbientSense ist, dass es als Android-App implementiert werden kann und lediglich Zugriff auf das Mikrofon des Geräts benötigt, um Umgebungsgeräusche zu analysieren.
In dem Artikel werden zwei Verarbeitungsmodi beschrieben: autonom Und Servermodus. Die autonome Verarbeitung erfolgt auf dem Smartphone lediglich durch den Vergleich von Audio-Samples mit einer lokal gespeicherten Datenbank. Im Vergleich dazu sendet der Servermodus Audiofunktionen an einen Server, der dann Klassifizierungsergebnisse zurücksendet. Offensichtlich führt die Funktion „Now Playing“ von Google AmbientSense im „autonomen“ Modus aus, da es offline arbeiten kann, ohne etwas an Google zu senden.
In dem Artikel wird weiter beschrieben, wie das Forscherteam Erkennungsleistung, Laufzeit, CPU-Auslastung usw. getestet hat. und Erkennungsverzögerung sowohl bei der autonomen als auch bei der Servermodus-Erkennung in einem Satz von 23 Umgebungsgeräuschklassen. Sie fanden heraus, dass die AmbientSense-App auf einem Samsung Galaxy SII bis zu 13,75 Stunden und auf dem Google Nexus One bis zu 12,87 Stunden lief. Bedenken Sie, wie alt diese Geräte sind; Das Google Nexus One kam 2010 mit einem 1.400-mAh-Akku auf den Markt und ist im Vergleich zum Pixel 2 ein Dinosaurier. Wir können uns nur vorstellen, wie sehr AmbientSense durch die Tests von Google verfeinert wurde.
Ist es möglich, die Funktion „Aktuelle Wiedergabe“ auf Telefone zu portieren, die nicht von Google Pixel 2 stammen?
Ich kann noch nichts versprechen, aber ich denke, dass es möglich ist. Wir arbeiten mit XDA Recognized Contributor zusammen Quinny899 es möglich machen. Damit die Funktion „Aktuelle Wiedergabe“ auf den Google Pixel/Nexus-Smartphones der ersten Generation funktioniert, sind unserer Meinung nach einige Dinge erforderlich:
- Pixel Ambient Services (AmbientSense.apk)
- Audio-Matching-Datenbank
- Einige fehlende Bibliotheken
- SystemUI-Änderungen an der Umgebungsanzeige
- Root-Zugriff (um die oben genannten Dateien nach /system zu verschieben)
Bildnachweis der Screenshots: Kieron Quinn (Quinny899)
Derzeit verfügen wir bereits über die Audio-Matching-Datenbank mit dem Namen „matcher.leveldb“. Es handelt sich um eine 53 MB große Speicherbibliothek, die auf der von Google basiert LevelDB. Dies ist die Datenbank, auf die sich AmbientSense verlässt, um den Audioabgleich im autonomen Modus durchzuführen.
Was die Bibliotheken betrifft, wissen wir, wie sie heißen und wo wir sie suchen müssen, aber es wird einige Zeit dauern, bis wir ein Pixel 2 in die Hände bekommen, um sie zu extrahieren.
Schließlich muss SystemUI geändert werden, da die Funktion „Now Playing“ Text in die Umgebung schreibt Anzeige – etwas, das derzeit mit der Umgebungsanzeigefunktion des ersten nicht möglich ist Generation Pixel.
Was die Funktionsfähigkeit auf Nicht-Google-Telefonen betrifft, werden wir dies testen, nachdem wir es auf den Google Pixel- und Nexus-Telefonen zum Laufen gebracht haben. Wenn wir einen Durchbruch bei der Umsetzung dieser Funktion erzielen, werden Sie als Erstes im XDA-Portal davon erfahren – bleiben Sie also auf dem Laufenden, um mehr zu erfahren!