Google Pixel 2 の新しい「Now Playing」音楽認識機能は、バッテリーの消耗を最小限に抑える AmbientSense と呼ばれるテクノロジーに基づいています。
2017 年 10 月 16 日更新: Google から連絡があり、「Now Playing」が アンビエントセンスに基づいていない. この機能に関する詳細についての問い合わせに回答しており、その回答をもとにこの記事を更新します。
2017 年 10 月 19 日更新: Now Playing の仕組みについてさらに詳しく学びました。 お願いします このフォローアップ記事を読む 詳細については。
の Google Pixel 2 および Pixel 2 XL 何ヶ月ものリークを経て正式に発表されました。 より興味深い（そして物議を醸す）機能の 1 つは、バックグラウンドで再生されている音楽を検出し、ロック画面で何が再生されているかを表示する「Now Playing」です。 この機能について初めて知りました 発売の数週間前にしかし、この機能については、データをクラウドに送信せずにオフラインで動作できるという Google の情報以外にはあまり情報がありませんでした (後者は、次の点を考慮すると特に重要です) Google Home Miniに関する最近の暴露). Now Playing 機能を詳しく調べた結果、この機能は何年も前のテクノロジーに基づいていることがわかりました。 アンビエントセンス それは約束します バッテリーの消耗を最小限に抑える.
Google Pixel 2のNow Playing機能
Google Play ストアで入手可能な Pixel Ambient Services アプリケーションを分析したときに、このことについて初めて知らされました。
しかし、私たちが AmbientSense 接続を認識したのはアプリ自体ではありませんでした。 代わりに、これは Google Pixel 2 の /system/priv-app にプリインストールされている APK の名前でした。 AmbientSense と呼ばれるこの APK は、次の URL で発表された研究論文に記載されているテクノロジーの名前と一致します。 2013 IEEE International Conference on Pervasive Computing and Communications 研究者によるワークショップ M. ロッシ、S. フィーセ、O. アンフト、N. ブローネ、S. マーティスと G. トロスター。
AmbientSense とは何ですか?「Now Playing」とどのように関係しますか?
この論文の最初のページを表示する Web ページを見つけました ここ. 論文の要約によると、AmbientSense は「スマートフォン上のリアルタイム周囲音認識システムAmbientSense の最も興味深い点は、Android アプリとして実装でき、周囲の音を分析するためにデバイスのマイクにアクセスするだけで済むことです。
この論文では、次の 2 つの処理モードが説明されています。 自律的 そして サーバーモード. 自律的な処理は、オーディオ サンプルをローカルに保存されたデータベースと比較することによってのみスマートフォン上で行われます。 これに対し、サーバー モードでは、音声特徴がサーバーに送信され、サーバーから分類結果が返送されます。 Google の「Now Playing」機能は、Google に何も送信せずにオフラインで動作できるため、AmbientSense を「自律」モードで実行していることは明らかです。
この論文はさらに、研究者チームが認識パフォーマンス、ランタイム、CPU 負荷、 23 の周囲音クラスのセットにおける自律モード認識とサーバー モード認識の両方での認識遅延。 彼らは、AmbientSense アプリが Samsung Galaxy SII で最大 13.75 時間、Google Nexus One で最大 12.87 時間実行されたことを発見しました。 これらのデバイスがどれくらい古いかに留意してください。 Google Nexus One は 1,400 mAh バッテリーを搭載して 2010 年にリリースされましたが、Pixel 2 と比較すると非常に優れています。 Google のテストを通じて AmbientSense がどれほど改良されたかは想像することしかできません。
Google 以外の Pixel 2 スマートフォンに Now Playing 機能を移植することは可能ですか?
まだ約束はできませんが、 それは可能だと思う. 私たちは XDA 認定貢献者と協力しています クイニー899 それを実現するために。 第一世代の Google Pixel/Nexus スマートフォンで Now Playing 機能を動作させるには、次のことが必要であると考えられます。
- ピクセル アンビエント サービス (AmbientSense.apk)
- オーディオマッチングデータベース
- いくつかの不足しているライブラリ
- アンビエント表示に対する SystemUI の変更
- root アクセス (上記のファイルを /system にプッシュするため)
スクリーンショットのクレジット: Kieron Quinn (Quinny899)
現在、「matcher.leveldb」というオーディオ マッチング データベースが既に所有されています。 これは、Google の 53MB ストレージ ライブラリです。 レベルDB. これは、AmbientSense が自律モードでオーディオ マッチングを行うために依存するデータベースです。
ライブラリに関しては、その名前とどこで探せばよいかはわかっていますが、それを抽出するために Pixel 2 を入手できるようになるまでにはしばらく時間がかかります。
最後に、「Now Playing」機能はテキストをアンビエントに書き込むため、SystemUI を変更する必要があります。 ディスプレイ - 最初のバージョンにあるアンビエント ディスプレイ機能では現在不可能なこと ピクセル世代。
Google 以外の携帯電話でこれを動作させることについては、Google Pixel および Nexus 携帯電話で動作するようにした後でテストします。 この機能を動作させる上で画期的な進歩があった場合、最初にこの機能について知ることになるのは XDA ポータルです。今後の続報にご期待ください。