Noua funcție de recunoaștere a muzicii „Now Playing” a lui Google Pixel 2 se bazează pe tehnologia numită AmbientSense, care promite consumarea minimă a bateriei.
ACTUALIZARE 16.10.2017: Google ne-a contactat pentru a ne informa că „Se joacă acum” nu se bazează pe AmbientSense. Am răspuns întrebându-ne pentru mai multe informații despre această funcție și vom actualiza acest articol cu răspunsul lor.
ACTUALIZARE 19.10.2017: Am aflat mai multe detalii despre cum funcționează Now Playing. Vă rog citește acest articol de continuare pentru mai multe detalii.
The Google Pixel 2 și Pixel 2 XL sunt oficiale după multe luni de scurgeri. Una dintre cele mai interesante (și controversate) funcții este „Now Playing”, care detectează muzica care se redă în fundal și vă arată ce se redă pe ecranul de blocare. Am auzit prima dată despre această caracteristică cu câteva săptămâni înainte de lansare, dar nu aveam prea multe informații despre funcție în afară de faptul că Google ne spunea că poate funcționa offline fără a trimite date în cloud (aceasta din urmă este deosebit de importantă în lumina
Funcția Redare acum a Google Pixel 2
Am fost informați despre acest lucru pentru prima dată când am analizat aplicația Pixel Ambient Services, care este disponibilă pe Google Play Store.
Dar nu aplicația în sine ne-a făcut conștienți de conexiunea AmbientSense. În schimb, era numele APK-ului preinstalat în /system/priv-app pe Google Pixel 2. Numit AmbientSense, APK-ul se potrivește cu numele unei tehnologii descrise într-o lucrare de cercetare prezentată la Conferința internațională IEEE din 2013 privind Atelierele de calcul și comunicații pervasive susținute de cercetători M. Rossi, S. Feese, O. Amft, N. Braune, S. Martis și G. Tröster.
Ce este AmbientSense și cum se leagă cu „Acum se joacă?”
Am găsit o pagină web care afișează prima pagină a acestei lucrări Aici. Conform rezumatului lucrării, AmbientSense este un „sistem de recunoaștere a sunetului ambiental în timp real pe un smartphone.” Cel mai interesant la AmbientSense este că poate fi implementat ca o aplicație Android și are nevoie doar de acces la microfonul dispozitivului pentru a analiza sunetele ambientale.
Există două moduri de procesare descrise în lucrare: autonom și modul server. Procesarea autonomă are loc pe smartphone doar prin compararea mostrelor audio cu o bază de date stocată local. În comparație, modul server trimite caracteristici audio către un server care trimite apoi rezultatele clasificării înapoi. În mod clar, funcția „Now Playing” de la Google rulează AmbientSense în modul „autonom”, deoarece poate funcționa offline fără a trimite nimic la Google.
Lucrarea continuă să descrie modul în care echipa de cercetători a testat performanța recunoașterii, timpul de rulare, încărcarea procesorului, și întârzierea recunoașterii atât în modul autonom cât și în modul server într-un set de 23 de clase de sunet ambiental. Ei au descoperit că aplicația AmbientSense a funcționat până la 13,75 ore pe un Samsung Galaxy SII și până la 12,87 ore pe Google Nexus One. Ține minte cât de vechi au aceste dispozitive; Google Nexus One a fost lansat în 2010 cu o baterie de 1.400 mAh și este un dinozaur în comparație cu Pixel 2. Ne putem doar imagina cât de mult a fost rafinat AmbientSense prin testarea Google.
Este posibilă portarea funcției în curs de redare pe telefoane non-Google Pixel 2?
Încă nu pot face nicio promisiune, dar eu cred ca este posibil. Lucrăm cu XDA Recognized Contributor Quinny899 ca să se întâmple. Pentru ca funcția Acum redare să funcționeze pe prima generație de smartphone-uri Google Pixel/Nexus, există câteva lucruri despre care credem că sunt necesare:
- Servicii Pixel Ambient (AmbientSense.apk)
- Baza de date de potrivire audio
- Niște biblioteci lipsă
- Modificări SystemUI la afișarea ambientală
- Acces rădăcină (pentru a împinge fișierele de mai sus în /system)
Credit capturi de ecran: Kieron Quinn (Quinny899)
În prezent avem deja în posesia noastră baza de date de potrivire audio, numită „matcher.leveldb”. Este o bibliotecă de stocare de 53 MB bazată pe Google LevelDB. Aceasta este baza de date pe care se bazează AmbientSense pentru a face potrivirea audio în modul autonom.
În ceea ce privește bibliotecile, știm cum se numesc și unde să le căutăm, dar va dura ceva timp până să putem pune mâna pe un Pixel 2 pentru a-l extrage.
În cele din urmă, SystemUI trebuie modificat deoarece funcția „Now Playing” scrie text în ambient afișaj—ceva ce nu este posibil în prezent pe caracteristica de afișare ambientală găsită pe primul generația Pixel.
În ceea ce privește ca acest lucru să funcționeze pe telefoanele non-Google, îl vom testa după ce îl vom face să funcționeze pe telefoanele Google Pixel și Nexus. Dacă sau când vom face o descoperire în ceea ce privește funcționarea acestei funcții, primul loc pe care îl veți ști despre ea este Portalul XDA, așa că rămâneți pe fază pentru mai multe!