Google Pixel 6 e Pixel 7 hanno un Private Compute Core; ecco cosa sappiamo

Androide 12 ha portato con sé tantissime nuove funzionalità e una delle più misteriose è il Private Compute Core (PCC). È essenzialmente un luogo in cui i dati sensibili possono essere elaborati sul dispositivo, lontano da dove accade tutto il resto. Alimenta le funzionalità esclusive di Google Pixel 6 come Now Playing, Live Caption e Smart Reply, ma per molto tempo non ci sono state molte informazioni su come funziona. Siamo stati costretti a indovinare e provare a capirlo da soli.

Google ha detto molto tempo fa avrebbe reso open source il codice per i Private Compute Services (PCS) in modo che i ricercatori indipendenti sulla sicurezza potessero verificarlo. Esso finalmente ha rilasciato quel codice alla fine del 2022, insieme a un libro bianco tecnico che ne descrive in dettaglio il funzionamento. Si dice che i servizi di elaborazione privati ​​forniscano un ponte di tutela della privacy tra il PCC e il cloud, creando è possibile fornire nuovi modelli di intelligenza artificiale e altri aggiornamenti alle funzionalità di machine learning sandbox in modo sicuro sentiero. Google afferma che la comunicazione tra funzionalità e PCS avviene tramite una serie di API open source mirate, rimuovendo le informazioni identificative dai dati e applicando tecnologie sulla privacy come

Apprendimento federato, Analisi federata e recupero di informazioni private.

Google, con le sue stesse parole, aveva questo da dire:

[Il PCC] è un ambiente di elaborazione dati sicuro e isolato all'interno del sistema operativo Android che ti dà il controllo dei dati all'interno, ad esempio decidere se, come e quando condividerli altri. In questo modo, PCC può abilitare funzionalità come Live Translate senza condividere dati di rilevamento continui con i fornitori di servizi, incluso Google. PCC fa parte di Protected Computing, un toolkit di tecnologie che trasforma come, quando e dove i dati vengono elaborati per garantirne tecnicamente la privacy e la sicurezza.

Private Compute Core è un sandbox virtuale

Ora che abbiamo le nozioni di base, cosa esattamente è il PCC? Google ha ora fornito alcuni dettagli tecnici sulla sua architettura e su come esiste nella propria sandbox virtuale isolata. Le funzionalità possono essere eseguite all'interno di tale sandbox ed elaborare dati a livello di sistema operativo o ambientali e vengono visualizzati i risultati l'utente tramite il sistema operativo attendibile o tramite un framework open source ad accesso controllato API.

In sostanza, è una sandbox per funzionalità che potrebbero elaborare informazioni sensibili. Smart Reply ovviamente scansiona i tuoi messaggi, mentre Live Caption ascolta tutto ciò che viene riprodotto. Now Playing ascolta anche l'audio intorno a te. Queste funzionalità sono ospitate all'interno di Android System Intelligence e si basa esclusivamente sul PCS per le connessioni all'esterno di questa sandbox. PCS consente quanto segue:

  • Apprendimento federato e analisi federata
  • Recupero di informazioni private (PIR)
  • Trasporto HTTPS di solo download

Ad esempio, quando si digita una conversazione, Google spiega che Gboard chiederà a Smart Reply di fornire suggerimenti in base alla conversazione sullo schermo. Smart Reply elabora quindi la conversazione nel PCC in modo sicuro e confidenziale. I dati sensibili non vengono condivisi con l'app, la tastiera o Google e tutto ciò che Gboard riceve in risposta è un elenco di risposte suggerite.

Tutto ciò che viene elaborato all'interno del Compute Core può accedere alla rete solo interagendo con PCS, che viene eliminato identificare le informazioni e utilizzare tecnologie sulla privacy, tra cui Federated Learning, Federated Analytics e Private Recupero delle informazioni. Ciò estrae l'autorizzazione alla connessione Internet lontano da funzioni sensibili e funzionerà solo attraverso "API molto ristrette e mirate" per eseguire operazioni come "scaricare modelli, utilizzare l'apprendimento federato e altro ancora".

Ma il PCC è attivo sugli smartphone Android come ha spiegato Google? Nessuno può dirlo. La mia sensazione è che l'"anteprima di sviluppo" esista per funzionalità molto specifiche e niente di più, poiché è pubblicizzata come attiva anche sul sito ufficiale di Android 12. Ciò avrebbe senso anche se fosse questo il motivo per cui non è stato ancora reso open source, poiché sembra che potrebbe funzionare solo per una serie di funzionalità proprietarie di Google. Ciò è ulteriormente supportato dal fatto che Now Playing può bypassare l'indicatore del microfono perché attraversa il Compute Core.

I dati archiviati ed elaborati all'interno di questa sandbox non vengono esposti ad altre app a meno che l'utente non dica diversamente. Ad esempio, un suggerimento di risposta rapida rimarrà nascosto dalla tastiera e dall'app in cui stai digitando finché non lo tocchi. I PCS non solo colmano il divario tra il PCC e lo smartphone, ma mantengono anche aggiornate tali funzionalità con nuovi modelli e modifiche basati sull'intelligenza artificiale.

Come funzionano la risposta intelligente, i sottotitoli in tempo reale e l'attenzione sullo schermo

Google ha delineato nel white paper tecnico pubblicato come funzionano tre funzionalità di Android System Intelligence nel contesto del PCC.

Risposta intelligente

Smart Reply suggerisce risposte rapide ai messaggi in base al contenuto visualizzato sullo schermo precedente e corrente. Android System Intelligence estrae entità rilevanti dalle app come indirizzi, nomi e altre informazioni e le offre all'utente come suggerimenti. Questi suggerimenti sono resi possibili tramite il PCC. Google adotta le seguenti misure per implementare la funzionalità in modo sicuro e protetto.

  • Utilizza l'API Content Capture come origine dati, che è un'API Android Framework con limiti di accesso.
  • Gli utenti e gli sviluppatori di app possono disattivare le risposte rapide.
  • Gli amministratori del dispositivo possono disabilitare questa funzionalità utilizzando un criterio che disabilita l'acquisizione dello schermo.
  • Gli utenti possono consentire specificamente ai dati di lasciare il PCC.
    • Nessun dato lascia il confine del PCC in fase di rendering poiché utilizza un'interfaccia utente delegata tramite un'API Android Framework specifica.
    • Il filtraggio dei candidati in base all'input viene disabilitato dopo una serie di pressioni di tasti a causa della capacità della tastiera di ottenere quante risposte dei candidati vengono visualizzate.
    • I dati vengono conservati per un breve periodo nel PCC, il che significa che i suggerimenti si basano sui dati osservati di recente
    • I dati vengono ottenuti solo da app da cui il PCC capisce come leggere, reso possibile da una lista consentita nel sistema
  • Utilizza le API PCS per l'accesso alla rete
    • I modelli ML non sono specifici dell'utente
    • L'analisi viene eseguita tramite analisi federate con aggregazione sicura

Sottotitoli in tempo reale

Live Caption fornisce sottotitoli per qualsiasi contenuto attualmente riprodotto sul tuo smartphone, elaborando tutto l'audio e visualizzando una trascrizione in un'interfaccia utente con rendering AOSP. I dati non sono accessibili alle app. Google adotta le seguenti misure per implementare la funzionalità in modo sicuro e protetto.

  • Utilizza le API audio Android come origine dati, ovvero un'API Android Framework con limiti di accesso.
  • Questa funzione deve essere abilitata dall'utente e non è abilitata per impostazione predefinita.
  • I dati non lasciano il PCC e vengono visualizzati solo sulla superficie del sistema
    • Viene visualizzato utilizzando una sovrapposizione disegnata utilizzando l'API Window Manager
    • I dati vengono conservati per un breve periodo di tempo nel PCC
  • Utilizza le API PCS per l'accesso alla rete
    • Gli aggiornamenti del modello non sono specifici dell'utente

Attenzione allo schermo

L'attenzione sullo schermo mantiene attivo il display mentre l'utente guarda il proprio telefono se lo sta guardando quando è programmato l'oscuramento dello schermo. Se viene rilevato un volto, l'oscuramento viene posticipato. Google adotta le seguenti misure per implementare la funzionalità in modo sicuro.

  • Utilizza le API audio Android come origine dati, ovvero un'API Android Framework con limiti di accesso
  • Questa funzione deve essere abilitata dall'utente e non è abilitata per impostazione predefinita
  • I dati non lasciano il PCC e vengono elaborati solo all'interno del PCC e del sistema operativo tramite l'API AttentionManagerService Framework. I dati vengono conservati solo per un breve periodo di tempo
  • Non utilizza nessuna delle funzionalità di rete. I modelli vengono aggiornati solo tramite APK

Il Private Compute Core è un'esclusiva Pixel?

È qui che le cose diventano davvero complicate.

Il PCC non è mai stato esplicitamente commercializzato come funzionalità esclusiva di Pixel. È sul sito ufficiale di Android e Google parla di PCC nel contesto di Android, non nel contesto di Pixel. Detto questo, a un certo punto Monet era tecnicamente un'esclusiva Pixel. L’unica differenza è che Google ha affermato che Monet sarebbe stato trasferito ad AOSP in una versione futura di Androide ora gli OEM possono implementarlo da soli. La formulazione relativa al PCC è tuttavia ambigua e fa un vago riferimento alle "caratteristiche". fornito da Android System Intelligence implementato in Pixel e potenzialmente in altri dispositivi per Android 12."

Da quello che ho capito, sembrerebbe che almeno Android System Intelligence sia in uso su altri dispositivi. Il mio Samsung Galaxy S22 Ultra ha installato Android System Intelligence, anche se non è esattamente chiaro se implementa quelle funzionalità di cui parla Google tramite il Private Compute Core.

Il Private Compute Core ha molto senso per gli utenti aziendali

Ci piacerebbe che Google rendesse le informazioni più facilmente disponibili in relazione al PCC e al modo in cui protegge la privacy degli utenti, soprattutto nel modo in cui si collega ad altri dispositivi. Il PCC è un'esclusiva Pixel? Altri OEM possono implementarlo? Al momento è difficile dirlo, anche se l'idea alla base è buona. Può essere una risorsa utile anche per proteggere gli utenti di smartphone, soprattutto quelli che potrebbero utilizzarli dispositivi per le imprese ma sono disturbati da funzionalità più "invasive" come Now Playing e Smart Rispondere.

L’altro aspetto da considerare è se nel tempo verranno introdotte nuove funzionalità. Sebbene ovviamente possano esserlo, non sembra (almeno dal Libro bianco) che qualcosa di nuovo sia realmente arrivato al PCC in un anno. Sebbene non tutto debba essere instradato attraverso di esso se non è necessario, gli utenti preferiranno ovviamente che i propri dati siano protetti quando possibile.