Android 12 a apporté une tonne de nouvelles fonctionnalités, et l’une des plus mystérieuses est le Private Compute Core (PCC). Il s'agit essentiellement d'un endroit où les données sensibles peuvent être traitées sur l'appareil, loin de là où tout le reste se passe. Il alimente les fonctionnalités exclusives de Google Pixel 6 telles que Now Playing, Live Caption et Smart Reply, mais pendant longtemps, il n'y avait pas beaucoup d'informations sur son fonctionnement. Nous avons été obligés de deviner et d'essayer de le comprendre nous-mêmes.
Google a dit il y a longtemps qu'elle rendrait open source le code des Private Compute Services (PCS) afin que des chercheurs indépendants en sécurité puissent l'auditer. Il finalement publié ce code fin 2022, accompagné d’un livre blanc technique détaillant son fonctionnement. Private Compute Services est censé fournir un pont préservant la confidentialité entre le PCC et le cloud, ce qui rend il est possible de fournir de nouveaux modèles d'IA et d'autres mises à jour des fonctionnalités d'apprentissage automatique en bac à sable sur un site sécurisé. chemin. Google affirme que la communication entre les fonctionnalités et PCS s'effectue via un ensemble d'API open source utiles, supprimant les informations d'identification des données et appliquant des technologies de confidentialité telles que
Apprentissage fédéré, Federated Analytics et récupération d’informations privées.Google, dans ses propres mots, a déclaré ceci :
[Le PCC] est un environnement de traitement de données sécurisé et isolé au sein du système d'exploitation Android. qui vous donne le contrôle des données qu'il contient, par exemple en décidant si, comment et quand elles sont partagées avec autres. De cette façon, PCC peut activer des fonctionnalités telles que Live Translate sans partager de données de détection continue avec les fournisseurs de services, y compris Google. PCC fait partie de Protected Computing, une boîte à outils de technologies qui transforme comment, quand et où les données sont traitées pour garantir techniquement leur confidentialité et leur sécurité.
Private Compute Core est un bac à sable virtuel
Maintenant que nous avons les bases, qu'est-ce que exactement est le PCC? Google a maintenant donné quelques détails techniques sur son architecture et sur la manière dont elle existe dans son propre bac à sable virtuel isolé. Les fonctionnalités peuvent s'exécuter dans ce bac à sable et traiter les données au niveau du système d'exploitation ou ambiantes, et les résultats sont affichés à l'utilisateur via le système d'exploitation de confiance ou via un cadre open source à accès contrôlé Apis.
Il s’agit essentiellement d’un bac à sable pour les fonctionnalités susceptibles de traiter des informations sensibles. Smart Reply analyse évidemment vos messages, tandis que Live Caption écoute tout ce qui est lu. Now Playing écoute également l'audio autour de vous. Ces fonctionnalités sont hébergées dans Android System Intelligence et reposent uniquement sur PCS pour les connexions en dehors de ce bac à sable. PCS permet les opérations suivantes :
- Apprentissage fédéré et analyse fédérée
- Récupération d'informations privées (PIR)
- Transport HTTPS en téléchargement uniquement
Par exemple, lors de la saisie d'une conversation, Google explique que Gboard demandera à Smart Reply de faire des suggestions basées sur la conversation à l'écran. Smart Reply traite ensuite la conversation dans le PCC de manière sécurisée et confidentielle. Les données sensibles ne sont pas partagées avec l'application, le clavier ou Google, et tout ce que Gboard reçoit en réponse est une liste de réponses suggérées.
Tout ce qui est traité à l'intérieur du Compute Core ne peut également accéder au réseau qu'en interagissant avec PCS, qui supprime identifiant les informations et utilise des technologies de confidentialité, notamment Federated Learning, Federated Analytics et Private Récupération de l'information. Cela résume l'autorisation de connexion Internet loin des fonctions sensibles et ne fonctionnera que via des « API très étroites et utiles » pour faire des choses comme « télécharger des modèles, utiliser l’apprentissage fédéré, et plus encore ».
Mais le PCC est-il actif sur les smartphones Android comme Google l’a expliqué? Personne ne peut le dire. Mon intuition est que « l’aperçu de développement » existe pour des fonctionnalités très spécifiques et rien de plus, car il est annoncé comme étant actif même sur le site officiel d'Android 12. Cela aurait également du sens si c’est la raison pour laquelle il n’est pas encore open source, car il semble que cela ne fonctionne que pour un ensemble de fonctionnalités propriétaires de Google. Ceci est encore renforcé par le fait que Now Playing peut contourner l’indicateur du microphone car il passe par le Compute Core.
Les données stockées et traitées dans ce bac à sable ne sont pas exposées à d'autres applications, sauf indication contraire de l'utilisateur. Par exemple, une suggestion de réponse intelligente restera cachée sur votre clavier et dans l'application dans laquelle vous tapez jusqu'à ce que vous appuyiez dessus. PCS comble non seulement le fossé entre le PCC et votre smartphone, mais maintient également ces fonctionnalités à jour avec de nouveaux modèles et modifications basés sur l'IA.
Fonctionnement de la réponse intelligente, des sous-titres en direct et de l'attention à l'écran
Google a expliqué dans le livre blanc technique publié comment trois fonctionnalités d'Android System Intelligence fonctionnent dans le contexte du PCC.
Réponse intelligente
Smart Reply suggère des réponses rapides aux messages en fonction du contenu affiché à l'écran précédent et actuel. Android System Intelligence extrait les entités pertinentes des applications telles que les adresses, les noms et d'autres informations, puis les propose à l'utilisateur sous forme de suggestions. Ces suggestions sont rendues possibles via le PCC. Google prend les mesures suivantes pour mettre en œuvre la fonctionnalité en toute sécurité.
- Utilise l'API Content Capture comme source de données, qui est une API Android Framework avec des limites d'accès.
- Les utilisateurs et les développeurs d'applications peuvent désactiver les réponses intelligentes.
- Les administrateurs de périphériques peuvent désactiver cette fonctionnalité en utilisant une stratégie qui désactive la capture d'écran.
- Les utilisateurs peuvent spécifiquement autoriser les données à quitter le PCC.
- Aucune donnée ne quitte la limite PCC au moment du rendu car elle utilise une interface utilisateur déléguée via une API Android Framework spécifique.
- Le filtrage des candidats par entrée est désactivé après une série de frappes en raison de la capacité du clavier à obtenir le nombre de réponses de candidats affichées.
- Les données sont conservées pendant une courte période dans le PCC, ce qui signifie que les suggestions sont basées sur des données observées récemment.
- Les données sont obtenues uniquement à partir d'applications à partir desquelles le PCC sait lire, ce qui est rendu possible par une liste d'autorisation dans le système.
- Utilise les API PCS pour l'accès au réseau
- Les modèles ML ne sont pas spécifiques à l'utilisateur
- L'analyse est effectuée via des analyses fédérées avec une agrégation sécurisée
Sous-titre en direct
Live Caption fournit des sous-titres pour tout contenu en cours de lecture sur votre smartphone, traitant tout l'audio et affichant une transcription dans une interface utilisateur rendue par AOSP. Les données ne sont pas accessibles aux applications. Google prend les mesures suivantes pour mettre en œuvre la fonctionnalité en toute sécurité.
- Utilise les API Android Audio comme source de données, qui est une API Android Framework avec des limites d'accès.
- Cette fonctionnalité doit être activée par l'utilisateur et n'est pas activée par défaut.
- Les données ne quittent pas le PCC et sont uniquement restituées dans une surface système
- Il est affiché à l'aide d'une superposition dessinée à l'aide de l'API Window Manager
- Les données sont conservées pendant une courte période dans le PCC
- Utilise les API PCS pour l'accès au réseau
- Les mises à jour du modèle ne sont pas spécifiques à l'utilisateur
Attention à l'écran
Screen Attention maintient l'affichage actif pendant que l'utilisateur regarde son téléphone s'il le regarde lorsque l'assombrissement de l'écran est prévu. Si un visage est détecté, la gradation est reportée. Google prend les mesures suivantes pour mettre en œuvre la fonctionnalité en toute sécurité.
- Utilise les API Android Audio comme source de données, qui est une API Android Framework avec des limites d'accès
- Cette fonctionnalité doit être activée par l'utilisateur et n'est pas activée par défaut
- Les données ne quittent pas le PCC et sont traitées uniquement au sein du PCC et du système d'exploitation via l'API AttentionManagerService Framework. Les données ne sont conservées que pendant une courte période
- N'utilise aucune des capacités du réseau. Les modèles sont uniquement mis à jour via APK
Le Private Compute Core est-il une exclusivité Pixel?
C’est là que les choses se compliquent vraiment.
Le PCC n’a jamais été explicitement commercialisé comme une fonctionnalité exclusive au Pixel. C'est sur le site officiel d'Android, et Google parle de PCC dans le contexte d'Android – pas dans le contexte de Pixels. Cela dit, Monet était techniquement une exclusivité Pixel à un moment donné. La seule différence est que Google a déclaré que l'argent serait transféré vers AOSP. dans une prochaine version d'Android, et désormais les OEM peuvent le mettre en œuvre eux-mêmes. La formulation relative au PCC est cependant ambiguë et fait une vague référence aux « caractéristiques fourni par Android System Intelligence tel qu'implémenté dans Pixel et potentiellement d'autres appareils pour Android 12."
D'après ce que je peux comprendre, il semblerait qu'à tout le moins, Android System Intelligence soit utilisé sur d'autres appareils. Mon Samsung Galaxy S22 Ultra est équipé d'Android System Intelligence, mais il n'est pas tout à fait clair s'il implémente les fonctionnalités dont Google parle via Private Compute Core.
Le Private Compute Core a beaucoup de sens pour les utilisateurs d’entreprise
Nous aimerions que Google rende les informations plus facilement accessibles concernant le PCC et la manière dont il protège la vie privée des utilisateurs, en particulier en ce qui concerne leurs relations avec d'autres appareils. Le PCC est-il une exclusivité Pixel? D’autres constructeurs OEM peuvent-ils le mettre en œuvre? Pour le moment, c’est difficile à dire, même si l’idée derrière est bonne. Cela peut également être un atout utile pour protéger les utilisateurs de smartphones, en particulier ceux qui peuvent utiliser leur smartphone. appareils destinés aux entreprises, mais sont perturbés par des fonctionnalités plus « invasives » telles que Now Playing et Smart Répondre.
L’autre aspect à considérer est de savoir si de nouvelles fonctionnalités seront introduites au fil du temps. Bien qu’ils puissent évidemment l’être, il ne semble pas (d’après le livre blanc, en tout cas) que quelque chose de nouveau soit vraiment arrivé au PCC en un an. Même s'il n'est pas nécessaire que tout soit acheminé via ce système si ce n'est pas nécessaire, les utilisateurs préféreront évidemment que leurs données soient protégées lorsque cela est possible.