5 fonctionnalités dont AI Copilot de Windows 11 a besoin pour être vraiment utile

L'IA est devenue une partie importante de la stratégie de Microsoft au cours de la dernière année. Bien sûr, cela pourrait être dit pour de nombreuses entreprises, car l'IA semble être le mot à la mode le plus en vogue en ce moment. Mais Microsoft a récemment pris la décision audacieuse de l'amener à Windows 11 sous la forme de Copilote Windows, un nouvel assistant IA qui succède (officieusement) à Cortana. Il est alimenté par le grand modèle de langage GPT-4 utilisé n Bing Chat pour créer un outil qui espère être plus utile que jamais.

Bien que le potentiel soit passionnant, l'implémentation actuelle de Copilot dans les versions de Windows Insider est très basique et pas trop différente de la simple utilisation

Chat Bing sur le Web. J'ai quelques idées sur ce que Microsoft peut faire pour faire de Copilot une partie vraiment essentielle de Windows 11.

1 Soutien tous paramètres système et fonctions principales

Le grand attrait de Windows Copilot au lancement était qu'il pouvait interagir avec votre PC d'une manière que Bing Chat, en tant que simple navigateur, ne pouvait vraiment pas. Et c'est un excellent point de départ. De nombreux utilisateurs expérimentés aiment déjà utiliser des interfaces textuelles et des commandes clavier pour effectuer certaines tâches. Par conséquent, la possibilité de modifier un grand nombre de ces paramètres à partir d'un seul endroit présente un grand potentiel.

Cependant, l'implémentation actuelle ne prend en charge que quelques fonctionnalités, comme la possibilité de passer en mode clair ou sombre, d'activer la fonction Ne pas déranger ou de prendre une capture d'écran. Cela doit vraiment s'étendre à tous les paramètres Windows qui peuvent être trouvés dans l'application Paramètres (le Panneau de configuration devrait probablement être laissé de côté à ce stade), ou du moins beaucoup plus que ce que nous avons actuellement. Cela pourrait changer la couleur d'accentuation, désactiver l'un des affichages dans une configuration multi-écrans, changer les appareils de lecture, etc. Il pourrait même démarrer une session de mise au point.

Si Windows Copilot pouvait aider avec tout cela, cela pourrait rendre l'interaction avec certains paramètres beaucoup plus rapide, en particulier pour les personnes qui le font fréquemment. Il y a beaucoup à faire, et Microsoft en a promis une partie, mais il n'a pas encore livré.

2 Crochets d'application faciles

Une autre chose qui, selon moi, fera ou détruira l'utilité de Copilot est son intégration avec d'autres applications. Dans l'esprit de devenir un assistant IA centralisé, Copilot doit pouvoir s'intégrer facilement à toutes sortes d'applications tierces. Nous avons en quelque sorte vu cela en action lorsque Microsoft a présenté Copilot à la construction de cette année et l'a utilisé pour jouer de la musique avec Spotify. Mais nous n'avons pas encore vu cela devenir fonctionnel, et cela doit aller au-delà des partenaires habituels de Microsoft.

Copilot devrait être capable d'ouvrir des applications et de démarrer une tâche spécifique en leur sein, ou de jouer une émission spécifique sur Netflix, ou toute autre chose qui pourrait être utile dans ces applications.

3 Intégration avec l'explorateur de fichiers

Je sais que les gens en ont probablement assez des services indésirables de Microsoft partout où ils le peuvent, mais je pense que l'intégration de Copilot dans l'explorateur de fichiers pourrait le rendre utile pour plus que les utilisateurs qui souhaitent taper des instructions dans Copilot, en particulier parce que cela nécessite que la fenêtre Copilot prenne presque de la place sur votre écran en permanence.

Il pourrait être intéressant d'avoir une fonctionnalité dans l'Explorateur de fichiers où vous pouvez cliquer avec le bouton droit sur un fichier et choisir une option appelée "Envoyer au copilote", qui l'invite alors à demander ce que vous voulez faire avec ledit déposer. Par exemple, avec une image, vous pouvez demander à Copilot de supprimer l'arrière-plan, ou vous pouvez lui demander de retranscrire un fichier audio. Ce sont les deux fonctionnalités que nous avons vues, mais cela vous obligerait généralement à faire glisser et déposer le fichier dans le panneau Copilot. Je pense que pouvoir y accéder directement à partir de l'explorateur de fichiers serait le bienvenu (mais l'option de le désactiver serait bien aussi).

4 Commande vocale

Je soupçonne que je suis seul dans celui-ci, c'est pourquoi j'ai poussé un peu celui-ci vers le bas. Les commandes vocales sont évidemment plus populaires sur les téléphones, et pour le moment, Bing Chat ne prend en charge cette fonctionnalité que si vous êtes sur votre téléphone. Mais je pense que ce serait bien d'avoir des commandes vocales prises en charge sur ordinateurs portables et les PC aussi. Pouvoir modifier tous ces paramètres, commencer à jouer de la musique ou ouvrir une application avec votre voix pourrait être utile. Et il en va de même pour poser des questions à Bing. Cortana l'a pris en charge lors de l'introduction de Windows 11, et Microsoft voulait que ce soit une grande chose, donc je ne sais pas si cela gagnerait vraiment en popularité, mais je peux certainement en voir les utilisations.

Avec un navigateur, vous devez faire un peu de chemin pour initier une interaction vocale, mais avec un fonctionnalité intégrée, vous pouvez avoir un mot-clé d'activation ou un raccourci, de sorte que vous pouvez rapidement parler votre commandes. J'imagine que ce ne serait pas si difficile à mettre en œuvre puisque la reconnaissance vocale est déjà utilisée dans plusieurs parties de Windows.

5 Lecture d'écran et OCR

Une dernière chose que j'aimerais voir Copilot être capable de faire est de lire les informations à l'écran et, en particulier, la reconnaissance optique de caractères (OCR). À l'heure actuelle, vous pouvez demander à Copilot de résumer une page, mais celle-ci doit se trouver sur un site Web ouvert dans Edge, ce qui limite considérablement les fonctionnalités. Alors que l'approche idéale serait que cela fonctionne avec d'autres navigateurs en mode natif, il serait intéressant que Copilot puisse agir essentiellement comme un lecteur d'écran (tel que Narrator) et l'utiliser pour extraire des informations de n'importe quelle page sur n'importe quel navigateur ou application pour le résumer.

Une autre fonctionnalité intéressante serait l'OCR, ou la capacité de reconnaître le texte dans les images, vous pouvez donc demander à Copilot de saisir le texte d'une image ou d'une numérisation PDF, et simplement de le copier ou de le résumer. Celui-ci n'est en fait pas si fou puisqu'il a été signalé qu'une sorte de capacité OCR est prévue pour Windows 12, donc je suis sûr que nous pourrions voir quelque chose dans ce sens.

Il y a plus de potentiel inexploité

J'ai exploré mes préférences et souhaits personnels ici, mais avec quelque chose d'aussi performant que Copilot et les grands modèles de langage qui l'alimentent, je suis sûr qu'il y a beaucoup plus d'idées que les gens pourraient trouver utiles. Quoi qu'il en soit, l'avenir de Copilot et de Windows est assez excitant, en supposant que Microsoft puisse tenir la promesse de ce produit. Que cela se produise ou non est une toute autre question.