5 funksjoner Windows 11s AI Copilot må virkelig være nyttig

AI har blitt en stor del av Microsofts strategi det siste året eller så. Jada, det kan sies for mange selskaper, siden AI ser ut til å være det hotteste moteordet akkurat nå. Men Microsoft tok nylig det dristige skrittet å bringe det til Windows 11 i form av Windows Copilot, en ny AI-assistent som (uoffisielt) er en etterfølger til Cortana. Den er drevet av den store GPT-4-språkmodellen som brukes n Bing Chat for å lage et verktøy som håper å være mer nyttig enn noen gang.

Selv om potensialet er spennende, er den nåværende implementeringen av Copilot i Windows Insider-bygg veldig grunnleggende og ikke så forskjellig fra bare å bruke Bing Chat på internett. Jeg har noen ideer til hva Microsoft kan gjøre for å gjøre Copilot til en virkelig viktig del av Windows 11.

1 Brukerstøtte alle systeminnstillinger og hovedfunksjoner

Det store trekkplasteret med Windows Copilot ved lansering var at det kunne samhandle med PC-en din på måter som Bing Chat, som bare en nettleser, egentlig ikke kunne. Og dette er et flott utgangspunkt. Mange avanserte brukere liker allerede å bruke tekstbaserte grensesnitt og tastaturkommandoer for å utføre visse oppgaver, så å kunne endre mange av disse innstillingene fra ett sted har mye potensial.

Den nåværende implementeringen støtter imidlertid bare noen få funksjoner, som å kunne bytte til lys eller mørk modus, slå på ikke forstyrr eller ta et skjermbilde. Dette må virkelig utvides til alle Windows-innstillingene som finnes i Innstillinger-appen (Kontrollpanelet bør nok ligge igjen på dette tidspunktet), eller i det minste mye mer enn det vi har akkurat nå. Det kan endre aksentfargen, deaktivere en av skjermene i et flerskjermsoppsett, endre avspillingsenheter og så videre. Det kan til og med starte en fokusøkt.

Hvis Windows Copilot kunne hjelpe med alt dette, kan det gjøre interaksjon med visse innstillinger mye raskere, spesielt for folk som gjør det ofte. Det er mye som kan gjøres, og Microsoft har lovet noe av det, men det har ikke levert ennå.

2 Enkel appkroker

En annen ting jeg føler vil gjøre eller ødelegge nytten av Copilot er integrasjonen med andre apper. I ånden av å bli en sentralisert AI-assistent, må Copilot enkelt kunne integreres med alle slags tredjepartsapper. Vi så dette i aksjon da Microsoft demonstrerte Copilot kl årets Build og brukte den til å spille musikk med Spotify. Men vi har ikke sett det bli funksjonelt ennå, og det må gå utover Microsofts vanlige partnere.

Copilot skal kunne åpne apper og starte en spesifikk oppgave i dem, eller spille av et spesifikt program på Netflix, eller noe annet som kan være nyttig i disse appene.

3 Integrasjon med filutforsker

Jeg vet at folk sannsynligvis er lei av Microsofts skohorning av uønskede tjenester hvor det kan, men jeg tror at Copilot-integrasjon i File Explorer kan gjøre det nyttig for mer enn bare brukere som ønsker å skrive instruksjoner i Copilot, spesielt fordi det krever at Copilot-vinduet nesten tar opp plass på skjermen din permanent.

Det kan være interessant å ha en funksjon i File Explorer hvor du kan høyreklikke på en fil og velge et alternativ kalt "Send til Copilot", som da vil be den om å spørre hva du vil gjøre med sa fil. For eksempel, med et bilde, kan du be Copilot om å fjerne bakgrunnen, eller du kan be den om å transkribere en lydfil. Dette er begge egenskapene vi har sett vist frem, men som vanligvis krever at du drar og slipper filen inn i Copilot-panelet. Jeg tror det ville være kjærkomment å få tilgang til den direkte fra File Explorer (men muligheten til å slå den av ville også være fin).

4 Stemmekontroll

Jeg mistenker at jeg er alene om denne, og det er derfor jeg har presset denne litt ned. Talekommandoer er åpenbart mer populære på telefoner, og akkurat nå støtter Bing Chat denne funksjonen bare hvis du er på telefonen. Men jeg tror det ville vært fint å ha støttet talekommandoer bærbare datamaskiner og PC-er også. Det kan være nyttig å kunne endre alle disse innstillingene, begynne å spille musikk eller åpne en app med stemmen. Og det samme gjelder å stille spørsmål til Bing. Cortana støttet det da Windows 11 ble introdusert, og Microsoft ønsket at det skulle være en stor ting, så jeg er ikke sikker på om det faktisk ville få mye trekkraft, men jeg kan definitivt se bruksområder for det.

Med en nettleser må du gå litt ut av veien for å starte stemmeinteraksjon, men med en innebygd funksjon, kan du ha et aktiveringsnøkkelord eller snarvei, slik at du raskt kan snakke din kommandoer. Jeg antar at det ikke ville være så vanskelig å implementere siden stemmegjenkjenning allerede brukes i flere deler av Windows.

5 Skjermlesing og OCR

En siste ting jeg gjerne skulle sett Copilot kunne gjøre er å lese informasjonen på skjermen og spesielt optisk tegngjenkjenning (OCR). Akkurat nå kan du be Copilot om å oppsummere en side, men den må være på et nettsted som er åpent i Edge, noe som begrenser funksjonaliteten sterkt. Selv om den ideelle tilnærmingen ville være å få dette til å fungere med andre nettlesere, ville det være interessant om Copilot kunne fungerer i utgangspunktet som en skjermleser (som Forteller) og bruker den til å trekke ut informasjon fra en hvilken som helst side på en hvilken som helst nettleser eller app for å oppsummere det.

En annen kul funksjon ville være OCR, eller muligheten til å gjenkjenne tekst i bilder, så du kan be Copilot om å hente tekst fra et bilde eller en PDF-skanning., og ganske enkelt kopiere den eller oppsummere den. Denne er faktisk ikke så gal siden det har blitt rapportert at det er planlagt en form for OCR-funksjon Windows 12, så jeg er sikker på at vi kan se noe i denne retningen.

Det er mer uutnyttet potensial

Jeg utforsket mine personlige preferanser og ønsker her, men med noe så dyktig som Copilot og de store språkmodellene som driver det, er jeg sikker på at det er mange flere ideer folk kan finne nyttige. Uansett er fremtiden til Copilot og Windows ganske spennende, forutsatt at Microsoft kan holde løftet om dette produktet. Hvorvidt det faktisk vil skje eller ikke er et helt annet spørsmål.