5 funktioner Windows 11:s AI Copilot måste verkligen vara användbar

AI har blivit en stor del av Microsofts strategi under det senaste året eller så. Visst, det kan sägas för många företag, eftersom AI verkar vara det hetaste modeordet just nu. Men Microsoft tog nyligen det djärva steget att ta det till Windows 11 i formen av Windows Copilot, en ny AI-assistent som (inofficiellt) är en efterträdare till Cortana. Den drivs av den stora språkmodellen GPT-4 som används n Bing Chat för att skapa ett verktyg som hoppas vara mer användbart än någonsin.

Även om potentialen är spännande, är den nuvarande implementeringen av Copilot i Windows Insider-byggen väldigt grundläggande och inte alltför annorlunda än att bara använda Bing Chat på webben. Jag har några idéer om vad Microsoft kan göra för att göra Copilot till en verkligt viktig del av Windows 11.

1 Stöd Allt systeminställningar och huvudfunktioner

Det stora dragplåstret med Windows Copilot vid lanseringen var att det kunde interagera med din PC på ett sätt som Bing Chat, som bara en webbläsare, verkligen inte kunde. Och det här är en bra utgångspunkt. Många avancerade användare gillar redan att använda textbaserade gränssnitt och tangentbordskommandon för att utföra vissa uppgifter, så att kunna ändra många av dessa inställningar från ett ställe har stor potential.

Den nuvarande implementeringen stöder dock bara ett fåtal funktioner, som att kunna växla till ljust eller mörkt läge, slå på stör ej eller ta en skärmdump. Detta måste verkligen utökas till Allt Windows-inställningarna som finns i appen Inställningar (Kontrollpanelen bör nog vara kvar vid det här laget), eller åtminstone mycket mer än vad vi har just nu. Det kan ändra accentfärgen, inaktivera en av bildskärmarna i en konfiguration med flera bildskärmar, ändra uppspelningsenheter och så vidare. Det kan till och med starta en fokussession.

Om Windows Copilot kunde hjälpa till med allt detta, kan det göra interaktionen med vissa inställningar mycket snabbare, särskilt för personer som gör det ofta. Det finns mycket som kan göras, och Microsoft har lovat en del av det, men det har inte levererats än.

2 Enkla appkrokar

En annan sak som jag känner kommer att göra eller bryta användbarheten av Copilot är dess integration med andra appar. I andan av att bli en centraliserad AI-assistent måste Copilot enkelt kunna integreras med alla typer av tredjepartsappar. Vi såg det här i aktion när Microsoft demonstrerade Copilot kl årets Build och använde den för att spela musik med Spotify. Men vi har inte sett det bli funktionellt än, och det måste gå utöver Microsofts vanliga partners.

Copilot ska kunna öppna appar och starta en specifik uppgift inom dem, eller spela en specifik show på Netflix, eller något annat som kan vara användbart i dessa appar.

3 Integration med File Explorer

Jag vet att folk förmodligen är trötta på att Microsoft skohornar oönskade tjänster varhelst det kan, men jag tror att Copilot-integrering i File Explorer kan göra det användbart för mer än bara användare som vill skriva instruktioner i Copilot, särskilt eftersom det kräver att Copilot-fönstret nästan tar upp plats på skärmen permanent.

Det kan vara intressant att ha en funktion i Filutforskaren där du kan högerklicka på en fil och välja ett alternativ som heter "Skicka till Copilot", som sedan skulle uppmana den att fråga vad du vill göra med det nämnda fil. Till exempel, med en bild kan du be Copilot att ta bort bakgrunden, eller så kan du be den att transkribera en ljudfil. Dessa är båda funktionerna som vi har sett visat upp, men det kräver vanligtvis att du drar och släpper filen till Copilot-panelen. Jag tror att det skulle vara välkommet att kunna komma åt det direkt från File Explorer (men alternativet att stänga av det skulle också vara trevligt).

4 Röst kontroll

Jag misstänker att jag är ensam om den här, det är därför jag har tryckt ner den här lite. Röstkommandon är uppenbarligen mer populära på telefoner, och just nu stöder Bing Chat bara den här funktionen om du använder din telefon. Men jag tror att det skulle vara trevligt att ha röstkommandon som stöds bärbara datorer och datorer också. Att kunna ändra alla dessa inställningar, börja spela musik eller öppna en app med din röst kan vara användbart. Och detsamma gäller för att ställa frågor till Bing. Cortana stödde det när Windows 11 introducerades, och Microsoft ville att det skulle vara en stor sak, så jag är inte säker på om det faktiskt skulle få mycket dragkraft, men jag kan definitivt se användningar för det.

Med en webbläsare måste du gå lite ur ditt sätt för att initiera röstinteraktion, men med en inbyggd funktion, kan du ha ett aktiveringssökord eller genväg, så att du snabbt kan tala ditt kommandon. Jag antar att det inte skulle vara så svårt att implementera eftersom röstigenkänning redan används i flera delar av Windows.

5 Skärmläsning och OCR

En sista sak som jag skulle älska att se Copilot kunna göra är att läsa informationen på skärmen och framför allt optisk teckenigenkänning (OCR). Just nu kan du be Copilot att sammanfatta en sida, men den måste finnas på en webbplats som är öppen i Edge, vilket kraftigt begränsar funktionaliteten. Även om det idealiska tillvägagångssättet skulle vara att få detta att fungera med andra webbläsare, skulle det vara intressant om Copilot kunde fungerar i princip som en skärmläsare (som Narrator) och använder den för att extrahera information från vilken sida som helst i vilken webbläsare eller app som helst för att sammanfatta det.

En annan cool funktion skulle vara OCR, eller förmågan att känna igen text i bilder, så du kan be Copilot att ta text från en bild eller en PDF-skanning., och helt enkelt kopiera den eller sammanfatta den. Den här är faktiskt inte så tokig eftersom det har rapporterats att någon form av OCR-kapacitet är planerad för Windows 12, så jag är säker på att vi kan se något i den här stilen.

Det finns mer outnyttjad potential

Jag utforskade mina personliga preferenser och önskemål här, men med något så kapabelt som Copilot och de stora språkmodellerna som driver det, är jag säker på att det finns många fler idéer som folk kan hitta användbara. Oavsett vilket är framtiden för Copilot och Windows ganska spännande, förutsatt att Microsoft kan infria löftet om denna produkt. Huruvida det verkligen kommer att hända eller inte är en helt annan fråga.