5 Funktionen, die der AI Copilot von Windows 11 wirklich nützlich sein muss

KI ist im letzten Jahr oder so zu einem wichtigen Teil der Strategie von Microsoft geworden. Sicher, das trifft auf viele Unternehmen zu, denn KI scheint derzeit das heißeste Schlagwort zu sein. Aber Microsoft hat kürzlich den mutigen Schritt unternommen, dies zu erreichen Windows 11 in Form von Windows-Copilot, ein neuer KI-Assistent, der (inoffiziell) ein Nachfolger von Cortana ist. Es basiert auf dem großen Sprachmodell GPT-4, das in Bing Chat verwendet wird, um ein Tool zu erstellen, das nützlicher als je zuvor sein soll.

Obwohl das Potenzial spannend ist, ist die aktuelle Implementierung von Copilot in Windows Insider-Builds sehr einfach und unterscheidet sich nicht allzu sehr von der bloßen Verwendung

Bing-Chat im Internet. Ich habe ein paar Ideen, was Microsoft tun kann, um Copilot zu einem wirklich wesentlichen Bestandteil von Windows 11 zu machen.

1 Unterstützung alle Systemeinstellungen und Hauptfunktionen

Der große Vorteil von Windows Copilot beim Start bestand darin, dass es auf eine Weise mit Ihrem PC interagieren konnte, die Bing Chat als reiner Browser eigentlich nicht konnte. Und das ist ein toller Ausgangspunkt. Viele Power-User verwenden bereits gerne textbasierte Schnittstellen und Tastaturbefehle, um bestimmte Aufgaben auszuführen. Daher bietet die Möglichkeit, viele dieser Einstellungen von einem Ort aus ändern zu können, großes Potenzial.

Allerdings unterstützt die aktuelle Implementierung nur wenige Funktionen, wie z. B. die Möglichkeit, in den Hell- oder Dunkelmodus zu wechseln, „Bitte nicht stören“ einzuschalten oder einen Screenshot zu machen. Das muss wirklich erweitert werden alle die Windows-Einstellungen, die in der App „Einstellungen“ zu finden sind (die Systemsteuerung sollte an dieser Stelle wahrscheinlich zurückgelassen werden), oder zumindest viel mehr als das, was wir derzeit haben. Es könnte die Akzentfarbe ändern, eine der Anzeigen in einem Multi-Monitor-Setup deaktivieren, Wiedergabegeräte ändern und so weiter. Es könnte sogar eine Fokussitzung beginnen.

Wenn Windows Copilot bei all dem helfen könnte, könnte es die Interaktion mit bestimmten Einstellungen viel schneller machen, insbesondere für Leute, die das häufig tun. Es gibt viel zu tun, und Microsoft hat einiges davon versprochen, aber noch nicht geliefert.

2 Einfache App-Hooks

Eine weitere Sache, die meiner Meinung nach über den Nutzen von Copilot entscheiden wird, ist die Integration mit anderen Apps. Um ein zentraler KI-Assistent zu werden, muss Copilot in der Lage sein, sich problemlos in alle Arten von Drittanbieter-Apps zu integrieren. Wir haben dies in Aktion gesehen, als Microsoft Copilot auf der Demo vorführte der diesjährige Build und habe damit Musik mit Spotify abgespielt. Wir haben jedoch noch nicht gesehen, dass dies funktionsfähig ist, und es muss über die üblichen Partner von Microsoft hinausgehen.

Copilot sollte in der Lage sein, Apps zu öffnen und darin eine bestimmte Aufgabe zu starten oder eine bestimmte Sendung auf Netflix abzuspielen oder alles andere, was in diesen Apps nützlich sein könnte.

3 Integration mit Datei-Explorer

Ich weiß, dass die Leute es wahrscheinlich satt haben, dass Microsoft unerwünschte Dienste unter Druck setzt, wo immer es geht, aber ich denke, dass die Integration von Copilot in den Datei-Explorer Abhilfe schaffen könnte Nützlich für mehr als nur Benutzer, die Anweisungen in Copilot eingeben möchten, insbesondere weil das Copilot-Fenster dafür fast Platz auf Ihrem Bildschirm einnehmen muss permanent.

Es könnte interessant sein, im Datei-Explorer eine Funktion zu haben, mit der Sie mit der rechten Maustaste auf eine Datei klicken und diese auswählen können eine Option namens „An Copilot senden“, die dann dazu auffordert, zu fragen, was Sie mit dem Gesagten tun möchten Datei. Beispielsweise könnten Sie Copilot bei einem Bild bitten, den Hintergrund zu entfernen, oder Sie könnten es bitten, eine Audiodatei zu transkribieren. Dies sind beides Funktionen, die wir vorgeführt haben, aber dafür müssten Sie die Datei normalerweise per Drag & Drop in das Copilot-Bedienfeld ziehen. Ich denke, es wäre willkommen, direkt über den Datei-Explorer darauf zugreifen zu können (aber die Option, es auszuschalten, wäre auch schön).

4 Stimmenkontrolle

Ich vermute, dass ich mit dieser Frage allein bin, weshalb ich diese etwas nach unten verschoben habe. Sprachbefehle sind auf Mobiltelefonen offensichtlich beliebter, und Bing Chat unterstützt diese Funktion derzeit nur, wenn Sie Ihr Telefon verwenden. Aber ich denke, es wäre schön, wenn Sprachbefehle unterstützt würden Laptops und PCs auch. Die Möglichkeit, all diese Einstellungen zu ändern, Musik abzuspielen oder eine App mit Ihrer Stimme zu öffnen, könnte nützlich sein. Und das Gleiche gilt für das Stellen von Bing-Fragen. Cortana hat es unterstützt, als Windows 11 eingeführt wurde, und Microsoft wollte, dass das eine große Sache wird. Daher bin ich mir nicht sicher, ob es tatsächlich viel Anklang finden würde, aber ich sehe definitiv Verwendungsmöglichkeiten dafür.

Mit einem Browser müssen Sie sich ein wenig Mühe geben, um die Sprachinteraktion zu initiieren, aber mit einem Mit der integrierten Funktion können Sie ein Aktivierungsschlüsselwort oder eine Verknüpfung festlegen, damit Sie schnell sprechen können Befehle. Ich kann mir vorstellen, dass die Implementierung nicht so schwer wäre, da die Spracherkennung bereits in mehreren Teilen von Windows verwendet wird.

5 Bildschirmlesen und OCR

Eine letzte Sache, die ich mir wünschen würde, wäre, dass Copilot die Informationen auf dem Bildschirm lesen und insbesondere die optische Zeichenerkennung (OCR) nutzen könnte. Im Moment können Sie Copilot bitten, eine Seite zusammenzufassen, diese muss sich jedoch auf einer in Edge geöffneten Website befinden, was die Funktionalität stark einschränkt. Während der ideale Ansatz darin bestünde, dass dies nativ mit anderen Browsern funktioniert, wäre es interessant, wenn Copilot dies könnte Sie fungieren im Grunde genommen als Bildschirmleser (z. B. Narrator) und verwenden ihn, um Informationen von jeder Seite in jedem Browser oder in jeder App zu extrahieren fasse es zusammen.

Eine weitere coole Funktion wäre OCR oder die Fähigkeit, Text in Bildern zu erkennen, sodass Sie Copilot bitten könnten, Text aus einem Bild oder einem PDF-Scan zu übernehmen und ihn einfach zu kopieren oder zusammenzufassen. Das ist eigentlich nicht so verrückt, da berichtet wurde, dass eine Art OCR-Fähigkeit geplant ist Windows 12Ich bin mir also sicher, dass wir etwas in dieser Richtung sehen könnten.

Es gibt noch mehr ungenutztes Potenzial

Ich habe hier meine persönlichen Vorlieben und Wünsche untersucht, aber mit etwas so Leistungsfähigem wie Copilot und den großen Sprachmodellen, die es unterstützen, gibt es sicher noch viel mehr Ideen, die die Leute nützlich finden könnten. Unabhängig davon ist die Zukunft von Copilot und Windows ziemlich spannend, vorausgesetzt, Microsoft kann das Versprechen dieses Produkts einhalten. Ob das tatsächlich passieren wird, ist eine ganz andere Frage.