Mijn ervaring met Copilot Vision: Een vreemd gevoel, maar toch enigszins nuttig - hier is mijn mening

Gebruikers in de VS kunnen nu Copilot Vision gebruiken op Windows 11 (en 10), een AI-assistent die je helpt bij vrijwel alles wat je op je pc doet. Wil je weten of het echt werkt? Nou, ik heb het geprobeerd en in deze handleiding leg ik gedetailleerd uit wat deze functie te bieden heeft, hoe je hem kunt gebruiken en deel ik mijn persoonlijke ervaring ermee.

In de Copilot-app is de functie: "Visie" Een functie waarmee je je scherm kunt delen met een chatbot, zodat deze kan zien en interpreteren wat er op je scherm gebeurt. De chatbot fungeert als een tweede paar ogen en biedt realtime hulp, antwoorden en inzichten op basis van de content die wordt weergegeven in je apps of browser.

Dit is ook een optionele functie, dus u moet deze handmatig inschakelen in Copilot versie 1.25061.104.0 en later. Als u een browser gebruikt Microsoft EdgeU kunt de functie ook gebruiken via de Copilot-integratie.

Het is belangrijk om te weten dat AI vrijwel alle content kan weergeven, zolang het maar geen DRM-beveiligd materiaal of een ander type content met beperkingen is.

Deze functie is beschikbaar voor iedereen die geen abonnement heeft. Copiloot Pro Op Windows 10 en 11. U kunt Copilot Vision ook gebruiken op iOS en Android, maar u hebt een abonnement nodig om het op deze mobiele apparaten te kunnen gebruiken.

In deze handleiding beschrijf ik de stappen die u moet nemen om aan de slag te gaan met deze functie en deel ik mijn ervaringen.

Hoe Copilot Vision op Windows 11 te verkrijgen en te activeren

Copilot Vision is momenteel beschikbaar in de Verenigde Staten, te beginnen met Copilot-appversie 1.25061.104.0 en hoger. Open daarom eerst de Microsoft Store-app, ga naar het gedeelte 'Downloads en updates' en klik op de knop 'Updates ophalen' om ervoor te zorgen dat de nieuwste versie van de app op uw computer is geïnstalleerd. Deze stap is nodig om ervoor te zorgen dat uw apparaat compatibel is met nieuwe functies en om de algehele prestaties van Copilot te verbeteren.

Je kunt de app downloaden uit de Microsoft Store als je hem al hebt verwijderd. Zoek naar Copilot in de Store en installeer de app om van alle functies te genieten.

Microsoft legt uit dat Vision een optionele functie is, wat technisch gezien klopt, omdat je toestemming moet geven om je scherm te delen. Het is echter standaard beschikbaar, omdat er geen optie is om de functie volledig uit te schakelen op de instellingenpagina. Dit betekent dat Vision klaar is voor gebruik zodra je de app hebt bijgewerkt, maar dat je expliciete toestemming nodig hebt om toegang te krijgen tot de scherminhoud.

Op de instellingenpagina van Copilot vind je alleen een optie om 'Markeringen' in en uit te schakelen, maar deze functie regelt alleen de mogelijkheid van de AI om acties op het scherm visueel aan te geven. Het bepaalt niet de beschikbaarheid van de functie in de app. Met andere woorden, zelfs als je 'Markeringen' uitschakelt, blijft de functie 'Zicht' beschikbaar, maar worden visuele elementen op het scherm niet gemarkeerd.

Als je Copilot over het algemeen niet prettig vindt, kun je de app het beste verwijderen via Instellingen > Apps > Geïnstalleerde apps. Tik vervolgens op 'Verwijderen' om 'Copilot' te openen. De app wordt dan volledig van je apparaat verwijderd en heeft geen toegang meer tot je gegevens of systeembronnen.

Mijn ervaring met het gebruik van Copilot Vision op Windows 11: een eerste blik

Mijn eerste interactie met Copilot Vision op Windows 11 voelde wat vreemd aan, omdat het een paradigmaverschuiving betekende die ik nog nooit eerder had meegemaakt. In plaats van gedetailleerde tekst- of spraakopdrachten te moeten formuleren om de context te bepalen, leek de intelligente assistent van Copilot de context automatisch te begrijpen, waardoor hij direct en effectief assistentie kon bieden. Deze mogelijkheid om context te begrijpen zonder specifieke instructies te vereisen, vertegenwoordigt een significante verandering in de manier waarop we met computers omgaan.

Hoewel de nauwkeurigheid van Copilot Vision nog in ontwikkeling is, biedt het een eerste blik op de toekomst van computers. Het is een veelbelovende stap naar een meer naadloze en geïntegreerde computerervaring, waarbij de computer een intelligente partner wordt die onze behoeften begrijpt en erop anticipeert, in plaats van slechts een hulpmiddel waarmee we specifieke opdrachten uitvoeren. Deze technologie heeft de potentie om de manier waarop we werken, creëren en leren radicaal te veranderen.

Aan de slag met Copilot Vision

Nadat ik had bevestigd dat Copilot Vision beschikbaar was op mijn computer, begon ik het te testen. Ik opende een paar applicaties en startte vervolgens de Copilot Vanuit het menu Start. Klik vervolgens op de knop "Visie" (Bril), selecteer vervolgens de app die u met Copilot wilt delen en schakel de optie in "Delen".

Testvraag over de applicatie

Terwijl ik Kladblok gebruikte, vroeg ik Copilot om uit te leggen hoe ik het standaardlettertype voor de applicatie kon wijzigen, maar het antwoord was onjuist.

Copilot stelde voor om de lijst te doorzoeken. "Visie" (Weergeven), maar deze optie was op deze locatie niet aanwezig. De reden hiervoor is, volgens het huidige ontwerp van Kladblok, dat de instellingen voor het wijzigen van het lettertype zich op de pagina Instellingen bevinden, die toegankelijk is via het menu. "Bewerk" (Bewerken) of door op de knop te klikken "Uitrusting" (tandwiel) in de rechterbovenhoek van de applicatie.

Uiteindelijk kwam Copilot via een proces van geleidelijke eliminatie tot het juiste antwoord. Interessant genoeg gaf de chatbot aan dat hij een fout had gemaakt omdat hij verschillende versies van Kladblok door elkaar had gehaald. Ik kan me echter geen enkele versie van Kladblok herinneren met lettertype-instellingen in het menu. "Visie" (Tonen) helemaal niet. Dit suggereert dat Copilot mogelijk gebaseerd is op verouderde of onjuiste informatie.

Testvraaginstellingen

Als onderdeel van het testproces opende ik de app Instellingen in Windows 11 en vroeg ik Copilot om mijn pc bij te werken met de nieuwste systeemupdates.

In dit geval was het mogelijk Microsoft Copiloot Met Vision herkende het correct dat ik in de Instellingen-app zat. Het stuurde me precies naar het onderdeel "Windows Update" En markeerde de knop "Controleer op updates".

Vervolgens stelde ik hem een ​​minder gebruikelijke (maar nog steeds relevante) vraag. Ik vroeg hoe ik kon voorkomen dat mijn computer updates naar andere apparaten downloadde tijdens het updateproces. Hoewel dit geen bijzonder ingewikkeld verzoek was, testte het wel het vermogen van de assistent om subtielere gebruikersintenties te interpreteren.

Bij de eerste poging begreep Vision de vraag verkeerd en schakelde over naar algemene instructies voor apparaatupdates. Bij de tweede poging, na het verfijnen van mijn formulering, herkende het de vraag correct.

De instructies kwamen echter niet overeen met wat ik op het scherm zag. Zo gaf het aan dat ik de functie voor het delen van updates succesvol had uitgeschakeld, terwijl ik geen actie had ondernomen. Dit suggereert dat de assistent aannames deed op basis van verwacht gedrag in plaats van de actuele systeemstatus te analyseren. Dit onderstreept de noodzaak om Microsoft Copilot beter in staat te stellen de gebruikerscontext te begrijpen en nauwkeurigere en betrouwbaardere antwoorden te geven, met name met betrekking tot Windows 11-instellingen en update-opties.

Elementherkenningstest: Fase 3

In de volgende test wilde ik Copilots vermogen om visuele elementen op het scherm te herkennen testen. Hiervoor opende ik een specifieke afbeelding en vroeg Copilot om het element erin nauwkeurig te identificeren.

In dit geval kreeg Copilot een afbeelding van een rood jasje te zien. De chatbot kon het product nauwkeurig identificeren en beschrijven en op verzoek zelfs aanvullende relevante informatie verstrekken. Dit toont aan dat Copilot Vision afbeeldingen kan analyseren en gedetailleerde informatie over de content kan verstrekken.

Hoewel de chatbot herkende dat de jas te koop was op Amazon, kon hij, zelfs met de afbeelding geopend in een apart tabblad, niet vaststellen dat ik niet op de daadwerkelijke productpagina aan het kijken was. Daardoor kon hij me geen informatie geven over de live productpagina op Amazon. Dit wijst op beperkingen in het vermogen van Copilot om visuele informatie te koppelen aan de huidige browsecontext van de gebruiker.

Tekst extractietest

Een andere functie die Copilot Vision biedt, is het extraheren van tekst uit afbeeldingen. Voorheen konden besturingssystemen geen tekst in afbeeldingen detecteren en extraheren, maar nu zijn er meerdere methoden beschikbaar om deze taak efficiënt uit te voeren.

U beschikt nu bijvoorbeeld over gespecialiseerde tekstextractiehulpmiddelen zoals de Text Extractor-functie die beschikbaar is via PowerToys, het Snipping Tool en Klik om te doenVanaf nu kunt u ook voor dit proces een beroep doen op Copilot Vision.

Om deze functie te testen, opende ik de app Instellingen op de pagina Spelmodus en vroeg Copilot of hij bestaande tekst kon extraheren. De intelligente bot las alle tekst op de pagina hardop voor.

Het enige nadeel dat ik ondervond, was dat ik geëxtraheerde tekst niet naar het klembord kon kopiëren of direct kon selecteren, zoals wel mogelijk is met Click to Do. De bot kopieerde echter alles naar de Copilot-app als onderdeel van de gespreksgeschiedenis.

Tekstschrijftest: de mogelijkheden van AI voor inhoudsanalyse en -optimalisatie

Technisch gezien kun je elke vraag stellen over alles wat er op het scherm verschijnt. Als je bijvoorbeeld aan een specifiek bestand werkt, kun je de AI opdracht geven om een ​​grafiek of andere weergegeven gegevens te analyseren.

Met deze technologie kunt u ook een beschrijving van een bepaalde scène of afbeelding opvragen, een herkenningspunt of geografische locatie identificeren, of wat u maar kunt bedenken. De mogelijkheden zijn eindeloos.

Als je aan een geschreven tekst werkt, kun je AI vragen deze te lezen en suggesties voor verbetering te doen. Deze functie is vooral handig voor auteurs, bloggers en studenten die de kwaliteit van hun teksten willen verbeteren.

In mijn laatste test laadde ik een eenvoudige tekst in Kladblok en vroeg ik de chatbot om deze te verlengen. Hij stelde met succes een verbeterde alternatieve versie van de originele tekst voor.

Hoewel het indrukwekkend was dat de slimme assistent de tekst op het scherm kon begrijpen en een alternatieve versie kon voorstellen, was de nauwkeurigheid van de vereiste vervolgacties niet erg hoog.

Hoewel ik wist dat het niet mogelijk was om de tekst rechtstreeks met de suggestie te kopiëren en te vervangen, vroeg ik of het mogelijk was om de vervangende versie van de tekst te kopiëren en te plakken. Hij verwees me echter naar een sectie in het bestand waar ik die in plaats daarvan kon invoegen.

De oplossing hiervoor is om Copilot Vision te openen en te sluiten en vervolgens vanuit de Copilot-interface tekst uit je chatgeschiedenis te selecteren en te kopiëren. Zo kun je eenvoudig en effectief gebruikmaken van AI-suggesties.

het komt neer op

Als schrijver van handleidingen vind ik deze technologie al jarenlang indrukwekkend, omdat het de inhoud van een scherm kan begrijpen en de benodigde ondersteuning kan bieden.

Er moet echter erkend worden dat er veel fouten in zitten en dat het misschien niet erg nuttig is als je nog geen basiskennis hebt van de procedure die je wilt uitvoeren. Met andere woorden, voorkennis van het onderwerp is essentieel om er het maximale uit te halen.

Bovendien lijkt het met volledige bewustwording te handelen, maar in werkelijkheid is het gewoon een kunstmatige intelligentie die al online beschikbare content repliceert. Dit doet afbreuk aan de waarde ervan als innovatief hulpmiddel.

Soms voelt het gebruik van Copilot Vision aan alsof je telefonisch contact hebt met de technische ondersteuning. Hoewel de chatbot het scherm kan zien, begeleidt hij je zoals een medewerker van de technische ondersteuning dat zou doen, en begrijpt hij vaak niet of je de taak hebt voltooid. Dit gebrek aan contextueel inzicht is een aanzienlijke uitdaging.

Bovendien moet je in de meeste gevallen extreem specifiek zijn in je instructies, vaak zelfs de exacte actie specificeren die je wilt uitvoeren. Dit staat haaks op het doel van een AI die de bedoeling van de gebruiker op natuurlijke wijze zou moeten begrijpen. Het is belangrijk om te onthouden dat deze functie primair is ontworpen voor niet-technische gebruikers, aangezien mensen met technische expertise er waarschijnlijk niet op zullen vertrouwen.

Over het algemeen is Vision weliswaar veelbelovend als persoonlijke assistent, maar de diepere contextuele kennis en nauwkeurigheid ervan moeten nog verbeterd worden. Het voelt meer alsof het "raadt" op basis van commando's in plaats van actief de huidige status van de content op het scherm te monitoren en erop te reageren. Dit maakt het minder betrouwbaar in complexe scenario's.

Tot slot is het belangrijk om op te merken dat ik de specifieke vragen die ik voor deze handleiding heb gebruikt, niet noem, omdat ze irrelevant zijn. Het idee van een chatbot is om een ​​normaal gesprek te voeren alsof je met een ander mens praat. De focus moet liggen op een soepele interactie.

Deze functie kan bovendien geen actie namens jou ondernemen. Het kan alleen de inhoud van je scherm analyseren. Om actie te ondernemen, moet AI een agent zijn, maar momenteel hebben alleen Copilot+ pc's deze mogelijkheid, met een beperkte mogelijkheid in de app Instellingen.

Tot slot, hoewel de functie gratis is, heeft hij beperkingen. Zo vraagt ​​de app me na een paar interacties om te upgraden naar Copilot Pro, ook al heb ik een Microsoft 365-abonnement.

Dus als u een probleem aan het oplossen bent en midden in het proces zit, kan het zijn dat u moet betalen voor de AI-assistent om de oplossing te voltooien. Deze aanpak kan frustrerend zijn voor gebruikers die vertrouwen op gratis hulp.