Copilot utvides: Slik blir Windows enda mer intelligent

Copilot-løsningen utgjør selve kjernen i Microsofts KI-satsing og bygges stadig ut. Nå har selskapet kunngjort en ny milepæl i arbeidet med å gjøre Copilot enda mer nærværende og tilgjengelig.

Blant hovednyhetene denne gangen er at Microsoft har bygget ut den stemmebaserte Copilot-interaksjonen med Windows – for å gjøre KI-opplevelsen mer sømløs og naturlig.

«Hei, Copilot»

Dette innebærer blant annet at brukere heretter kan benytte seg av en simpel «Hei Copilot»-kommando for å starte en samtale med Copilot. Man kan også avslutte samtalen med en enkel kommando, og Copilot selv vil automatisk avslutte interaksjonen etter noen sekunder uten aktivitet.

Denne nye funksjonen må aktiveres i innstillingsmenyen og er altså ikke slått på som standard. Microsoft hevder at stemmebasert interaksjon fører til dobbelt så høy Copilot-bruk blant brukere, sammenlignet med tekstbasert interaksjon.

Copilot Voice støttet i begynnelsen kun engelsk språk, men støtten har siden blitt kraftig utvidet og omfatter nå også norsk, som opplyst på Microsofts støttesider.

En annen stor nyhet er at Copilot Vision-funksjonen nå utvides til resten av verden. Vision-funksjonen fungerer ved at den kan «se» det samme som brukeren ser på skjermen, og snakke med brukeren i sanntid underveis. Den skal kunne forstå innholdet på nettsider man besøker, både tekst og bilder, og kan svare på spørsmål om innholdet, foreslå videre handlinger og mer.

Får ny funksjon

Vision kommer også med en funksjon kalt «Highlights», som innebærer at Copilot kan guide brukeren på nyttige måter, basert på hva den ser på skjermen. Eksempelvis kan Copilot sitte på sidelinjen mens man blar gjennom bilder man har tatt og komme med tips til hvordan lyssettingen kan forbedres og lignende.

Microsoft kan ellers opplyse at de jobber med en ny funksjon som lar brukere benytte Vision med tekst, der den tidligere kun støttet stemmebasert interaksjon. Denne nyheten blir først kun tilgjengelig for Windows Insider-brukere.

Microsoft fikk som kjent mye pepper for sin såkalte Recall-funksjon, som fungerer ved å ta bilder av skjermen. Med Vision har selskapet forsikret at sikkerheten er ivaretatt, blant annet ved at funksjonens interaksjon med innholdet på skjermen vil ikke bli lagret og at all data slettes permanent straks brukeren avslutter økten.

Utover dette kan selskapet opplyse at den agentiske Actions-funksjonaliteten vil få en større plass i Windows. Actions ble introdusert i april i år og setter KI-hjelperen i stand til å fullføre oppgaver «bak kulissene» på egen hånd, for eksempel kjøpe billetter til kulturarrangementer, reservere plass hos restauranter eller sende gaver.

Kan brukes lokalt

Funksjonen har hittil primært vært begrenset til nettleseren, men nyheten nå er at den også kan utføre handlinger med lokale filer i Windows. Brukeren kan simpelthen beskrive oppgaven man vil ha utført med vanlig tekst, og Actions-agenten vil forsøke å fullføre oppgaven via interaksjon med både skrivebordsapper og webapper.

Brukeren kan fokusere på andre ting i mellomtiden, og man kan når som helst overta oppgaven selv eller sjekke progresjonen.

Når det gjelder agentiske egenskaper har Microsoft også introdusert «Manus», en generell KI-agent som bor i Filutforsker og kan utføre komplekse oppgaver på PC-en din med få klikk, for eksempel lage et nettsted ved å bruke dokumentene i den lokale mappen din.

Alle Copilot-nyhetene finner man på Microsofts nettsider.