Innføre Copilot? − Nå straffer rot i dataene seg

− Dette er kanskje det største eksperimentet vi har hatt med helt fremmed teknologi i arbeidshverdagen, sier Thordur Arnason i Capgemini Invent til Digi.

Han hjelper kunder med innføring av kunstig intelligens. Nå handler mye om Copilot for Microsoft 365.

Ved å sette teknologien fra Open AI inn der de ansatte jobber med e-post, presentasjoner, notater og regneark lover Microsoft å gi deg løpende KI-assistanse i arbeidshverdagen og øke din kreativitet og produktivitet. Teknologien kan oppsummere store dokumenter, skrive referat fra møter, generere e-poster og finne faktaopplysninger i høystakk-lignende filsystemer.

Men en kunstig intelligens som får lov til å boltre seg fritt i alle data bedriften har, fra de atten kopiene av foredraget du holdt i 2014, den usikrede HR-mappa lagret på feil filområde til vanvittige mengder dupliserte e-poster, gir risiko.

− Jo verre det står til, jo dårligere blir sluttresultatet, sier Arnason.

Han har flere råd om hva som kreves for å få til effektiviseringen. Første bud er å forstå hva teknologien gjør og ikke gjør.

Må tenke nytt

− Jeg blir jo veldig glad når jeg oppdager at det er enklere å forholde seg til en lang e-post og finne en fil jeg leter etter. Men neste dag kan det hende jeg får et helt annet resultat, sier Arnason og fortsetter:

− Har du tre kolleger i samme rom, som stiller samme spørsmål til Copilot, får de tre ulike svar.

Det er uvant. Kalkulatoren, Excel og mailen oppfører seg helt likt hver eneste dag, og vi forventer at resultatet er korrekt.

− En kunde vi har brukte generativ kunstig intelligens for å lage en oppsummering av alle dokumentene som ble sendt ut til forberedelse til et styremøte. I møtet fikk oppsummeringen kritikk fordi den ikke var ett hundre prosent presis, sier Arnason og fortsetter:

− Men uten dette sammendraget ville nesten ingen ha lest noe. Folk var mye mer forberedt selv om nøyaktigheten kanskje var 90 og ikke 100 prosent.

Å måle teknologien opp mot et ideal, som heller aldri har eksistert, er også et feilspor, mener han:

− Til denne typen oppgaver slår den oss mennesker nesten hver gang.

Men å avfeie irrelevant informasjon, det er ikke modellene så gode til.

Dårlig datakvalitet, dårlig sluttresultat

Massevis av data i Sharepoint, arkivet, på teams og uendelig med duplisert innhold i e-postboksene. Dårlig samvittighet for dataene er noe alle bedrifter har, tror Arnason.

Copilot diskriminerer heller ikke mellom ulike data, den trener på alt. Når modellen finner fakta, oppsummer eller skriver forslag til tekst basert på både de gode dataene og alt som ligger på roteloftet, preger det resultatet.

− Jo verre det står til, jo dårligere blir den generative KI-en du har implementert, sier Arnason.

Du kommer et stykke på vei med teknologi for å klassifisere og prioritere innhold. Likevel er det ofte behov for en god gammeldags dugnad og gode rutiner for å kvitte seg med det som ikke trengs, mener han.

Setter du copilot på et rotete filsystem, er også sannsynligheten stor for at gamle sikkerhets- og tilgangssynder kommer frem i dagen.

− Security by obscurity er dødt

− De siste månedene har vi sett at selv de som tror de har god styring, bommer fem prosent av tiden. Det er ikke så mye, men når Copilot kommer på jobb blir alle svakheter synlige, sier Arnason.

Teknologien har kapasitet til å lete gjennom innhold som ikke synes i hverdagen.

− Security by obscurity er dødt. Derfor er det så viktig å innføre dette kontrollert og gradvis, sier Arnason.

Det viktige er å avdekke problemene, før de blir vanskelige å kontrollere.

Arnason anbefaler å starte med å sette opp en «trygg sone»: Et team med noen få ansatte fra ulike deler av organisasjonen får først tilgang og kan utforske og finne svakheter og hull som blir synlige med den nye teknologien.

− Det kan faktisk være ganske morsomt. De ansatte får lov å opptre som om de kommer inn i systemet med onde hensikter, sier han.

I tillegg til sikkerhetsproblematikk, er effekter som diskriminering noe mange er opptatt av å avdekke raskt.

− Vi kan rette skjevhet

− Skjevhet i resultat, det vi gjerne kaller «bias» i generative modeller, er noe mange jobber med å forstå og mitigere, sier Arnason.

Men det er ikke vanskelig å finne mekanismer som fjerner skjevhetene, mener han.

Du kan be modellen om å la være å ta hensyn til enkelte ting. Du kan rydde i datasettet så modellen i mindre grad blir trent på skjevheter i datasettet, og du kan sette opp en annen modell som kontrollerer den første modellen, forklarer Arnason.

Både Meta og Open AI tilbyr små modeller du kan koble på større modeller, og som sjekker resultatet.

Nå jobber både forskningsmiljøer og IT-miljøer nettopp med å finne nye gode løsninger.

− Teknologien kommer med muligheten til å rette skjevheter, det har vi ikke alltid hatt, sier Arnason og fortsetter:

− Men det blir raskt en etisk eller filosofisk diskusjon. Skjevhet for meg er ikke det samme som skjevhet for deg.