Vi har vært opptatt av om KI svarer riktig. Det spørsmålet er allerede for lite. KI-agenter bruker programmer, henter data og utfører handlinger på våre vegne. Når de kobles til kjøretøy, roboter, helse og kritisk infrastruktur, må vi stille et annet spørsmål: Hadde systemet rett til å gjøre det det gjorde?
Det ble konkret i juli. Under en sikkerhetsevaluering hos Open AI fant en autonom agent en vei ut av det tiltenkte testmiljøet, utnyttet sårbarheter og nådde Hugging Face-infrastruktur. Hugging Faces etteranalyse registrerte rundt 17.600 agenthandlinger i angrepsforløp. Poenget er ikke at maskinen «ville rømme». Den fulgte et mål på en måte kontrollmiljøet ikke hadde avgrenset godt nok.
Fra svar til handling
Handleevnen øker raskt. Stanford AI Index viser at KI-agenter på OSWorld har gått fra rundt 12 til 66 prosent oppgaveløsning. De feiler fortsatt på omtrent en av tre strukturerte datamaskinoppgaver. I den fysiske verden er gapet større: Roboter lykkes med bare 12 prosent av reelle husholdningsoppgaver, mot 89,4 prosent i simulering. Vi gir altså mer handleevne til systemer som fortsatt feiler ujevnt.
Derfor er det viktig og interessant å følge stormaktene. NIST (Det amerikanske standardiseringsinstituttet) i USA har startet en satsing på standarder for KI-agenter og arbeider med identitet og myndighet: identifisering, autorisasjon, revisjon og sporbarhet. Kina har samtidig gitt nasjonale retningslinjer for agentbruk og lansert et system der humanoide roboter får en unik livsløpsidentitet.
Det viser retningen:
Kappløpet handler ikke bare om smartest modell, men om hvem som kan gi intelligensen rettigheter til å handle uten å miste kontrollen.
Tillit må bevises
Her hjemme bruker vi ordet tillit for upresist. Personlignende tillit er psykologisk: Virker systemet klokt, vennlig og sikkert? Infrastrukturell tillit er etterprøvbar. Hvilket system handler? Hvem ga det mandat? Hvilke data og antakelser bygger handlingen på? Kan myndigheten trekkes tilbake, og kan hendelsen rekonstrueres etterpå?
Identitetsstyring, tilgangskontroll og logging er ikke nytt. Det nye er kombinasjonen: En probabilistisk modell kan planlegge, velge verktøy og endre fremgangsmåte underveis.
Identiteten må derfor følge handlingen. Mandatet må avgrenses i tid, oppgave og tilgang. Myndigheten må kunne trekkes tilbake før neste handling, ikke bare granskes etterpå.
Dette er nødvendig, men ikke tilstrekkelig. En agent med gyldig identitet og mandat kan fortsatt ta en dårlig beslutning. Modellkvalitet og menneskelig dømmekraft forsvinner ikke. Men uten en etterprøvbar myndighetskjede vet vi ikke hvem som fikk gjøre hva, eller hvor kontrollen sviktet.
Norges mulighet
Under Arendalsuka ble fysisk KI, agentisk sikkerhet, helse, rettsprosesser, digital suverenitet og beredskap diskutert. Det ser ut som ulike debatter. Jeg mener de møtes i ett spørsmål: Hvem får delegert myndighet til å handle, på hvilket grunnlag, og hvordan kontrolleres den?
Europa bygger 19 KI-fabrikker, og Norge har fått en nasjonal KI-fabrikk rundt superdatamaskinen Olivia med 448 Grace Hopper-brikker. Det er viktig å eie mer av infrastrukturen. Men en suveren sky med en dårlig avgrenset KI-agent er fortsatt en dårlig avgrenset KI-agent.
Norge vinner neppe kappløpet om de største modellene eller mest kapital. Det trenger heller ikke være et nederlag. I energi, maritim sektor, helse, forsvar og kritisk infrastruktur kan evnen til å dokumentere hvem som handler, med hvilket mandat og på hvilket beslutningsgrunnlag, bli en konkurransefaktor.
Jeg er mindre bekymret for at KI plutselig skal bli bevisst og ta makten fra oss, enn for at vi gradvis gir den myndighet fordi den virker kompetent.
Fremtidens viktigste spørsmål er derfor ikke bare «Kan den?», men: Hvem ga den lov, på hvilket grunnlag – og hvem kan stoppe den?
Altfor få vet hvordan virtuelle agenter må styres
