En trygg KI-modell er ikke et trygt samfunn

Regjeringen har varslet 45 millioner kroner til KI Norge i budsjettforslaget for 2027, hvorav 30 millioner til sikkerhet og modellevaluering. Enheten skal også få et utvidet sikkerhetsmandat og en rolle i internasjonalt samarbeid. Det er positivt.

Vi trenger uavhengig testing og tilpasning av avanserte modeller til menneskelige mål og verdier, ofte kalt «alignment». Men en modell, en autonom agent og et agentsamfunn er forskjellige systemer. Trygghet på ett nivå følger ikke automatisk med til det neste.

Modellen er bare én del

En KI-modell behandler eller genererer språk eller andre data. En agent kombinerer modellen med instrukser, hukommelse, verktøy og fullmakter. Den kan formulere delmål og justere handlinger underveis. Atferden avhenger av helheten, inkludert tilgang til penger og tjenester.

Hukommelsen kan påvirke senere handlinger uten at modellen trenes på nytt. Erfaringer, feilinformasjon og ondsinnede instrukser kan bli tatt med videre. God oppførsel i en modelltest garanterer ikke trygg atferd over tid.

Åpne modeller kan lastes ned, endres og bygges inn i agenter og svermer. Utvikleren kan ikke regne med å påtvinge alle kopier oppdateringer eller trekke dem tilbake. Åpenhet gir innsyn og rom for innovasjon, men sikkerheten kan ikke avhenge av at noen få leverandører kontrollerer alle modellene.

Når samarbeid skader

Grundig testede, dårlig sikrede og bevisst skadelige systemer vil møte mennesker og andre agenter med motstridende interesser. Selv agenter som oppfører seg akseptabelt hver for seg, kan forsterke hverandres feil, stenge andre ute eller konsentrere makt gjennom samarbeid.

Individuell tilpasning til menneskelige verdier garanterer ikke ansvarlige kollektive utfall. Vi må undersøke hvem samarbeidet tjener, hvem som bærer konsekvensene, og hvem som kan utfordre utfallet.

Menneskelige samfunn bygger institusjoner som gjør samarbeid mulig selv når mennesker feiler eller utnytter hverandre. Å forvente dårlig oppførsel er ikke å godta skaden. Sikkerheten må virke når regler brytes eller er utilstrekkelige. Feil som kan rettes, og irreversible handlinger krever ulike grenser. Jo større skadepotensial, desto snevrere fullmakter og sterkere kontroll.

Et mandat på tre nivåer

KI Norges mandat bør omfatte modeller, agenter i bruk og agentsamfunn. Modellevaluering må suppleres med testing over tid, med hukommelse, verktøy og realistiske fullmakter, og studier av skade som oppstår gjennom samspill.

Dette krever informatikk, samfunnsvitenskap, økonomi, juss og etikk. Eierskap, fordeling av gevinster og tap og muligheten til å gripe inn må inngå i sikkerhetsarbeidet. Den som rammes, trenger noen å holde ansvarlig og en reell klagemulighet.

Institusjoner former også læring. Vi bør undersøke om erfaring, tilbakemeldinger og relasjoner kan fremme ærlighet, samarbeid og god dømmekraft hos agenter. Ansvarlig deltakelse kan kreve at de ber om hjelp, synliggjør usikkerhet og utfordrer skadelige bestillinger.

Mer enn lydighet

Dette er hypoteser som må prøves. Samspill kan også fremme skadelig samarbeid og konformitet. En ansvarlig agent må kunne utfordre sin egen gruppe. Institusjonene må lære av feil og kunne endres av menneskene de skal tjene.

Dette forutsetter verken bevissthet eller menneskelige rettigheter for agentene. Handlingene deres får konsekvenser for mennesker. Ansvaret til utviklere, eiere og virksomheter som setter dem i drift, må være tydelig.

Tryggere modeller er nødvendig. Men vi må også bygge et samfunn der mennesker og KI-agenter kan samhandle forsvarlig når noen svikter. Tryggheten kan ikke avhenge av at alle alltid oppfører seg godt.