Vi må bygge systemer som tåler at KI feiler

Når KI får en større rolle i sikkerhetskritiske systemer, må vi forstå hva som kan gå galt og bygge systemer som oppdager feil og begrenser konsekvensene når teknologien svikter.

Utviklingen går raskt. KI får stadig større betydning for beslutninger, styring og automatisering. Mye av KI-sikkerhetsdebatten har handlet om hvordan vi kan gjøre selve teknologien sikrere. Det er viktig, men det er ikke nok.

Vi trenger ikke forstå alt

Moderne KI-modeller er så komplekse at det kan være svært vanskelig å forklare nøyaktig hvorfor de kommer frem til et bestemt svar eller en bestemt beslutning. Vi kan analysere hvordan de er bygget, teste hvordan de oppfører seg og undersøke hvor de svikter, men vi vil ikke alltid kunne forklare alt som skjer internt i modellen.

KI kan gi overbevisende, men feil svar, være for sikker på egne vurderinger eller svikte når den møter situasjoner som er svært forskjellige fra dem den er trent på.

Vi trenger ikke forstå hver enkelt beregning for å kunne vurdere om en konkret anvendelse er forsvarlig. Vi kan teste hvordan KI oppfører seg under krevende forhold, identifisere situasjoner der den svikter og analysere konsekvensene dersom den tar feil.

Vi må bygge for feil

Dette er et velkjent prinsipp fra sikkerhetskritiske systemer. De er ikke bygget på en forventning om at mennesker eller tekniske komponenter aldri feiler. Tvert imot tar vi høyde for at feil vil oppstå, vurderer konsekvensene og bygger barrierer som hindrer at én feil utvikler seg til en alvorlig hendelse.

Det samme prinsippet må gjelde for KI. Et autonomt skip kan for eksempel tolke omgivelsene feil og velge en kurs som øker kollisjonsrisikoen. Da er det avgjørende at resten av systemet kan oppdage feilen og gripe inn før den får alvorlige konsekvenser. Det kan skje gjennom uavhengig overvåkning, faste grenser KI ikke kan overskride, menneskelig overprøving av kritiske beslutninger eller automatiske mekanismer som griper inn når noe går galt. Slike prinsipper brukes allerede for autonome og fjernstyrte skip, der fartøy skal kunne gå til en sikker tilstand dersom viktige funksjoner svikter.

Sikkerheten ligger derfor ikke bare i KI-modellen, men i hvilke oppgaver den får, hvordan den testes, hvilke grenser som settes og hva som skjer når den tar feil.

Artikkelen fortsetter etter annonsen

annonsørinnhold

KI revolusjonerer datainfrastruktur

Risiko kan håndteres

Spørsmålet «Er denne KI-en trygg?» er vanskelig å svare entydig på. Et mer nyttig spørsmål er hva som kan gå galt når KI-en brukes til en konkret oppgave. Da kan vi vurdere usikkerhet, konsekvens og hvilke tiltak som er nødvendige for å redusere risikoen til et forsvarlig nivå.

Dette blir særlig viktig når KI flytter inn i kraftsystemer, skip, industri og annen fysisk infrastruktur. Der holder det ikke at teknologien fungerer godt i de fleste situasjoner. Vi må kunne dokumentere at den konkrete anvendelsen er trygg nok, også når teknologien svikter.

Risikoen ved å vente

Norge og Europa ligger allerede etter USA og Kina på flere sentrale områder innen KI. Skal vi henge med, kan vi ikke vente på at teknologien skal bli perfekt. Risiko handler ikke bare om hva som kan gå galt dersom vi bruker KI, men også om hva som skjer dersom vi lar være. For norsk industri kan det bli kostbart å henge etter mens konkurrenter bruker KI til å utvikle bedre produkter, drive mer effektivt og løse oppgaver på nye måter.

Samtidig er ikke høyest mulig tempo et mål i seg selv. Dårlig implementert KI i sikkerhetskritiske systemer kan føre til alvorlige hendelser og svekke tilliten til teknologien. Utfordringen er derfor ikke å velge mellom fart og sikkerhet, men å bruke risikohåndtering til å finne ut hvor vi kan gå raskt frem og hvor vi må holde igjen. Tydelige krav til testing, hvilke feil som kan aksepteres og hvilke barrierer som må være på plass, gjør det enklere å ta KI fra utprøving til faktisk drift.

Norges fortrinn

Vi kommer trolig ikke til å konkurrere med de største amerikanske og kinesiske teknologiselskapene om å utvikle de ledende grunnmodellene. Innen maritim sektor, energi og prosessindustri har vi derimot sterk domenekunnskap og lang erfaring med sikkerhetskritiske systemer. Det gir oss gode forutsetninger for å ta KI trygt i bruk der risikoen er høy og verdiene store.

Vi kommer neppe til å fjerne all usikkerhet fra kunstig intelligens. Oppgaven er å forstå hva som kan gå galt, bygge gode barrierer og gjøre risikoen håndterbar. 

Les også:

Kan KI utslette oss? Dette sier ekspertene