Hvis KI er ilden, hva slags peis bygger vi?

Utviklere, forskere og teknologiledere advarer om KI-systemer som kan bli vanskeligere å kontrollere. Det diskuteres cyberangrep, biologisk risiko og i ytterste konsekvens scenarier der mennesker mister kontrollen. Andre mener de mest dramatiske scenariene får for mye oppmerksomhet.

For mange etterlater debatten spørsmålet: Hvor redd bør jeg være?

Men kanskje et annet spørsmål bringer oss videre: Hvis KI er ilden, hva slags peis bygger vi?

Ilden

Ild er en voldsom kraft.

Slipper vi den løs i skogen, kan resultatet bli katastrofalt. Tenner vi den på gulvet i stua, har vi et problem. Plasserer vi den i et ildsted bygget for formålet, kan den varme familien gjennom vinteren.

Samme ild. Forskjellig arkitektur.

Gjennom århundrene gjorde vi denne arkitekturen bedre. Ildstedet fikk materialer som tålte varme. Røyken fikk skorstein. Brennbart materiale ble holdt unna. Senere kom byggekrav, feiing, røykvarslere, sprinkleranlegg og brannvesen.

Brannsikkerhet er ikke én barriere mellom mennesket og ilden. Det er mange lag som virker sammen.

Resultatet er slående: Vi har i dag plassert ild midt i hjemmene våre. Ikke fordi vi sluttet å respektere den, men fordi vi lærte å håndtere den.

Så lærte vi å håndtere en annen kraft.

Bak stikkontaktene på et barnerom ligger kraftverk, høyspentlinjer og strømnett som transporterer enorme energimengder.

Likevel lar vi barna sove ved siden av nattlampen.

Ikke fordi elektrisitet er ufarlig, men fordi vi har bygget transformatorer, isolasjon, jording, sikringer, jordfeilbrytere, standarder og tilsyn mellom kraftverket og barnet.

Vi lærte å møte stor kraft med arkitektur tilpasset hvordan kraften skulle brukes.

Så brukte vi elektrisiteten til noe nytt: Behandling av informasjon.

Intelligensen

På få generasjoner flyttet datamaskinen fra store maskinrom og inn i hjemmet. Vi koblet maskinene sammen gjennom internett. Så puttet vi datamaskinen og nettet i lomma og fylte smarttelefonen med tjenester.

Nå kobler vi KI til dette fundamentet. Da skjer det noe nytt.

Ild ga oss varme. Elektrisitet lot oss flytte energi. Datamaskinen behandlet informasjon. KI møter oss gjennom kunnskap, problemløsning, språk og handling.

En enkelt person kan allerede få hjelp til å lære, tegne, programmere, analysere og oversette. Vi kan undersøke informasjonsmengder vi ikke kunne håndtert alene og oppdage mønstre vi ellers kunne oversett.

Kapasiteter som tidligere krevde spesialister eller hele organisasjoner, flyttes ned mot enkeltmennesket.

KI skiller seg også fra ild og strøm på en avgjørende måte: Vi skal ikke skjerme oss fra den, men samhandle med den.

Ny type peis

Det relevante systemet blir derfor ikke KI alene, men mennesket og KI sammen.

Da trenger vi en ny type peis: En arkitektur for samspillet. Den må omfatte hvilke mål vi gir systemet, hvilken informasjon og hvilke verktøy det får tilgang til, hvilke handlinger det får utføre, hvilke beslutninger mennesket beholder og hva som skjer når noe går galt.

La oss konkretisere med et eksempel.

Du ber en kraftig KI-assistent hjelpe deg med å drive en liten bedrift. Den leser e-post, undersøker markedet, analyserer regnskapet, kontakter leverandører og bestiller tjenester.

Du gir den tilgang til alt: E-post, kundedata, bankkonto og nettleser. Den får sende, kjøpe, slette og inngå avtaler.

Så gir du den ett mål: «Reduser kostnadene mest mulig.»

Hva kan gå galt?

Vi trenger ingen ond eller allmektig KI for å få et dårlig resultat. Det holder med stor kapasitet, et snevert mål, vide fullmakter og dårlig kontroll.

Tenk deg så samme menneske og samme KI, men med en annen arkitektur.

Denne gangen får KI-assistenten bare informasjonen den trenger. Den kan foreslå en betaling, men ikke gjennomføre den. Den kan skrive en e-post, men mennesket bestemmer om den sendes. Uvanlige handlinger stoppes. Alt logges. Fullmakter kan trekkes tilbake.

Modellen er den samme. Kapasiteten er den samme.

Men menneske–KI-systemet er radikalt annerledes.

Det første ligner et bål på stuegulvet. Det andre begynner å ligne en peis.

Viktige spørsmål

KI-assistenten inngår samtidig i en bedrift. Bedriften inngår i en økonomi og økonomien i et samfunn. Dermed vokser peisen med systemet.

Hvem setter målene? Hvilke insentiver har selskapet som bygger KI-en? Hvem har ansvaret hvis noe går galt? Hvem kontrollerer dem som kontrollerer systemet? Hvem får gevinstene? Hvem bærer kostnadene?

En KI som bistår en lege, en som påvirker informasjonsstrømmen til millioner av mennesker og en som får tilgang til kritisk infrastruktur, trenger ikke samme peis.

Én sikkerhetsmekanisme kan heller ikke løse alt.

Vi gjorde ikke huset brannsikkert med røykvarsleren alene, men med peis, skorstein, materialkrav, røykvarsler og brannvesen.

Peisen er teknisk, menneskelig og institusjonell samtidig.

Neste store oppgave

Mye skjer allerede: KI-systemer testes. Tilganger begrenses. Mennesker er med i beslutningssløyfer. Organisasjoner utvikler sikkerhetsmekanismer. Myndigheter utvikler regelverk.

Risikodebatten gir oss en anledning til å se tiltakene som deler av en større oppgave.

For vi skal ikke bare gjøre KI tryggere, men bygge gode menneske-KI-systemer. Det åpner et større handlingsrom enn valget mellom «full fart» og «stopp KI». God sikkerhetsarkitektur er nemlig ikke bare en brems, men kan frigjøre kapasitet.

En student kan få en personlig lærer. En gründer kan programmere uten et utviklingsteam. En forsker kan lete etter mønstre på tvers av kunnskapsfelt. En liten virksomhet kan få kapasiteter som tidligere krevde en stor organisasjon.

KI kan gi enkeltmennesker og samfunn kapasiteter vi bare har begynt å utforske. Derfor bør vi være ambisiøse på arkitekturens vegne.

Ilden lærte vi å kontrollere. Elektrisiteten lærte vi å distribuere. Med KI må vi lære å designe samspillet.

Vi vet ikke hvor kraftig KI-ilden blir, men det betyr ikke at vår viktigste rolle er å stå på avstand og frykte flammene.

Vi har en peis å bygge.

Varsler historisk IT-løft i politiet