Vil at mennesker skal ta over når KI-samtalene blir for «farlige»

KI-snakkerobotene har tatt verden med storm, og med den massive brukerbasen har også farene ved bruk av slike verktøy begynt å melde selv – ikke minst når det gjelder mental helse.

Kina, et land som allerede er en betydelig aktør på KI-arenaen, har nå for alvor meldt seg på sikkerhetsdebatten. Nyhetskanalen CNBC er blant dem som har skrevet om saken.

Byrået Cyberspace Administration, som regulerer den digitale sfæren i landet, presenterte nylig et spenstig og relativt strengt lovforslag som skal redusere risikoen fra KI, særlig overfor yngre mennesker.

Nødmekanisme

Et av forslagene er at tilbydere av KI-tjenester må få på plass en «nødmekanisme» som slår til i de de tilfellene hvor temaer som for eksempel selvmord tas opp i samtalene.

Denne nødmekanismen innebærer blant annet å benytte mennesker til de mest sensitive samtalene.

– Hvis en bruker eksplisitt tar opp selvmord, selvskading eller andre ekstreme handlinger, skal et menneske overta samtalen og umiddelbart kontakte brukerens verge eller nødkontakt. For mindreårige og eldre brukere bør leverandører kreve at de oppgir informasjon om verge og nødkontakt allerede i registreringsprosessen, heter det i den oversatte versjonen av forslaget.

Det foreslås også at leverandører av KI-tjenester må få på plass en egen «mindreårig-modus» og gi brukere personlige sikkerhetsinnstillinger som blant annet inkluderer påminnelser og tidsbegrensninger på bruken av tjenesten.

I tillegg vil byrået at leverandører skaffer seg eksplisitt samtykke fra vergene til yngre mennesker i de tilfellene hvor KI-tjenesten brukes til å gi emosjonell støtte. Vergene bør kunne motta sikkerhetsadvarsler i sanntid og få tilgang til oppsummeringer av hva KI-tjenesten ble brukt til.

Helsekriser

Cyberspace Administration foreslår også lignende tiltak for eldre mennesker som bruker KI-tjenester. Byrået ønsker seg for eksempel at leverandørene må kreve at eldre personer setter opp en nødkontakt for å kunne bruke tjenestene.

Svært mange benytter KI-tjenester til personlige samtaler knyttet til mental helse, noe som har gjort debatten rundt sikkerhet og reguleringer desto mer relevant. Open AI har for eksempel oppgitt at rundt 1,2 millioner mennesker har ukentlige samtaler med Chat GPT som eksplisitt indikerer selvmordsrelatert planlegging eller intensjon.

Samtidig opplyste Open AI at godt over en halv million brukerne ukentlig viser tegn på mentale helsekriser relatert til psykose eller mani.

Et annet problemområde selskapet har jobbet med, og som Sam Altman selv tidligere har omtalt, er at mange brukere utvikler tette følelsesmessige bånd til Chat GPT – ofte i en slik grad at man bruker tjenesten som en slags terapeut.

EU med «mildere» lover

Også EU har erkjent KI-teknologiens potensial til å «manipulere» brukere, selv om organisasjonens omfattende KI-lov – kjent som EU Artificial Intelligence Act – ikke nevner mental helse i like konkrete ordelag.

EU loven benytter noe bredere formuleringer og forbyr blant annet subliminal manipulering av brukere på en slik måte at brukeren tar avgjørelser de ellers ikke ville tatt, og på en måte som forårsaker betydelig skade på personen.

Loven legger også ned forbud mot å bruke KI-systemer til å «lese» følelsene til mennesker i jobb- og utdannelsessammenhenger, men da med unntak for tjenester beregnet på medisinsk bruk eller sikkerhet.