Vil bruke norskutviklet KI-modell til å stoppe overgrep mot barn på nett

Politihøgskolen og Universitetet i Agder jobber med å utvikle et verktøy som skal gjøre det mulig for politiet å oppdage potensielle overgrep mot barn før det skjer.

Målet er lage et verktøy som ved hjelp av kunstig intelligens automatisk kan identifisere og gripe inn når åpne digitale flater brukes til å komme i kontakt med mindreårige med hensikt å begå seksuelle overgrep, såkalt grooming.

– Formålet er så bra at de fleste motargument kan føles litt veike. Samtidig er det et verktøy som egentlig skal gjøre en slags masseovervåkning av folks aktivitet på nett, at politiet skal følge med på chatting kan oppleves som et inngrep i friheten og personvernet, sier senior kommunikasjonsrådgiver Arild Opheim i Datatilsynet til Digi.

Konseptet, som har fått navnet Prevbot, er nå ferdig behandlet i Datatilsynets regulatoriske sandkasse. Sandkassen har som mål å finne ut hvordan konkrete KI- og digitaliseringsprosjekter kan gjennomføres uten å komme i konflikt med lov og etikk.

Datatilsynet har veiledet prosjektet og analysert teknologien, som fortsatt er i en tidlig utvikling. Det vil heretter settes i gang et forskningsprosjekt for å se om det er gjennomførbart.

Vil bruke bevismateriale fra rettssaker

Verktøyet, en slags digital robot, skal følge med på nettet generelt, og kunne flagge et område som et forum som problematisk, og deretter kunne følge ekstra med på samtalene i dette området.

I tillegg til åpne forum kan det også være åpne chatter knyttet til en spillverden. Det er ikke avgjort om verktøyet også skal virke innenfor chatterom som krever innlogging.

Verktøyet som skal kunne detektere groomingforsøk skal settes sammen av flere allerede kommersielt tilgjengelige verktøy, som henholdsvis kan analysere innhold i tekst, følelsene til den som skriver teksten, om folk lyver og egenskaper som alder og kjønn.

– Det er flere kjennetegn man kan gå etter for å identifisere grooming før språket har blitt eksplisitt seksuelt. Prosessen handler om for eksempel om å bygge tillit og vurdere risiko for å bli oppdaget ved det potensielle offeret for å bli oppdaget.

For å kunne utvikle verktøyet, må forskerne ha en fasit på hva som skal defineres som grooming. Til det vil de ta i bruk chatlogger som er brukt som bevismateriale i straffesaker der noen er dømt for grooming.

– Slike dokumenter kan inneholde en del sensitive og identifiserende opplysninger. Vi har en 10–12 siders juridisk analyse som kommer frem til at de kan gjøre dette, men på bestemte vilkår.

Tidskritisk oppgave

I en klassisk grooming-prosess rekrutteres nye ofre på åpne plattformer som nettforum. Overgriperen vil derfra prøve å dra samtalen over på private plattformer, og der vil ikke boten lenger ha tilgang.

Det er derfor en forutsetning at boten kan identifisere grooming i sanntid og reagere kjapt nok til å på en annen måte avskjære groomingforsøket før prosessen kommer dit.

Det er foreløpig ikke avgjort på hvilken måte det er mest hensiktsmessig at boten griper inn i samtalen.

– Skal de advare den potensielle overgriperen, det potensielle offeret eller bare kutte samtalen? det kommer til å bli en del av forskningsprosjektet.

Forklarbar modell

Verktøyet tar i bruk den norske Tsetlin-maskinen, som er utviklet på Universitetet i Agder.

– Vi tenkte først at det var en veldig manuell KI, der mye må justeres av mennesker. Men hvis det fungerer i praksis vil det være en metode som gir veldig god forklarbarhet, der programmererne kan gå inn og se hvorfor det er konkludert som det er gjort, sier Opheim.

– Det er viktig i et verktøy som mange vil oppleve som inngripende, og som eventuelt anklager folk for alvorlig kriminalitet.

Grooming, altså det å avtale et møte med hensikt å begå seksuelle overgrep, er i seg selv ulovlig, understreker Opheim.

– Etisk forsvarlig

En del av mandatet til Datatilsynets sandkasse er å vurdere om et prosjekt er etisk forsvarlig, i tillegg til lovlighet og robusthet.

– Vi har prøvd å ta en gjennomgang av en del forskjellige retningslinjer og prinsipper for ansvarlig bruk av kunstig intelligens, og håper at det vil være en nyttig case for å vise hvordan man gjør såpass vanskelige etiske vurderinger i et prosjekt som er i en fase der det er mange potensielle utfall, sier han.

– Vi har konkludert med at det er etisk forsvarlig at de starter et forskningsprosjekt, men vi har problematisert at selv om det er lovlig og etisk forsvarlig å forske på det, er det ikke gitt at det er lovlig og etisk forsvarlig å bruke det, sier Opheim, og legger til:

– Vi tenker uansett at hvis de klarer å utvikle et verktøy som er i stand til å identifisere groomingsamtaler, kan man se for seg at ikke bare politiet kan bruke det. Plattformene kan selv ha det, foreldre kan ha det, det kan være et verktøy som til sammen kan være et godt tiltak mot grooming.