Tilsyn stengte KI-system hos dansk politis e-tjeneste

Et JI-system hos PET (Politiets etterretningstjeneste) lagret personopplysninger som ansatte kunne hente fram igjen ved hjelp av enkle prompt.

I Tilsynet med Etterretningstjenestenes (TET) siste kontrollrapport for PET går det fram at et KI-system ble stengt ned på grunn av sikkerhetsproblemer.

«PET hadde satt i drift én språkmodell som i enkelte tilfeller, både tilsiktet og utilsiktet, kan gi svar som inneholder personopplysninger», står det i årsrapporten.

Ifølge opplysninger Ingeniøren Radar har fått, handlet saken om forsøk fra TETs side der ansatte med enkle prompt var i stand til å hente fram igjen personopplysninger som PET-ansatte hadde matet inn i KI-modellen. Og det må aldri skje, fordi personopplysninger på den måten blir til treningsdata, noe som verken har lovhjemmel eller kan kreves slettet.

Av samme grunn ble språkmodellen midlertidig tatt ut av drift – inntil de riktige sikkerhetstiltakene var på plass.

«TET fant på den bakgrunn at PET burde ta stilling til hvordan tjenesten sikrer at reglene i PET-lovgivningen om behandling av opplysninger, sletting og behandlingssikkerhet, herunder logging, blir fulgt når det gjelder opplysninger i språkmodellen», skriver TET, som likevel ikke valgte å rette formell kritikk mot bruken av systemet.

PET: Vi retter oss etter dette

PET skriver i en pressemelding at tjenesten raskt rettet seg etter at TET gjorde oppmerksom på problemer med manglende anonymisering i KI-systemet.

– På bakgrunn av TETs kontroll stengte vi umiddelbart for ansattes bruk av den aktuelle språkmodellen og innledet en konstruktiv dialog med TET. På den bakgrunn innførte vi raskt egnede tiltak for å sikre at språkmodellen alltid brukes i samsvar med PET-lovgivningen. Etter å ha involvert tilsynet åpnet vi deretter igjen for bruk av språkmodellen, sier PETs juridiske sjef Morten Duus-Larsen og legger til:

– Som følge av vårt helt særlige samfunnsoppdrag skal det selvsagt stilles strenge krav til PET når det gjelder bruk av KI. På grunn av den raske utviklingen på området – både teknologisk og juridisk – vil det forutsette en fortsatt tett dialog med TET.

Glemmer å slette

Kontrollen av PET viste at etterretningstjenesten fortsatt har svært store problemer med å journalføre for eksempel e-post i fellespostkasser, samt å overholde slettefrister for disse. I flere eksempler var feilraten dermed 100 prosent.

«TET fant det kritikkverdig at PET behandlet 30 av 30 e-poster i en fellespostkasse i strid med PET-sikkerhetsbekendtgørelsens § 17, stk. 2, jf. § 18, ettersom tjenesten hadde overskredet fristen tjenesten selv hadde fastsatt for oppbevaring av opplysninger i transittsystemer. Videre fant TET at stikkprøvens feilrate på 100 prosent viste at PET hadde en generell utfordring med å behandle de 1.338 e-postene i postkassen, som var omfattet av tilsynets kontroll, i samsvar med PET-sikkerhetsbekendtgørelsen.»

Artikkelen ble først publisert på Radar.