Nylig skrev NRK om nederlandske Paula Bouwer som opplevde at livet ble rasert etter at et datasystem bygget på kunstig intelligens (KI) mente hun hadde begått bedrageri. I 2021 ble det kjent at Bouwer og mange andre var uskyldige. Trygdeskandalen var et faktum, og den nederlandske regjeringen ble tvunget til å gå av.
Samtidig tar den norske digitaliseringsministeren til orde for at hennes målsetting om at 80 prosent av offentlig sektor skal ha tatt i bruk KI innen 2025, ikke er naiv.
Vi skal ikke uttale oss om målsettingen er naiv. Men dersom 80 prosent av offentlig sektor skal ta i bruk KI i løpet av de neste seks månedene, må sektoren ta lærdom av den nederlandske trygdeskandalen.
.jpg)
Mennesket, ikke maskinen
Nederlandske myndigheter brukte maskinlæringsalgoritmer for å utvikle noen av ekspertreglene som uriktig kategoriserte nederlenderne som bedragere. Tilknytning til én av de bedragerimistenkte bedriftene, saksbehandleres magefølelse, forhold som «ikke nederlandsk statsborger», «lav inntekt» eller «mange barn» trakk i retning av bedrageri-kategorien. Likevel mener vi at KI ufortjent har fått skylden for trygdeskandalen, for den kjedelige sannheten er at det først og fremst var mennesker som sviktet – i alle ledd.
Datagrunnlaget som ble brukt i treningen av algoritmene, hadde store skjevheter, og dermed ble datasystemet designet til å diskriminere. Datagrunnlaget ble utarbeidet av mennesker.
Den andre menneskelige svikten skjedde da datasystemets kategorisering ble lagt til grunn, uten at saksbehandleren gjorde en selvstendig vurdering i den enkelte sak. Kritisk vurdering utført av et menneske kunne ha avdekket at kategoriseringen var uriktig og dermed stoppet diskrimineringen.
Det var heller ikke uten betydning at det var et politisk ønske at flest mulig skulle bli tatt for å ha misbrukt ordningen.
Kombinasjonen dårlige treningsdata, dårlig håndverk i byggingen av datasystemet og dårlig bruk av datasystemet i beslutningsprosesser er en oppskrift på katastrofe. En katastrofe som vil inntreffe uavhengig av om datasystemet er bygget med menneskeskapte ekspertregler, statistikk eller, som her, maskinlæring.
KI: Norge står ved en kritisk korsvei
Skal avverge en fremtidig skandale
EUs nye regelverk for kunstig intelligens, AI Act, vil stille strenge krav til KI som brukes i forvaltningen når den trer i kraft, blant annet til treningsdata og opplæring.
Opplæring er nøkkelen til å avverge en fremtidig skandale. Vi kommer nemlig ikke unna at mennesker stoler på maskiner, og det kan ikke EUs regelverk endre. Derfor er det helt avgjørende at offentlig sektor gir de ansatte opplæring og innfører rutiner som sikrer reelle menneskelige vurderinger når det er nødvendig.
Kun på denne måten kan offentlig sektor bruke KI på en ansvarlig måte som ivaretar juridiske, menneskelige og etiske betraktninger.
La oss håpe det ikke blir ettermælet hennes
