AI-saksbehandlerne kommer. Hvordan hindrer vi at de blir urettferdige?

Arendal: − Før hadde vi det som het morspresumpsjonen, at mor var best i stand til å ta vare på barnet etter en skilsmisse. Slik praktiseres det ikke lenger, men om de historiske dataene henger igjen i systemet, vil beslutningen systemet tar, bli feil, sier likestillingsombud Bjørn Erik Thon fra scenen i Arendal.

Han møtte Datatilsynet, Oslo kommune og Amnesty Norge for å diskutere hvordan vi skal hindre at bruken av kunstig intelligens i offentlig sektor gir mer urettferdige beslutninger, lavere tillit og Kafka-opplevelser i byråkratiet.

Og det begynner å haste.

− KI har gått fra hype til virkelighet, sier Kari Laumann, seksjonssjef i Datatilsynet og leder for tilsynets sandkasse-prosjekt for kunstig intelligens.

Sakte, men sikkert kommer kunstig intelligens (KI) inn i det norske samfunnet, noe som skaper enorme muligheter, men kommer med risiko. Algoritmer som forskjellsbehandler ansatte etter hudfarge, eller diskriminerer kvinner i ansettelsesprosesser, har skapt reaksjoner.

− En av risikoene er forskjellsbehandling og urettferdighet, sier Laumann.

Likevel vil ingen i panelet sette på bremsene, de tror det finnes løsninger.

Bias i datasettet

Ingen maskinlæring uten datasett å trene opp algoritmene i. Og offentlig forvaltning sitter på store datasett om tidligere manuell behandling.

Eventuelle skjevheter og systematisk diskriminering i datasettet, vil forplante seg, og i verste fall forsterkes, i algoritmene som trenes i å gjøre det samme.

Har saksbehandlerne vært litt mindre ettergivende med Mohammed enn med Ola, ja, da vil algoritmene være det samme. Synes de som ansetter utviklere at utdanningen fra NTNU nok er litt mer verdt enn utdanningen fra UiB, ja da mener algoritmen det samme.

Denne typen bias i datasett kan få store konsekvenser for enkeltpersoner.

− Skrekkeksempelet

I 2013 innførte nederlandske skattemyndigheter et nytt system for å avdekke risiko for trygdesvindel i barnetrygd-saker. Systemet var basert på maskinlæring og brukte tidligere saksbehandling som treningsdata. Løsningen var imidlertid et såkalt «svart boks»-system, og verken saksbehandler eller de som ble anklaget kunne se hvorfor maskinen tok beslutningene den tok.

− Det gikk grusom galt, sier Ingrid Westgård Stolpestad, politisk rådgiver i Amnesty.

I fjor publiserte Amnesty en rapport om prosjektet. Stolpestad er ikke nådig i beskrivelsen.

− Titusener av familier ble feilaktig mistenkt, tusenvis ble bedt om å betale tilbake store summer, mange ble kastet ut i stor gjeld. Vi har hørt historier om selvmord, folk som mistet huset eller ble fratatt barna, sier hun og trekker frem en detalj i algoritmen:

− En av faktorene i denne algoritmen var nasjonalitet. Var du ikke nederlandsk, ble du flagget som høyere risiko. Det er åpenbart et brudd på retten til ikke å bli diskriminert, sier Stolpestad.

Praktiske råd

− Maskinen kan se flere hundre tusen tilfeller, mens en saksbehandler kanskje kan se tusen i løpet av en lang karriere. Men denne medaljen har flere baksider, sier Robindra Prabhu.

Han er data scientist i Nav og sitter midt i problemstillingene som diskuteres. Han har råd til de som vil utvikle saksbehandlingsløsninger basert på KI.

− Vi trenger utviklingsteam som representerer det brede lag, sier Prabhu.

Med flere fagfelt og perspektiver representert i teamet får man nyttigere diskusjoner og tar ned fallhøyden, mener han.

Så er det viktig å anta at modellen er skjev, mener Prabhu. Man kan ikke vente på at andre skal påpeke feil i modellen, men hele tiden utfordre den selv. Der kan man få hjelp fra teknologien selv.

− Modellene lyver ikke, sier Prabhu.

De siste årene har forskningen kommet lengre på hvordan man kan diagnostisere modeller. Klarer man å stille de riktige spørsmålene til modellene, vil man få svar, mener Prabhu.

Men utviklingen er kompleks, og han etterlyser en skjerpet debatt om hva det vil si å være rettferdig. Skal alle behandles likt, eller skal noen forskjellsbehandles for å få til en likebehandling?

− Alle er enige om hva som er urettferdig, men ikke om hva som er rettferdig, sier Prabhu.

Personvern har også vist seg å være en utfordring.

− Hvis vi skal avdekke diskriminerende modeller, trenger vi en eller annen markør. Jeg må behandle data om etnisitet for å avsløre om modellen diskriminerer på etnisitet, sier Prabhu.

Det betyr at utviklerne må behandle personopplysninger de ikke vil eller har lov etter dagens regelverk å behandle.

Slik berører utviklingen flere fagfelt, og vi mangler sentralt tilsyn med utviklingen, mener flere.

Tilsynsmyndighet for algoritmer

Eksperter har lenge tatt til orde for algoritmetilsyn, og EU jobber med reguleringer for kunstig intelligens, som med stor sannsynlighet vil komme med krav om egne tilsynsmyndigheter. Spania var tidlig ute, og har allerede etablert sitt KI-tilsyn.

Vi trenger en struktur rundt KI, på samme måte som det er rundt andre forvaltningsavgjørelser mener Thon, det inkluderer tilsyn, men krever også mer.

− Vi må ha et godt og modernisert lovverk, nye verktøy og måter å jobbe på, som sandkassen til Datatilsynet, og så er det helt avgjørende med mer kompetanse, mange steder mangler kompetanse til å kjenne igjen og analysere diskriminering, sier Thon.

Han får støtte fra Stolpestad i Amnesty, som i tillegg til tilsynsmodell vil sette noen klare krav til bruk av KI i offentlig forvaltning.

− Det kan ikke være mulig å ha faktorer som diskriminerer, som etnisitet eller proxy for etnisitet i modellen, og brukerne av systemet må få innsyn i hva systemet sier om dem. I bunnen må det ligge en menneskerettslig risikoanalyse i både utvikling, gjennomføring og evalueringen av disse systemene, sier Stolpestad.