Algoritmer kan være dødelige. Her er noen råd på veien mot rettferdig KI

Rettferdighet i algoritmens tidsalder. Det er en hyperaktuell problemstilling, som nylig trakk fullt hus på et frokostmøte hos et advokatfirma i Oslo.

– Vi er bare i startfasen av kunstig intelligens (KI/AI), men det er allerede flere eksempler på at det har gått galt, sier en av innlederne, advokatfullmektig Thale Gjerdsbakk i Bull.

Skrekk og gru

Hun viser til trygdeskandalen i Nederland, der tusener av familier ble sendt ut i fattigdom og nød, feilaktig stemplet som svindlere. Og en lignende sak om svikt i et system for automatiske tilbakebetalinger i Australia.

– Ved begge tilfeller ble det rapportert om selvmord som følge av gjeld folk pådro seg etter å ha blitt feilaktig behandlet av algoritmer, sier Bull-advokaten, som har skrevet masteroppgave om kunstig intelligens.

I Storbritannia klarte noen å blande inn historiske data da de skulle lage en smart løsning for å sette standpunktkarakterer. Stakkars elever.

Skjevhet

I Norge har Nav ikledd seg ledertrøya på kunstig intelligens i offentlig sektor. De var tidlig på plass i Datatilsynets sandkasse med et prosjekt som vil spå sykefravær.

– Det kan gå galt mange steder. Ikke at det nødvendigvis går galt, presiserer Robindra Prabhu, data scientist i Nav IT.

Skjevhet i datagrunnlag og hvordan data blir til, er blant problemstillingene han og advokat Gjerdsbakk pekte på i et felles innlegg om lovlig og rettferdig KI-bruk.

Diskriminering av folk med mørk hud er et kjent eksempel fra systemer for ansiktsgjenkjenning.

Ahus har også prøvd ut en algoritme for å oppdage hjertesvikt, som treffer dårligere på visse etniske grupper.

– Det kan virke som skjevhet er uunngåelig. Så hva gjør vi da, spør Prabhu.

– Du er nødt til å evaluere modellen etter at den er tatt i bruk. Det er det heldigvis fullt mulig å gjøre, konstaterer han.

På den annen side er heller ikke manuell saksbehandling en garanti for rettferdig behandling. Mennesker gjør også feil.

Dynamisk rettferdighet

Når det kommer til rettferdighet, er ikke det et begrep som er hugget i stein. Du finner ingen definisjon i lovverket.

Vår rettferdighetssans er dynamisk. Den forandrer seg over tid og sted, forteller Thale Gjerdsbakk og trekker linjene helt tilbake til bibelsk tid, den gangen gjengjeldelse «øye for øye» var en akseptert straff.

– I nyere tid har 9/11 og koronapandemien endret vår rettferdighetssans. Vi synes overvåking er mer greit, så lenge formålet er å hindre terrorangrep og smittespredning.

Det kan være nyttig å se på rettferdighetsbegrepet på ulike måter, mener hun. For eksempel som ulik behandling for å oppnå likt resultat, som en slags rettmessig forskjellsbehandling.

– Det er en tankegang vi er godt kjent med fra velferdsstaten, der noen betaler mer skatt, slik at andre kan motta flere velferdsgoder.

Eller at likebehandling handler om at alle skal behandles likt og skjæres over samme kam. Det kan være gjeldende ved uttak til landslaget, hvor det er opplagt at det kun skal være plass til de aller beste av oss.

– Ettersom rettferdighet ikke har en ensbetydende definisjon, er det opp til hver enkelt å definere det i sitt brukstilfelle.

Svart boks

Nav har brukt mye tid på det de kaller en ansvarlig tilnærming til kunstig intelligens.

Som et ledd i dette arbeidet ser de blant annet på om modellene kan betraktes som rettferdige og om de kan forklare utfallet. Personvern og hvordan modellene treffer ulike grupper av mennesker, er en del av disse vurderingene, sier Prabhu til Digi.

Store språkmodeller som GPT-4 er komplekse og ugjennomsiktige med milliarder av parametre. Utfallet kan være riktig og nøyaktigheten er ofte god, men vi har ingen etterprøvbarhet.

Det kalles «black box»-problematikk fordi mennesker ikke vet hva som skjuler seg i den svarte boksen.

– Det er helt klart en utfordring, men slike store modeller kommer med andre transparensmetoder. Det er mange måter å evaluere modeller på. Det viktigste er ikke hvordan de er laget teknisk, men etisk og juridisk, mener Prabhu.