AI-etikk må starte hos den enkelte: – I jakten på systemer som er objektive, har vi skapt systemer som er subjektive

Amazons skrotede rekrutteringssystem er et skoleeksempel på konsekvensene av bias, eller skjevhet, i maskinlæring. Systemet skulle hjelpe bedriften med å gjennomgå CV-ene til jobbsøkere og finne de meste attraktive talentene, men endte opp med å bli droppet fordi det uforvarende hadde lært å foretrekke mannlige framfor kvinnelige kandidater.

Spør du menneskerettighetsadvokaten Carly Kind, er det grunnleggende problemet at man i utgangspunktet trodde at man kunne bygge systemet objektivt.

Carla Kind er tidligere Legal Director i NGO-en Privacy International, og den nye lederen av Ada Lovelace Institute – et uavhengig institutt som engasjerer seg innen etisk bruk av data og AI.

– I jakten på systemer som er objektive, har vi skapt systemer som er subjektive. Og for å kunne danne en motvekt til dette, må du ha subjektivitet, sier hun når danske DataTech møter henne i København.

– Du er nesten nødt til å ha positiv særbehandling innebygd i systemet. Vi vet at den optimerer etter mannlige kandidater, fordi Amazon tradisjonelt har ansatt menn. Hvis du skal balansere den rekrutteringsprosessen, har du behov for at systemet optimerer etter flere kvinner enn menn, eller setter verdi på kjønn på en bestemt måte. Og dette er veldig vanskelig å gjøre for en teknolog, fordi du beveger deg fra det objektive til det subjektive, forklarer hun.

– Men dette ser ut til å være lærdommen fra de siste 10–12 årene. Teknologien er ikke nøytral, den har alltid en innebygd subjektivitet – og dermed må vi sørge for at det er den riktige subjektiviteten, som optimerer for de riktige sosiale verdiene.

Hvor skal denne riktige subjektiviteten komme fra?

– Jeg tenker i økende grad at bottom-up er den beste måten å gjøre dette på. Ved å nå ut til individuelle teknologer og individuelle data scientists, og gjøre dem kjent med disse problemene, kan du ikke bare påvirke adferden deres, men også gjøre dem til aktivister internt i sin egen organisasjon, sier Carly Kind:

– Å ha en «chief ethics officer» kan være viktig i et ansvarlighetsperspektiv, og fordi det har en symbolverdi overfor offentligheten. Men det er vanskelig å forestille seg at det har den store effekten hvis et prosjekt først kommer til det nivået hvor en chief ethics officer må skrive under på det. Governance på toppen har en tendens til bare å godkjenne det som flyter forbi. På det tidspunktet har man brukt mange penger på det, så det er vanskelig å stoppe når det først er bygd.

Kind nevner som eksempel Facebook, som i mange år har hatt interne review-paneler, som ser på etikken i Facebooks teknologier. Men likevel har det kommet gjennom ting som sentimentanalyse på sårbare unge.

– Derfor må vi inn på det nivået hvor disse løsningene blir bygget, bemerker hun.

– Jeg tror [at etikk-paneler, red.] kan være effektive. Men det jeg gjerne vil se fra dem, er casestudier når de har sett på et bestemt prosjekt og besluttet at det ikke skulle slippe gjennom. La oss se hvordan den beslutningsprosessen fungerer, og bevis for oss at dere rent faktisk endrer noe.

Skaperne av ML-systemer må dessuten være nøye med å fraskrive seg ansvar ved å kalle systemer sine for beslutningsstøtte; noe som bare skal hjelpe – og ikke erstatte – et menneske.

– AI-forskning viser at når menneskelig beslutninger blir forsterket eller understøttet av maskiner, følger mennesket maskinen, fordi man tror at de er mer objektive. Så ja, i prinsippet er den beste måte å utnytte denne teknologien på, å forsterke de menneskelige evnene – for eksempel ved å ha en lege sittende ved siden av en maskin for å understøtte diagnostikken. Men med mindre mennesket har fått myndighet til å utfordre og gjøre om på datamaskinens beslutning, kommer det ikke til å være effektivt. Og hvordan kan du så gi myndighet til den brukeren? Og en del av det er utdannelse, forståelse og bredt tolket å forklare folk hvordan maskinlæring virker.

Oppskriften mangler fremdeles

Ada Lovelace Institute ble stiftet i vår av Nuffield Foundation med formålet å initiere forskning i etisk AI – og samtidig omsette denne forskningen til handling, forteller Carly Kind.

– Vi vil ta for oss det som forskning viser om for eksempel skjevhet i maskinlæring, og på bakgrunn av dette komme med anbefalinger om hva vi mener at bedrifter eller regjeringer bør gjøre med det. En del av utfordringen er nettopp å finne ut av hva man egentlig skal gjøre. Dette er fremdeles en del av spørsmålet, og jeg er ikke sikker på å vi har den oppskriften ennå.

– Jeg lyttet nylig til en podcast om et edtech-system (education technology, red.), som var basert på AI, og hvor barn lærer matematikk basert på nivået sitt. I prinsippet er det en god idé. Men problemene oppstår hvis vi kommer til å skyve noen barn vekk fra matematikk fordi de ikke presterer godt nok, eller begynner å måle barn efter systemets bestemte metrikker. Det er noen langsiktige spørsmål som jeg ikke tror at skaperne av edtech i dag overveier. Men jeg tror heller ikke at de kan forhindre det.

Derfor må samtalen heller ikke være overlatt til den enkelte utvikleren og leverandøren, men til samfunnet som helhet, sier Carly Kind.

– Jeg tror at vi trenger denne samtalen, fordi offentlighetens stemme ikke er særlig godt representert i den. På den ene siden har du bedrifter som er superbegeistrede for den nye teknologien, og jobber for å få så mye innovasjon som mulig. På den andre har du regjeringer som gjerne vil legge til rette for innovasjonen og ikke hogge inn bremsene. Veldig ofte finnes det ikke noen som sier: «La oss stoppe opp og tenke over hvordan dette kommer til å påvirke folk, og hvilke verdier det sementerer i samfunnet vårt». Det er derfor vi trenger denne samtalen».

«Det har vært noen få øyeblikk hvor denne debatten har trengt gjennom til offentligheten, for eksempel Facebooks skandale med Cambridge Analytica. Det var noe som selv foreldrene mine var oppmerksomme på. En annen sak i Storbritannia har vært ansiktsgjenkjenning, som politiet har prøvd ut. Det har vært disse kriseøyeblikkene, men det er vanskelig å bruke denne oppmerksomheten og skape forandring».

– Problemet er blant annet at folk ikke har noen handlekraft. Den monopolistiske naturen til de store teknologibedriftene gjør det vanskelig å utnytte stemmen sin. Disse selskapene trenger ikke å jobbe for å beholde kundene sine, og de responderer ikke på brukernes krav, sier Carly Kind:

– På mange måter bygger vi fremdeles teknologi slik som da vi bygde biler på 1950- og 1960-tallet. På en måte hvor vi er overbevist om at markedet vil fikse de problemene som måtte dukke opp. Men rent faktisk har det vært reguleringer som har fått de mest bedritne bilene vekk fra veiene.

Miljøfeltet er i det hele tatt en interessant analogi til AI-regulering, mener Carly Kind.

– Det er et globalt spørsmål som ikke kan løftes av én enkelt jurisdiksjon, fordi teknologien krysser landegrensene. Og jeg tror ikke at markedet kan løse problemet. De kan være en del av løsningen. Men vi har også behov for regulering på dette området.

Saken ble først publisert på danske Datatech, og gjøres tilgjengelig på norsk for abonnenter av Digi Ekstra gjennom vår samarbeidsavtale med Teknologiens mediehus/Ingeniøren.