Ekspert om AI-diskriminering: Vi trenger et algoritmetilsyn

Kunstig intelligens er i ferd med å tas i bruk i saksbehandlingen både hos offentlige etater og private selskaper. Morten Goodwin, nestleder ved Centre for Artificial Intelligence Research ved universitetet i Agder, mener man nå bør vurdere å opprette et algoritmetilsyn for å sikre at datasystemer med AI ikke diskriminerer og forskjellsbehandler på måter som kan være vanskelig å avdekke.

– De fleste er oppmerksomme på at det kan få konsekvenser for personvernet ditt når du gir fra deg data. Men de færreste har tenkt over at det også kan få konsekvenser for hvordan du behandles av Nav, forsikringsselskapet ditt, banken din, eller bedriften du har søkt jobb hos, sier han.

«Mannlige» data får konsekvenser

Det finnes mange eksempler på at kunstig intelligens kan føre til diskriminering på grunnlag av kjønn og hudfarge. En AI-programvare som skulle gjøre uskarpe bilder skarpe, viste seg for eksempel å gjenskape de fleste ansikter – uavhengig av hvilken hudfarge eller etnisitet de egentlig hadde – som hvite personer. Og Amazon skrotet for noen få år siden et AI-verktøy som skulle hjelpe selskapet å ansette flere kvinner i tech-jobber, fordi verktøyet viste seg å foretrekke menn.

Goodwin trekker fram snakkerobotene til Apple og Amazon som et annet eksempel: Algoritmene til Siri og Alexa forstår lettere hva menn sier enn kvinner, sier han.

Grunnen til forskjellsbehandlingen hos Amazon var at AI-verktøyet deres tok utgangspunkt i tidligere ansettelser, som hadde en klar overvekt av menn.

Også Siri og Alexa bedriver sin kjønnsdiskriminering på grunn av dataene som er brukt i utviklingen av robotene, forteller Goodwin.

– Man brukte studenter på MIT til å trene dem opp. Disse studentene var i hovedsak menn, og dermed reagerer de bedre på mørke mannsstemmer enn kvinnestemmer, forteller Goodwin.

– Ikke alltid lett å avsløre

Disse formene for kjønnsdiskriminering og AI-rasisme er veldig synlige, og lette å avsløre. Men kunstig intelligens kan også komme til å diskriminere på måter som ikke er så lett å oppdage, påpeker han.

– Hvis man bruker AI i store og tunge systemer, for eksempel i Navs saksbehandling, kan det være bare en av svært mange variabler, eller enkelte kombinasjoner av variabler, som gjør at noen blir forskjellsbehandlet. Og da kan det være nesten umulig å se at systemet diskriminerer.

Goodwin mener det er veldig viktig å få sørget for at dataene og algoritmene kvalitetssikres for å hindre denne formen for skjult forskjellsbehandling, og foreslår at et eget tilsyn skal bidra til det.

– Vi skulle hatt et algoritmetilsyn, for eksempel lagt inn under Datatilsynet, eller likestillingsombudet. Kunstig intelligens er i ferd med å tas i bruk på alle områder i samfunnet, og dermed vil det være mange områder hvor man kan bli utsatt for AI-utløst forskjellsbehandling, mener Goodwin. Nav er et eksempel. Men hvis Nav har gjort tingene sine riktig, så vil det jo kunne gå helt greit. Men veldig viktig å kvalitetssikre dataene slik at ikke slik skjult forskjellsbehandling skjer, sier Goodwin.

– Lettere å forbedre AI enn folk

Goodwin er en av foredragsholderne på den kommende årskonferansen til Likestillings- og diskrimineringsombudet (LDO), der temaet er «AI i et likestillingsperspektiv». I innlegget sitt kommer han til å se på hvordan AI kan bane vei for likestilling. Og selv om han mener man må være oppmerksom på faren for AI-utløst forskjellsbehandling, tror han kunstig intelligens har et enda større potensiale for å hindre diskriminering.

– For eksempel: Hvis kunstig intelligens skal brukes i ansettelser trekker man typisk ut masse eksempler på ansettelser som har gått bra og ansettelser som har gått dårlig, og så skal AI-en lære av det. Men hvis det stort sett er menn som har blitt ansatt tidligere, så risikerer man at AI-en fortsetter å trekke ut menn. Sånne feil er det imidlertid lett å luke bort, sier Goodwin, og forklarer.

– Når ansettelser gjøres av mennesker, slik det stort sett foregår i dag, så har jo også disse menneskene ofte fordommer, og kan komme til å la det påvirke hvem som får jobb. Jeg tror det er mye lettere å trene opp en AI enn en HR-sjef til ikke å diskriminere. AI-en kan du gi ny og mer relevant informasjon, eller en bedre algoritme, og så er jobben gjort. Men et menneske med en fordom kan det jo ta flere år å snu.

Datatilsynet: Vi er i gang allerede

LDOs årskonferanse arrangeres 29. oktober, på Litteraturhuset og som webinar. En av foredragsholderne er Datatilsynets direktør Bjørn Erik Thon, som skal snakke nettopp om tilsyn med algoritmene. Thon var ikke tilgjengelig for kommentar fredag, men kommunikasjonsdirektør Janne Stang Dahl sier til Digi.no at Datatilsynet mener det ikke nødvendigvis er behov for å opprette et eget algoritmetilsyn.

– Datatilsynet har allerede gjennomført et algoritmetilsyn i år, i forbindelse med algoritmene som ble brukt til å sette standpunktkarakterer ved IB-linjene på flere videregående skoler i vår. Vi kommer til å drive med algoritmetilsyn også fremover, og vi jobber kontinuerlig med å utvikle vår tilsynsmetodikk, sier hun.

Blant de andre foredragsholderne på årskonferansen er direktør Tore Tennøe i Teknologirådet, som skal snakke om AI i helsesektoren; Sigve Røger fra Seksjon for Digitalt Politiarbeid ved Oslo Politidistrikt, som skal snakke om kunstig intelligens i politiet; Cathrine Phil Lyngstad, fagansvarlig for kunstig intelligens i Nav, som vil snakke om AI i offentlig forvaltning, og Espen Skorstad fra AON, som skal snakke om bruken av kunstig intelligens i arbeidsliv og jobbrekruttering.