Urettferdige maskinlærings-algoritmer: – Problemet kan ikke løses kun med matematikk

«Fairness» – eller rettferdighet i algoritmer – er en av de store brikkene som må plasseres hvis det dataetiske puslespillet skal falle på plass. Men å bygge rettferdighet inn i algoritmer er ikke enkelt i praksis.

Utfordringen har på få år gått fra å være et nisje-forskningsområde innen maskinlæring, til bare i 2018 å få to dedikerte konferanser og en eksplosjon i antall forskningsartikler om emnet – en utvikling som ikke minst er drevet av de etter hvert tallrike eksemplene på diskriminerende algoritmer.

«Nå ser vi den negative effekten av arbeidet vårt,» bemerket Senior Data Scientist Manojit Nandi hos Rockettrip da han tok opp emnet på konferansen PyData sent i fjor.

«Som data scientist er du kanskje ikke den som umiddelbart skader disse menneskene, men disse menneskene blir skadet på grunn av arbeidet ditt. Det er ingen som har lyst til å være den personen, selv om du ikke tenker på deg selv som etiker,» slo han fast.

Det finnes atskillige forsøk på å takle problemet med «fairness» matematisk. Men den strategien er utilstrekkelig, var budskapet fra Nandi.

Da forskere ved Stanford i et sterkt kritisert studium påsto at man kan avgjøre, om en person er homoseksuelt ved hjelp av en algoritme, kunne ingen matematiske formler ha vist at hele prosjektet var en dårlig ide, sier Menojit Nandi.

«Som data scientists må vi være utstyrt med mer enn algoritmer. Vi har bruk for etikk og antropologi når vi jobber. Vi kan ikke løse det som et algoritmisk problem.»

Den samme konklusjonen har også andre kommet fram til. Da Cambridge-forsker Ben Green gikk gjennom den kontroversielle COMPAS-algoritmen som i USA brukes til å vurdere om en fange skal få innvilget prøveløslatelse, kom han blant annet fram til at utviklere bak denne typen algoritmer «must abandon naïve notions of neutrality and recognize themselves as participating in normative and political constructions of society».

Den dagen maskinlærings-feltet tar fatt på nye områder som for eksempel rettsvesenet, kan man ikke lenger ta det for gitt at rettferdige algoritmer «can be reduced to a single mathematical definition that exists in the abstract, away from social, political, and historical context,» skriver Green.

Tre forsøk på rettferdige algoritmer

En av utfordringene er at «fairness» er et begrep som ikke kan defineres entydig. En gruppe forskere ved Stanford University har delt inn de mange forskjellige definisjonene – og forsøk på å løse rettferdighetsproblemet algoritmisk – i tre kategorier. Overordnet er konklusjonen deres at «these popular measures of fairness suffer from significant statistical limitations».

Den første – anti-classification – går ut på å «beskytte» bestemte egenskaper som rase og kjønn, og la algoritmen ignorere dem. Ideen utfordres av at modellen ofte kan lære seg en proxy for de egenskapene (features) som man vil beskytte.

Da Amazon nylig droppet en rekrutteringsalgoritme som hadde en skjevhet («bias») mot kvinner, var problemet dermed ikke at man hadde gjort kjønn til en parameter for algoritmen. I stedet hadde kjønn blitt en indirekte parameter, som på grunn av Amazons treningsdata altså falt ut til fordel for menn.

For å identifisere disse proxy-egenskapene har selskabet GoDataDriven demonstrert at man kan trene et GAN – Generative Adversarial Network. Den ene delen av nettverket utfører klassifikasjonen (uten tilgang til de beskyttede variablene), og på bakgrunn av denne outputen prøver den andre delen av modellen å avgjøre om den kan gjette de beskyttede attributtene som kjønn og rase. Hvis den kan det, har det oppstått proxy-egenskaper.

Modellen bedømmes dermed ut fra hvor god den er til å klassifisere, men straffes for proxy-egenskaper.

«Bringing fairness to predictive models is not as straight forward as «just» removing some sensitive attributes from the training data,» konkluderte GoDataDrivens Chief of Strategy & Innovation, Stijn Tonk, i en blogg.

«It requires clever techniques, like adverserial training, to correct for the often deeply biased training data and force our models into making fair predictions.»

Å produsere rettferdige forutsigelser kom for GoDataDriven dessuten med den prisen at modellen ble mindre nøyaktig, noe som ifølge Manojit Nandi ofte beskrives som the accuracy-fairness trade-off – et begrep som han ikke selv bryr seg om:

«Det passer inn i en idé om at diversitet er suboptimalt. Det er ikke tilfelle,» sier han på konferansen.

Nandi påpeker også at faren ved anti-klassifiseringsstrategien er at man ender opp med å straffe de gruppene som man prøvde å ta hensyn til. Ser man igjen på COMPAS-algoritmen, kan man se at kvinner generelt sjeldnere begår ny kriminalitet enn menn generelt – selv om de tildeles den samme risiko-score av modellen. Siden kjønn ikke er en del av ligningen, blir kvinnene i sjeldnere grad prøveløslatt enn hva statistikken burde ha foreskrevet.

Her bemerker Stanford-forskerne følgende:

«By acknowledging the predictive value of gender in this setting, one could create a decision rule that detains fewer people (particularly women) while achieving the same public safety benefits. Conversely, by ignoring this information and basing decisions solely on the gender-neutral risk assessments, one would be engaging in taste-based discrimination against women.»

Ikke kompatible

En annen måte å behandle fairness i maskinlæring på, er gjennom såkalt Classification Parity, hvor man går inn for å behandle grupper bare målt på for eksempel falske positiver.

Også her kan man risikere at de gode hensiktene til syvende og sist rammer de sårbare gruppene. I forskningsartikkelen 'Delayed Impact of Fair Machine Learning' simulerer forskere fra Berkeley et forsøk på å innføre Classification Parity i algoritmer som deler ut lån, ved å sikre at en like stor prosentandel av to befolkningsgrupper får tildelt lån. Her ender den mer rettferdige algoritmen opp med å skade minoritetsgruppen ved på sikt å skape flere innbyggere som ikke kan betale tilbake lånene sine.

Videre kan man prøve å sikre rettferdighet med Calibration, som går ut på å sikre at en score betyr det samme, uavhengig av rase eller kjønn. I tilfellet med algoritmen til banklån vil det altså innebære at en score på 5 av 10 vil ha samme konsekvens for en mann som for en kvinne og så videre. Også her ser Stanford-forskerne problemer:

«While important, calibration is insufficient to ensure that risk scores are accurate or that decisions are equitable.»

Selskapet bak COMPAS-algoritmen – Northpointe – argumenterer dermed for at algoritmen er rettferdig, siden scoren er kalibrert på tvers av grupper. Altså at en score på 8 betyr det samme for en person uansett rase. Ikke desto mindre kunne mediet ProPublica i 2016 avsløre at modellen hadde en vesentlig høyere rate av falske positive for svarte enn for hvite.

Og her ligger problemet, understreker Manojit Nandi: De forskjellige ideene om «fairness» er ikke kompatible.

«Du kan optimere etter en av disse, og feile forferdelig på de andre. Det er dette vi lærer nå,» forklarer han.

Standarder skal øke rettferdighet i algoritmer

Likevel finnes det en del ting man kan gjøre for å angripe fairness-problematikken. Et av prosjektene som Nandi framhever, kalles Datasheets for data sets, og det går ut på å dokumentere spørsmål om datasettet ditt som for eksempel hvordan dataene ble samlet inn, hvorfor de ble samlet inn, og hvem som betalte for det.

Ideen er å skape en standard for hvordan man beskriver et datasett, på samme måte som slikt kreves i sikkerhetsstandarder i andre bransjer.

«Ultimately, we see efforts aimed at more detailed annotation of datasets as a key step in strengthening the fairness, accountability, and transparency of machine learning systems,» skriver forskerne.

Nettopp treningsdata er ofte en sentral del av problemet, heter det fra Manojit Nandi

«Hvis du har elendige ingredienser, vil du lage et elendig måltid, uansett hvor god kokk du er. Hvis du har elendige treningsdata, vil du lage elendige algoritmer, uansett hvor god data scientist du er.»

Artikkelen har tidligere vært publisert på Datatech. Datatech tilhører Teknologiens Mediehus.