Hevder å ha åpnet den svarte AI-boksen: IBM med åpen løsning som forklarer hvordan kunstig intelligens tar beslutninger

TØYEN, OSLO (digi.no): Etter hvert som kunstig intelligens (AI) har gjort sitt inntog på stadig flere områder, har mange uttrykt bekymring for «fordomsfull» AI som tar beslutninger som diskriminerer mennesker. Årsaken er at maskinlæringsmodeller potensielt kan trenes opp med data fra mennesker med fordommer, og dermed vil AI-en «arve» de samme fordommene.

Ett av de store diskusjonstemaene blant selskaper som jobber med AI har i det siste vært hvordan man kan sørge for at menneskelige fordommer ikke «smitter over» på AI-baserte systemer og algoritmer. Ett problem har vært at maskinlæringsalgoritmer er som en «svart boks» som etter å ha blitt trent med store mengder data til slutt returnerer et resultat – uten at det er mulig å få innsikt i hvordan AI-en har kommet frem til resultatet.

Nå hevder IBM å ha «åpnet den svarte AI-boksen», og lanserer en ny løsning kalt AI Openscale. Løsningen kan analysere beslutninger som kommer ut av en AI, og forklare hvordan beslutningene er gjort. Som kjent satser IBM mye på sin egen AI-løsning, Watson, men den nylanserte AI Openscale-løsningen kan brukes også med AI fra konkurrenter – for eksempel Googles Tensorflow, SparkML, AzureML eller Amazons AI-løsninger (AWS Sagemaker).

I tillegg til AI Openscale har IBM også lansert en rekke ulike verktøy som åpen kildekode, verktøy som skal hjelpe utviklere med å lage løsninger som gir bedre innsikt i hvordan kunstig intelligens kommer frem til ulike beslutninger, samt forhindre at AI ender opp med fordommer. Åpen kildekode-verktøyene er basert på samme teknologi som AI Openscale.

– Vi tror dette vil bidra til at AI på sikt kan bli bedre til å ta objektive beslutninger, sier Loek Vredenberg, teknologisjef (CTO) i IBM Norge til digi.no.

Overvåker maskinlærings­algoritmene

Vredenberg forteller at både innenfor helse, forsikring og andre felter der man ønsker å ta i bruk AI, så er det et sterkt ønske om å få bedre innsyn i hvordan beslutningene blir tatt. For eksempel kan det være et forsikringsselskap som bruker kunstig intelligens til å avgjøre om en person skal få forsikring eller ikke, eller det kan være en lege som får råd fra en kunstig intelligens om hva slags behandling en pasient bør få.

Mye av dette er basert på tekstanalyse, og leger og andre brukere av IBM Watson har ifølge Vredenberg etterspurt mer innsikt i hvordan Watson har kommet frem til beslutningene.

– Vi skjønte fort at vi måtte gi innsyn til legene som til syvende og sist tar beslutningen, slik at de kan drille seg ned helt til enkeltstående dokumenter. Følger jeg resonnementet til algoritmen, eller ikke?

De nye verktøyene skal ifølge IBM gjøre det mulig med automatisk «bevisførsel» og transparens for alle typer AI-løsninger, i tillegg til den bevisførselen som allerede ligger i IBM Watson Health-løsningene.

Med Openscale AI er maskinlæringsalgoritmene fortsatt en svart boks, men man har en overvåkingsmekanisme som sitter på utsiden og overvåker og analyserer alt AI-en gjør.

– Den analyserer beslutningene som tas av algoritmene underveis, monitorerer og loggfører resultatene. Så kan man over tid bygge opp en oversikt over hva AI-en har kommet frem til, og se om det for eksempel er den samme beslutningen som tas uavhengig av for eksempel rase eller alder.

Via et dashboard kan man se for eksempel statistikk over hvilke beslutninger den kunstige intelligensen har gjort. Hos et forsikringsselskap kan dette for eksempel være at resultatene viser at mennesker i en bestemt aldersgruppe oftere får avslag på en bestemt forsikring.

– Det kan hende det er for lite data, og at AI-en dermed ikke er blitt trent opp til å gi en ordentlig vurdering og dermed gir automatisk avslag. Eller det kan være andre grunner.

Løsningen kan så gi anbefalinger – for eksempel om å øke datagrunnlaget slik at AI-en kan trenes opp til å ta bedre beslutninger.

– Men i tillegg til datagrunnlaget kan den også vurdere selve algoritmene, og gi anbefalinger om man bør se på algoritmer som ikke fungerer optimalt.

Tilbakemeldingene skal være slik at de er forståelige også for de som ikke er utviklere.

Les også: Mener medieomtalen av «Watson-tabbe» innen kreftbehandling var misvisende

Verktøykasse lansert som åpen kildekode

Mens AI Openscale er en løsning som skal kunne tas i bruk av sluttbrukere «ut av boksen» – altså en ferdig løsning, har IBM også som nevnt gitt ut et sett med verktøy som åpen kildekode. Disse er rettet mot utviklere, forskere og andre som vil ta dem i bruk i sine løsninger.

– Vi har ønsket å tilgjengeliggjøre noen av algoritmene som et open source-prosjekt som kalles AI Fairness 360 Open Source Toolkit (AIF360), forklarer Vredenberg.

– Det er i utgangspunktet ni algoritmer, og det kommer flere fra IBM Research, men vi åpner også for et samarbeid med akademia og andre selskaper så de kan legge ut sine algoritmer. Vi ønsker å ta ansvar som selskap og lede an og få med resten av bransjen på å tenke etikk.

Algoritmene i AIF360 er laget for programmeringsspråket Python, og ligger ute på Github med eksempelkode og dokumentasjon. På AIF360-sidene ligger det også noen eksempler på bruksområder, som for eksempel når an bruker ansiktsgjenkjenning for å avgjøre kjønn, eller for å avsløre aldersdiskriminering ved bruk av AI til kredittvurdering.

– Det er bevisst at vi har gjort dette nøytralt. Dette er til samfunnets beste, og vi gir det til open source-miljøet. Det skal være et samarbeid hvor alle skal spille hverandre gode. Vi forstår at skal vi lykkes med Watson, så må vi også tillate at andre lykkes med sine AI-teknologier også, sier Vredenberg.

Konkurrenter samarbeider om AI

Vredenberg forteller videre at IBM har etablert et sett med etiske prinsipper rundt AI. Dette er noe også andre selskaper, som Google og Microsoft, har kommet med. Blant annet lanserte Google i sommer et sett med prinsippielle retningslinjer for selskapets bruk av kunstig intelligens, og da vi besøkte Microsoft i februar fikk vi høre om en intern gruppe i selskapet som jobber med å se på de sosiale konsekvensene av AI.

Gruppen hos Microsoft – som kalles FATE – «Fairness, Accountability, Transparency, and Ethics in AI» – har som mål å utvikle etiske AI-løsninger. Gruppen skal også se på hvordan man kan lage AI-løsninger som kan dokumentere beslutningene, slik IBM nå har gjort. I et intervju med MIT Technology Review i mai i år fortalte Microsoft om planene for å lage en løsning som skal avdekke fordommer i AI, en løsning som på papiret høres ut som noe av det samme som det IBM nå har lansert.

Tidligere har IBM, Apple, Microsoft, Amazon, Google og Facebook gått sammen for å samarbeide rundt kunstig intelligens, i det som kalles Partnership on AI. Nå har mer enn 70 selskaper fra hele verden blitt med i gruppen.

Les også: Microsoft lanserer nye produkter med kunstig intelligens «ut av boksen»