Professor: Den svarte boksen er allerede åpen – kausalitet er det neste forklaringsproblemet for AI

Det er mye snakk om svarte bokser innen maskinlæring og kunstig intelligens. Men det problemet er faktisk løst i dag.

Det neste problemet i forhold til å skape modeller hvor resultater bak dommer kan forklares tilbake til mennesker, er å få kausalitet – altså sammenhengene mellom årsak og virkning – med i modellen. Men dette krever eksperimenter med mennesker, av samme type som de vi for eksempel bruker innen medisinsk forskning.

Dette forteller Lars Kai Hansen, som er professor ved Danmarks Tekniske Universitet (DTU) Compute og en av redaktørene bak en ny bok om problematikken; «Explainable AI: Interpreting, Explaining and Visualizing Deep Learning». De andre forfatterne av boken er blant annet deltakere fra en workshop om «explAInable AI» på konferansen NeurIPS. Dette dreier seg om yttergrensene av forskningen på området.

Lars Kai Hansen utdyper dette slik:

– De siste nyvinningene er ganske oppløftende. Mange problemer er løst. Feltet har vært i gang i mange år, og jeg har selv skrevet et bidrag til boka som påpeker at man har diskutert problematikken i årevis, blant annet innenfor det medisinske AI-feltet. Jeg har selv jobbet med bildeanalyse innen biomedisinsk forskning. Der har vi alltid vært tvunget til å levere «explainability», siden de legene som man jobber sammen med er ganske likegyldige overfor AI-modellene i seg selv. De er interesserte i hva modellen forteller om den medisinske problemstillingen.

Kausal-eksperimenter må utarbeides av mennesker

Men forskningen kan ikke per i dag automatisk designe eksperimenter som kan finne ut av hva som er årsak og virkning.

– Det vil fremdeles ta en del tid. Det er komplisert, for det innebærer at vi ser på helheten. Hvis det dreier seg om algoritmer om en pasient, er det «hele» pasienten som må tas med i betraktning. Dit har vi ikke kommet enda. Men de nevrale nettverkene kan være med på å stille opp hypoteser som andre kan foreta eksperimentene utfra.

Det er mange dimensjoner i spørsmålet om hvorfor en «black box» er et problem. AI benyttes innen mange vitenskapsgrener. Det som gjelder generelt for bruk av AI innen naturvitenskapelig forskning og medisin, er at det er veldig viktig at man kan forklare hva modellene gjør, framfor at de har en bestemt nøyaktighet eller oppfyller en målestokk.

– Det handler det hele tatt slik sett om å åpne den svarte boksen, og slik har det vært i mange år. Men hvis vi ser på forretningsapplikasjoner, utgjør AI en enorm forskjell når det gjelder for eksempel reklamebransjen – Google og Facebook.

GDPR krever årsaker bak AI-beslutningsstøtte

I Europa har vi GDPR-forordningen som legger vekt på at man så å si må åpne de algoritmene som benyttes.

– Hvis den suksessen som man har i reklamebransjen flytter over i offentlig forvaltning, finans med videre, skal de ansvarlige kunne forklare hvorfor de tar en bestemt beslutning – det forlanger GDPR. For tiden er det en diskusjon om nøyaktig hva dette innebærer. GDPR er løselig formulert, og sier at man skal kunne forstå og forklare logikken bak beslutningen.

Den juridiske diskusjonen om nøyaktig hva dette betyr, kan forklares med to overordnede synspunkter, mener Lars Kai Hansen:

– Den ene muligheten går på at du skal kunne forklare mekanismen i algoritmen i overordnede trekk. Den andre muligheten for å tolke GDPR er mer vanskelig, men mer verdifull for brukeren.

Det handler om at man får å vite hva som i den konkrete situasjonen avgjorde at lånesøknaden til noen ble avvist, eller hva man nå har blitt utsatt for.

– Dette er mer komplisert, og det ikke enighet om hvorvidt det er dette som er hensikten med GDPR. Men det er klart at det vil være mer tilfredsstillende for oss som forbrukere. Dette krever – i tillegg til mekanismen – også at man forstår årsakssammenhengen. Det er mye mer komplisert enn å forstå hvordan man klassifiserer objekter som «gode» eller «dårlige». Vi har løst det første problemet – hvordan virker algoritmen – hvilke variabler er det som spiller en rolle. Men hvilke av dem som er årsak og virkning? Det er en mye mer komplisert sak.

Randomiserte forsøk avslører årsak og virkning

I forbindelse med for eksempel dyp læring (deep learning), er det i dag mulig å si hvilke vektinger eller variabler som ligger bak en modells beslutning i et konkret tilfelle.

– Det problemet er løst. Vi kan saktens forklare hvilke variabler som brukes. Hvis det er et bilde, dreier det seg om de enkelte pikslene, og hvis det er det lydsignal, så vil det være de enkelte lydmålingene. Vi kan saktens forklare hvordan de inngår i beslutningen; spesielt hvis det skal være i overordnede trekk. For bilder kan man skrive ut de objektene i bildet som spiller en rolle i klassifikasjonen.

Men derfra er det et stykke igjen før man kan si at hvis et objekt fjernes på et bilde av et sykt kne, får man en ny beslutning fra algoritmen.

– Det kan man ikke vite på forhånd. Det er på grunn av årsak- og virkningssammenhengen. Dette dreier mye av forskningen seg om for øyeblikket: å gå fra klassisk maskinlæring til kausal ML, hvor man får med årsak og virkning. Dette krever at man kan foreta «intervensjon».

Det innebærer at man, som innen medisin, foretar et randomisert kontrollert forsøk. I reklamebransjen er det standard prosedyre å benytte denne framgangsmåten, forteller Lars Kai Hansen.

– Når vi bruker Google og sosiale medier, er vi med på eksperimenter som kjører på kryss og tvers.

Etiske regler veileder

Men det er vel vanskeligere å gjennomføre disse eksperimentene innenfor medisinsk forskning eller offentlig forvaltning enn i reklamebransjen, hvor man kan spore brukere på internett?

– Det blir vi nødt til. Det er slik man finner ut av årsak- og virkningssammenhenger. Hvis det handler om medisin eller offentlig forvaltning, er det mange etiske regler for hvordan dette skal utføres. Det vil vanligvis være slik at du går ned på jobbsenteret og blir spurt om du vil delta på et eksperiment. Vi vet fra den medisinske verdenen at de fleste veldig gjerne vil være med på eksperimenter, hvis det er vanlige vitenskapsfolk og utviklingsprosjekter, og hvis deltakerne har tillit til at dataene deres ikke brukes til noe annet enn det som man opplyser om.

Hvis man utfra et bilde skal forklare hvorfor et kne skal opereres, analyserer man bildet i sammenheng med tidligere bilder. På dette nivået er det ikke en kausal sammenheng, men bare en sammenligning med tidligere saker. Det forklarer ikke hvorfor det må opereres. Hvis man skal forklare, må man foreta forsøk.

– Innen medisin er man ikke tilfreds med bare å konstatere at du ligner fru Olsen, og dermed får du samme behandling som henne. Man vil gjerne forstå hvorfor det er slik at de ligner hverandre. Det krever et eksperiment, og er en naturlig videreutvikling av klassisk maskinlæring. I reklamebransjen har dette som nevnt blitt benyttet i mange år.

Her i Danmark har høreapparatprodusenten Widex allerede begynt å foreta A/B-tester med individuelle brukere. Til høreapparatet «Evoke» finnes det en app hvor brukeren foretar sitt eget lille eksperiment. Det er en veldig stor fordel for bedriften at man forstår kundenes bruk av apparatet, og at kundene selv kan optimere det i stedet for å måtte dra til en hørselsklinikk hver gang apparatet må justeres.

Saken ble først publisert på danske Datatech, og gjøres tilgjengelig på norsk for abonnenter av Digi Ekstra gjennom vår samarbeidsavtale med Teknologiens mediehus/Ingeniøren.