Lege og KI-ekspert: – Jeg er redd for KI med diskriminerende utfall

– Det er mange dommedagsprofetier om at vi mister jobbene og får en dystopisk fremtid. Men jeg vil få frem alt vi kan løse med KI-teknologien, og det er ikke småtteri, sier Ishita Barua (35) opprømt og lener seg fremover i sofaen.

– KI kan allerede identifisere kreft, påvise beinbrudd, oppdage nye typer antibiotika og har vist at den noen ganger kommuniserer bedre med og viser mer empati for pasienter enn leger. KI kan være optimaliseringsverktøy for helsepersonell. Det er viktig å få frem i all støyen om KI.

Doktorgrad i KI

Digi møter 35-åringen på IT- og softwareutviklings-«huben» «Rebel» i Oslo, der hun er medgründer og medisinsk ansvarlig i startupen Livv Health. Hun er utdannet lege, har doktorgrad om kunstig intelligens (KI) innen medisin og har vært gjesteforsker ved Harvard Medical School. Hun er kåret til en av Norges 50 fremste tek-kvinner og kom nylig med boka «Kunstig intelligens redder liv – AI er legenes nye superkrefter».

– Jeg vil gi fremtidsoptimistisme, men med en god dose kritisk refleksjon, sier KI-eksperten.

Barua fattet interesse for kunstig intelligens da hun følte på en rekke krav i jobbhverdagen som sykehuslege. Hun skulle møte pasienter på en god måte, gi medisinsk ansvarlig helsehjelp, lage gode rapporter og jobbe til alle døgnets tider – alt i kamp mot klokka. Hun følte at hun rett og slett ikke strakk til og ønsket å finne støttende verktøy.

– Det er en fallitterklæring at det er så mange tungrodde prosesser i helsevesenet. Vi må få bort tidstyver som å taste, dokumentere eller skrive arbeidslister. Slike lavthengende frukter for kunstig intelligens bør ikke helsepersonell gjøre, sier hun og trekker frem eksempelet at EKG fortsatt sendes med faks.

– Vi har for mange administrative hindringer som skaper flaskehalser. Hvis KI blir implementert til enklere ting, blir helse- og omsorgsyrkene mer levelige og kanskje flere ville stått lenger i jobben sin, mener hun.

Fallgruver

Å finne frem i journaler, skrive rapporter og turnuslister, er blant de enklere tingene hun mener KI kan gjøre i helsevesenet. På lengre sikt håper hun ny teknologi kan bidra til livsviktig hjelp. Barua ser likevel flere fallgruver dersom KI overtar flere oppgaver i helsevesenet.

– Jeg er litt redd for at vi blir faglig sett latere jo mer utbredt KI-verktøy blir. Kanskje ikke like mange fordyper seg og blir skikkelige fageksperter, fordi de overlater flere medisinske vurderinger til KI og dermed ikke utvikler nok medisinsk erfaring, filosoferer hun.

– I utdannelsen trener vi leger på å håndtere feil. Hvordan skal leger lære å gjøre selvstendige og kritiske vurderinger hvis KI stadig får lavere feilprosent enn legene? Det blir fort til at legene stoler for mye på KI-verktøyene og ikke klarer å knipe de tilfellene hvor KI-verktøyet tar feil. Vi må derfor ha minst like god grunnutdanning i fremtiden, samtidig som at legene lærer seg å bruke nye verktøy og forstår hva som kan bli potensielle fallgruver.

Diskriminering

Digi har flere ganger skrevet om viktigheten av mangfold blant medarbeidere i tek-bransjen for å sikre gode KI-løsninger for alle. Barua som tidligere også har vært «Lead AI» innen «Healthcare» i Deloitte, mener dette er ekstra viktig for kunstig intelligens som skal benyttes i helsevesenet.

– De fleste former for KI er trent på majoritetsbefolkningen, og representasjonen og datagrunnlaget er ofte så dårlig at det ikke treffer minoritetene. Jeg er redd for KI med diskriminerende utfall, sier hun.

– Vi kan diskriminere, eller gjøre ting verre for noen, med en KI-løsning som er trent på majoritetsbefolkningen, men som likevel brukes på alle. Det er et problem om ingen tar ansvar eller er oppmerksomme på det, legger hun til.

Legen, som selv har foreldre fra Bangladesh, gir også eksempler på hvor galt det kan gå. Blant dem er at brystkreft kan se forskjellig ut avhengig av etnisk bakgrunn, og KI-verktøy som fungerer for en etnisitet, ikke nødvendigvis vil fungere like godt for en annen etnisk gruppe. EKG-målinger kan også være forskjellige for ulike etnisiteter, noe som kan påvirke hjertesviktdiagnostikk med KI-verktøy.

Ingen systematisk registrering

I Norge har vi heller ikke tradisjon for å systematisk registrere etnisk bakgrunn i pasientjournaler, noe som gir ekstra vansker i KI-arbeidet, mener Barua og viser til et regulatorisk sandkasseprosjekt ved Ahus, gjort i samarbeid med Datatilsynet og Likestillings- og diskrimineringsombudet.

– De har utviklet en KI-modell som kan forutsi hjertesvikt hos pasienter. De vet at den fungerer godt for majoritetsbefolkningen, men de vet ikke om den fungerer like godt på minoritetene, fordi manglende opplysninger om etnisitet gjør det vanskelig å teste KI-modellen på minoritetspasienter.

Likevel spår Barua at det kommer flere analyseverktøy med kunstig intelligens i helsevesenet.

– Det er sannsynligvis enklere å korrigere skjeve datasett enn å korrigere ubevisste fordommer hos mennesker. Det betyr at implementering av kunstig intelligens snarere kan gi oss mer transparens og mindre forskjellsbehandling på sikt, tror hun.

Kan rekruttere kvinner

Legen og KI-eksperten mener det er behov for et mangfold i teknologibransjen for å motvirke diskriminerende produkter. Hun tror også at inntoget av kunstig intelligens i helsevesenet kan få en positiv bieffekt: Å bidra til målet om å rekruttere flere kvinner til teknologibransjen.

– Det har lenge vært fokus på å få jentene til å velge realfag. Helseteknologi kan gi jenter et formål til å velge tek, i skjæringspunktet mellom teknologi og helse, fordi de ofte er interessert i helse. Det er mange nye valg og yrker som vokser frem, mener hun.

Barua mener det er kjempeviktig at kvinner bidrar inn i teknologiutviklingen av helseprodukter rettet mot kvinner. Hun er også optimistisk til at flere kvinner vil trekkes mot disse nye jobbene, nå som det finnes flere kvinnelige forbilder i bransjen.

– Det er mange fremtredende kvinner i teknologifeltet, alt fra KI-forsker Inga Strümke til Tine Austvoll Jensen i Google Norge og Kristine Dahl Steidel i Microsoft Norge. Det må være gøy for unge kvinner å se alle kvinnene som dominerer innen teknologi nå. Det var ikke sånn for bare noen få år siden.