Ble kalt «kjerneeksempel» på KI – skrotes likevel

Det har blitt kalt et av kjerneeksemplene på hva vi skal bruke kunstig intelligens (KI) til.

En algoritme som, ved å lytte til nødanrop, kan hjelpe operatørene med å identifisere hjertestans og redde flere liv.

Og den er dansk.

Historien om den danske «KI-en som redder liv» har fått internasjonal oppmerksomhet og har blitt omtalt av blant andre BBC, Bloomberg, The Verge og World Economic Forum. Modellen vant digitaliseringsprisen fra Dansk IT i 2020.

Men nå kan teknologinettstedet Ingeniøren avsløre at algoritmens evner og utbredelse ikke har stått i stil med det som er blitt fortalt i internasjonale medier.

Ustabil og overdiagnostiserende

Prosjektet med hjertestans-algoritmen ble etablert som et offentlig-privat samarbeid mellom KI-selskapet Corti og Region Hovedstaden for snart ti år siden. Begeistringen for mulighetene med kunstig intelligens var stor.

– KI er bedre til å oppdage hjertestans enn helsepersonell med mange års erfaring, sa Region Hovedstadens daværende direktør Freddy Lippert i 2020, og la til:

– Det har betydning, fordi den fanger opp langt flere tilfeller, slik at flere får hjelp.

Men i dag tar nåværende direktør for Region Hovedstadens akuttberedskap, Thomas Reimann, avstand fra prosjektet. Han forteller at hjertestans-algoritmen ble tatt ut av drift mot slutten av 2023 fordi systemet var «ustabilt» og ga «mange falske positive».

– Noen ganger er plattformen ikke aktiv i det hele tatt, og operatørene kan ikke se det. Her er det viktig å forstå at når vi snakker om nødanrop, må systemene være 100 prosent stabile, sier Reimann og understreker at stabilitet er en forutsetning for at alarmoperatørene skal kunne gjøre jobben sin.

For mange falske positiver

Også i Region Nordjylland har man valgt å avslutte prosjektet det siste halve året:

– Vi har ikke lenger et samarbeid med Corti. Vi brukte deres KI-løsning i en periode, men valgte å avslutte fordi den ikke bidro tilfredsstillende i det daglige arbeidet. Tanken var at løsningen skulle assistere ved mulig hjertestans, men det fungerte aldri godt nok – det var for mange falske positiver, sier Jan Lindberg, sjef for vaktcentralen i Region Nordjylland.

Han forklarer at medarbeiderne mistet tilliten til systemet fordi det ofte reagerte på åpenbare ting, for eksempel når ordet hjertestans ble nevnt i samtalen.

– Det ble aldri et reelt hjelpemiddel, men heller et forstyrrende element i hverdagen, sier Lindberg.

Dermed er hjertestans-algoritmen nå tatt ut av bruk i alle danske regioner og skrinlagt av Corti. Det opplyser teknisk direktør og medgründer Lars Maaløe i en skriftlig uttalelse:

– I erkjennelsen av at vår største verdi ligger i å utvikle robust KI-teknologi – ikke i å lede klinisk implementering – valgte vi å fase ut hjertestans-algoritmen som en sluttbrukerapplikasjon i drift hos nødnummersentralen ved utgangen av 2023.

Fire av fem var falske positive

Historien om at Cortis algoritme kunne oppdage minst 10 prosent flere hjertestanser enn helsepersonell, ble flittig brukt i markedsføringen av prosjektet.

Men virkeligheten viste seg å være en annen da alarmsentralen i Region Hovedstaden tok systemet i bruk i 2022.

Omtrent 80 prosent av 113-anropene som modellen flagget som hjertestans, viste seg ikke å være det, forklarer Reimann, som omtaler systemet som «ustabilt»:

– Problemet er at med en falsk positiv-rate på fire av fem blir det vanskelig for våre medisinske operatører å navigere. Så vi tok det ut av drift ganske raskt.

På spørsmål om algoritmen har reddet liv, svarer Region Hovedstadens akuttberedskap skriftlig at «Vi mener ikke å kunne gjenkjenne at algoritmen i seg selv har reddet liv».

– Uutholdelig høy

Også i Region Nordjylland ble algoritmen tatt ut av drift på grunn av høy andel falske positiver.

Ingeniøren har forelagt saken for flere forskere innen kunstig intelligens, som godt kan se regionenes opplevelse av at algoritmen flagget for mange anrop som hjertestans.

Basert på forskningsartiklene bak algoritmen vurderer Leon Derczynski, som er førsteamanuensis i datavitenskap og maskinlæring ved IT-Universitetet i København, at andelen falske positiver er «uutholdelig høy».

Også Thomas Ploug, professor i data- og KI-etikk ved Aalborg Universitet, mener at algoritmen gir for mange falske positiver:

– Det er ikke gode tall. Når metrikken ser slik ut, kan man ikke gjøre noe meningsfullt med det.

Ploug er heller ikke overrasket over at kommunikasjonen rundt algoritmens kapasitet har oversteget de faktiske resultatene.

– Modellen kom i en tid der man trengte suksesshistorier. Man hadde hørt om potensialet ved KI, og nå ville man se det i praksis. Og denne historien kunne knapt vært mer konkret og relevant. Fortellingen er jo at man redder mennesker i nød.

Corti: Det var forskning

De to medgrunnleggerne Lars Maaløe og Andreas Cleve har ikke ønsket å stille til intervju, men en pressekontakt i Corti har sendt et kort, skriftlig sitat fra teknisk direktør Lars Maaløe.

Han forklarer at det var snakk om et forskningsprosjekt.

– Corti har forsket på KI i helsesektoren siden 2016. Modellen vår for deteksjon av hjertestans var et tidlig FoU-initiativ som bidro til fagfellevurderte studier og pilotprosjekter på et den gang uutprøvd område. Modellen ble gjort tilgjengelig som en forskningsbasert tjeneste for Region Hovedstaden og Region Nordjylland og var i bruk frem til utgangen av 2023, skriver Maaløe.

Artikkelen ble først publisert på Ingeniøren for deres abonnenter. Den er tilgjengelig for Digis abonnenter gjennom vår samarbeidsavtale.