KI-prosjekter stopper på grunn av compliance – slik har én kommune knekt koden

Danskenes svar på NAV, Jobcenteret, er på mange måter et naturlig sted å bruke kunstig intelligens: Et komplekst byråkrati som ikke leverer nok verdi til verken innbyggere eller det offentlige.

Danske kommuner har da også forsøkt å løse «arbeidskoden» med KI – mange ganger. Tidligere har fokuset ofte vært på risikovurderende KI-systemer rettet mot borgerne – løsninger som ofte har vist seg både ulovlige og ineffektive. Nå begynner fokuset i stedet å flytte seg mot KI-baserte verktøy som avlaster de ansatte administrativt.

Det ser ut til å virke.

Det er tilfellet i Roskilde kommune, hvor det lokale Jobcenter-kontoret har deltatt i et offentlig-privat KI-prosjekt som har endt som en uvanlig stor suksess. Her har man vært med på å utvikle systemet RoboRef, som fokuserer på et administrativt område med mindre compliance-krav – og som heller ikke krever millioner av godt strukturerte kvalitetsdata eller eksperimenter for å forutsi borgernes fremtid.

I stedet er RoboRef et generativt KI-verktøy som ganske enkelt hjelper veilederne med å skrive møtereferater fra samtaler med arbeidssøkere.

Ifølge Rune Stæhr, kommunens seniorrådgiver for robot- og automatiseringsteknologi, sparer det de ansatte for omtrent 15 minutters administrativt arbeid per møte – tilsvarende rundt 5 000 timer i året.

– Er RoboRef et verktøy som gjør at kommunen kan spare inn på bemanningen?

– Nei! De ansatte løper allerede alt de kan, sier Rune Stæhr, og ler nesten av antydningen om at Jobcenter-kontoret kan klare seg med færre ansatte:

– Dette sparer de ansatte for administrativt arbeid, slik at de i stedet kan gi bedre service til innbyggerne og gå dypere inn i de utfordringene borgerne faktisk står i. Det skaper faktisk også økt trivsel, sier han, med henvisning til både borgernes og – spesielt – de ansattes trivsel.

Blikket opp fra skjermen

Flere danske kommuner har vært med på å utvikle RoboRef sammen med den private leverandøren Droids Agency. Systemet tar opp samtalen mellom veilederen og den ledige borgeren.

Ved hjelp av OpenAIs talegjenkjenning og en GPT-modell transkriberes samtalen og settes sammen til et utkast til referat. GPT-modellen er trent til å vektlegge de elementene veilederne vanligvis fokuserer på:

– Men det er kun et utkast. Det må bearbeides av en veileder før det kan betraktes som et faktisk referat eller sosialfaglig notat, understreker Stæhr. Han utdyper:

– Det gir også faglig mening: I stedet for å sitte med hodet nede i skjermen under hele møtet for å ta notater, kan de konsentrere seg om samtalen og borgeren.

Parallell løype

Spør du Rune Stæhr, skyldes RoboRefs suksess særlig én ting: At de offentlige partene i prosjektet samarbeidet tett om compliance-arbeidet helt fra start.

– Compliance er fortsatt den største utfordringen i KI-utvikling, skyter Klaus Bjørn Larsen inn. Han er spesialkonsulent i Roskilde og kollega av Rune Stæhr.

– Derfor var det noe av det aller første vi tok tak i. Vi laget et proof of concept (PoC) for å sjekke om teknologien faktisk kunne det vi ønsket. Samtidig satte vi i gang et parallelt spor for å starte det innledende compliance-arbeidet. På den måten oppsto det en vekselvirkning mellom utvikling og compliance. Erfaringer og risikovurderinger fra PoC- og testfasen kunne tas med i risiko- og konsekvensanalysen – og motsatt.

Larsen forklarer at kommunene, i tillegg til det parallelle utviklingsløpet, gikk sammen om å analysere risiko, konsekvenser og lovverk:

– Utviklingssamarbeidet ble etablert med en håndfull andre kommuner. Med utgangspunkt i Datatilsynets standarder, laget vi sammen et grunnutkast til risikoanalyse og konsekvensvurdering, som så kunne tilpasses den enkelte kommune, forklarer han. På den måten har kommunene løftet mesteparten av byrden i fellesskap, noe som har ført til et grundigere compliance-arbeid – og mer enhetlige vurderinger på tvers av kommunene som bruker RoboRef i dag.

Bias

I forbindelse med compliance-arbeidet ble det klart at den største umiddelbare risikoen med RoboRef var at referatene rett og slett ble for gode:

– GPT-modellene kan være veldig overbevisende, og det kan være et problem i seg selv, forklarer Rune Stæhr. Han utdyper at kommunen – i tillegg til å gi opplæring til veilederne før de får bruke verktøyet – bevisst har valgt en mindre kraftig GPT-modell som ikke leverer de mest polerte utkastene:

– Vi ønsker ikke at utkastene skal være «perfekte». Det skal være effektivt, men ikke for effektivt. Slik det er nå, må de ansatte alltid rette noe, sier han.

Risikoen for det som kalles automatiseringsbias er likevel til stede – altså menneskers tendens til å stole for mye på teknologiske anbefalinger og resultater.

– Gjør dere nok for å motvirke risikoen for at en ansatt på en dårlig dag bare trykker «godkjenn» for å bli ferdig?

– Vi har bevisst lagt inn hindringer i systemet som gjør det vanskelig å bare godkjenne et referatutkast. Vi vurderer også flere tekniske tiltak. For eksempel en pop-up som sier: «Dette er et utkast og ikke et ferdig resultat». Vi har også vurdert om det bør gå et visst antall sekunder eller minutter før veilederen kan godkjenne og gå videre, sier Rune Stæhr. Han understreker at de kontinuerlig diskuterer slike tiltak.

RoboRef skal være rullet ut til alle ansatte i arbeids- og velferdssektoren i Roskilde kommune innen utgangen av året. Deretter planlegger kommunen å se på barne- og ungdomsområdet som neste steg.

Artikkelen ble først publisert på Ingeniøren for deres abonnenter. Den er tilgjengelig på norsk for abonnenter av Ekstra gjennom vår samarbeidsavtale.