Vellykket test av KI-arkivering: Treffer på 96 prosent

− Skatteetaten har gjennomført en før-kommersiell anskaffelse som viser at generativ KI kan klassifisere journalpliktige dokumenter med opptil 96 prosent treffsikkerhet, skriver Skatteetaten i en pressemelding.

Før sommeren ga etaten tre leverandører en kvart million hver. KPMG, Sikri og Best of breed fikk oppgaven: Lag en prototyp som viser hvordan KI og maskinlæring kan hjelpe til med arkivering.

KPMG vant konkurransen. Prototypen er et eksempel på den typen KI-arkitektur selskapet tror kommer til å dominere samtalen om generativ KI neste år:

− Mens vi snakket masse om Chat GPT i 2023, og mye om Copilot i 2024, tror jeg 2025 kommer til å bli året vi snakker om smarte assistenter og AI-agenter, sier Tom Einar Nyberg, leder for AI og fremvoksende teknologi i KPMG.

Ser det er interesse

Hver eneste henvendelse eller sak offentlige ansatte får over pulten, må vurderes for arkivering. Oppgaven binder opp ressurser og krever ofte skjønnsmessige vurderinger. Risikoen for at dokumenter som burde blitt tatt vare på blir borte er stor, ikke minst med nye digitale kanaler.

Derfor gikk Skatteetaten ut i markedet i en førkommersiell anskaffelse. Det er første gang etaten prøver seg på anskaffelsesformen. Prototypene skulle være i stand til å analysere dokumenter og vurdere dem opp mot gjeldende regelverk, presentere et forslag til en beslutning til den ansatte, som så skal kunne bekrefte eller avkrefte vurderingen.

Det har selskapene lyktes med. KPMGs løsning gjør det bedre enn et uskolert menneske, melder Skatteetaten.

Testen kan vise seg verdifull, både for Skatteetaten og selskapene.

− Prototypen er laget for Skatteetaten, men den har selvfølgelig potensial for andre. Vi har allerede startet noen tidlige samtaler, sier Nyberg.

Selskapet ser at det er interesse for KI som integrert del av saksbehandling.

Selv om det gjenstår mer utvikling før de har et ferdig produkt de kan selge, har KPMG som mange andre i bransjen stor tro på tilnærmingen.

KI-agenter

Til nå har den vanligste måten å bruke språkmodeller på vært å sende dem et spørsmål, eller en prompt, for så å få et svar. Ut-av-boksen har modellene likevel lite kunnskap om kontekst og fag, og de kan være uforutsigbare.

Å sette KI-assistenter eller KI-agenter mellom brukeren og språkmodellen endrer bildet.

En KI-agent kan ta en kompleks oppgave, bryte den ned og planlegge videre arbeid. Den bruker gjerne en eller flere store språkmodeller, i kombinasjon med andre verktøy.

− Erfaringen vår er at man kan komme lengre med agentbasert tilnærming, nettopp fordi man kan planlegge og dele opp oppgaver på andre måter, sier Nyberg.

En KI-agent kan ha tilgang til nettsøk, fagsystemer, databaser og API-er og mye mer. Den kan være satt sammen av mindre, spesialiserte modeller, for eksempel for klassifisering og for kontrollering av en output opp mot et regelsett, og større modeller som Claude eller Open AIs LLM-er.

Kan systematisere metadata

I prosjektet hos Skatteetaten har KPMG brukt verktøyene i Azures økosystem for å bygge prototypen.

− I testperioden var det naturlig å begynne med å se på Open AI sine modeller gjennom Azure, men vi har også testet agenten opp mot Claude og Google-baserte modeller, sier Nyberg og fortsetter:

− I praksis har vi lært modellen hvordan regelverket funker for arkivering og journalføring. I tillegg måtte den forholde seg til retningslinjer fra Skatteetaten, og blitt kjørt gjennom en rekke «testcaser» som en del av prosessen.

Løsningen er ikke bare i stand til å klassifisere om et dokument, bilde eller datasett er arkivverdig eller ikke, den kan også hente ut og systematisere metadata.

− Mye av digitaliseringen vi har gjort de siste tiårene har handlet om å ta prosessene omtrent slik et menneske ville gjort den, og så gjøre det digitalt. Men skal vi virkelig få ut potensialet fra AI sette dataene i førersetet, redesigne prosessene på en annen måte, og koble opp løsningene mot systemene vi allerede har, sier Nyberg.

Den store fordelen er at arkitekturen nettopp gjør det mulig å koble språkmodellene med fagsystemer. Agenten kan ta beslutninger og trigge nye prosesser eller utføre oppgavene selv, og kvalitetssikre resultatet.

Da er det dataflyten som er grunnleggende, sammen med gode integrasjoner og fleksible løsninger, mener han.

− Ikke begynn å koble intelligens på toppen før du har et godt fundament, sier Nyberg.

Du må ha kunnskapen selv

De store språkmodellene er nemlig ikke så smarte som mange virker å tro, mener Nyberg.

− Det er ikke alltid en generisk modell kan løse problemet ditt. Dette er et fagfelt som utvikler seg hver måned, men det hjelper ikke å bare se på hvor godt de store språkmodellene scorer på testene og scoreboard, sier han.

For selv om de generiske modellene tilsynelatende kan ting, er de strengt tatt utviklet for å gjette neste ord, ut fra det den er trent på. For å løse mer spissede oppgaver trenger den mer kontekst, kunnskap, rammer og retningslinjer.

Du må aldri forvente at den kan noe om ditt felt, advarer Nyberg:

− Du må ta med din egen kunnskap og virkelig forstå ditt eget fagområde sammen med teknologien. Du må ha kontroll og sporbarhet, kunne detektere bias og feil. Skal du få verdi av KI må du kunne forklare resultatene