KI-arkivering: − Vesentlig bedre enn dagens praksis

Selskapene med størst økonomiske muskler, som Microsoft og Google, leder an i KI-kappløpet. Men når teknologien skal gå fra hype til praktisk innføring, kan også små selskaper spille viktige roller.

Best of Breed har bare fire ansatte. Likevel er de ett av tre selskaper som deltok i prøveprosjektet for kunstig intelligens i arkivering i Skatteetaten.

− Alle de tre som var med i prosjektet overbeviste. Man kan bruke generativ KI til å gjøre arkiveringen, ikke perfekt, men med et vesentlig bedre resultat enn det som praktiseres i offentlig sektor i dag, konkluderer Stefan Sjøgren, daglig leder i Best of Breed.

Han mener bruken av Copilot og Chat GPT ironisk nok kan forsinke innføringen av de KI-løsningene som kan gi størst verdi for bedriftene. For det er i automasjon og ikke kontorstøtte de store verdiene ligger.

Tre prototyper

Hver eneste henvendelse eller sak offentlige ansatte får over pulten, må vurderes for arkivering. Oppgaven binder opp ressurser og krever ofte skjønnsmessige vurderinger. Risikoen for at dokumenter som burde blitt tatt vare på blir borte er stor, ikke minst med nye digitale kanaler.

Derfor ville Skatteetaten finne ut om nyvinninger innen kunstig intelligens, spesielt innen store språkmodeller, kunne hjelpe saksbehandlerne med å arkivere riktig.

Før sommeren fikk tre leverandører en kvart million hver. KPMG, Sikri og Best of breed fikk oppgaven: Lag en prototyp som viser hvordan KI og maskinlæring kan hjelpe til med arkivering. Syretesten: Hundre syntetiske dokumenter med svært varierende format og innhold skulle klassifiseres i henhold til arkiv- og journalføringsplikten.

− Vi fikk noen, ikke umulige, men veldig, veldig vanskelige scenarioer. Her har de vært kreative, sier Sjøgren.

De hundre test-dokumentene hadde stor variasjon i både format og innhold. Fra powerpointpresentasjoner om prosjekter og interne retningslinjer i pdf, til jpg-er med bilde av tekst, excel-filer med tusenvis av linjer og fotografier limt inn i word-dokumenter. Dokumentene var ikke laget for å være plankekjøring å kategorisere.

Sjøgren selv er overrasket over hvor mange av dokumentene løsningen klarte å kategorisere riktig.

Selskapet har spesialisert seg på automasjon i nettopp denne typen prosesser, og opplever stor interesse for løsningene. For det er i kombinasjonen av tradisjonelle NLP-er, som kan forstå og klassifisere tekst, automasjon for å trigge ulike prosesser og store spåkmodeller som bidrar til å løse de siste prosentene, man virkelig kan spare tid og penger.

Kan ha vært en distraksjon

De siste par årene har Copilot blitt innført som assistenter på mange norske kommuner.

− Min erfaring er at når en bedrift eller kommune tar i bruk Copilot, bruker de fleste den de første par dagene. Så faller bruken, sier Sjøgren.

En undersøkelse fra Upwork sommeren 2024, viste at til tross for at 96 prosent av topplederne følge seg sikre på at generativ KI skulle øke produktiviteten, svarte hele 77 prosent av de ansatte at de opplevde at de nye verktøyene gjorde dem mindre produktive, og la flere oppgaver til en allerede voksende arbeidsliste.

Ansatte som føler på det, slutter raskt å bruke løsningene. Dermed har mange IT-sjefer erfart at det er like greit å droppe de stadig dyrere lisensene. Likevel har nettopp Chat GPT og Copilot fått veldig mye oppmerksomhet. Det kan ha vært med på å forsinke innføring av den virkelig verdifulle bruken, frykter Sjøgren.

− Generativ KI får først stor verdi når du legger den i en plattform og bygger automasjoner, sier han.

Den siste puslespillbrikka

Den første utfordringen i arkiveringen er å forstå hva som er i dokumentet. Da er NLP-er nyttig. De kan ta seg av de mest forutsigbare sakene. Men ikke alle dokumenter inneholder ren tekst. I testdokumentene lå også fotografier, og scannede dokumenter. Blant de tøffeste i testen var word-dokumenter der det var limt inn foto av en pamflett.

Da må plattformen ty til bildegjenkjenning.

− Stempler er noe av det vanskeligste å kjenne igjen. Det ser ut som et bilde for KI-en, men er egentlig tekst. Den sammenligner med ting den er trent på fra tidligere. Har den få eksempler, er sannsynligheten større for at den hallusinerer, sier Sjøgren.

Når teksten først er forstått, kan automasjonsplattformen ta valg og sette i gang prosesser. Den kan videresende e-post, sette på metadata og legge et dokument i et arkiv.

Men når automasjonsplattformen møter på materiale den ikke har blitt trent til, kan en LLM-modul som Open AIs GPT-modeller være nyttig.

− Det GPT-en introduserer er en mulighet til å håndtere ukjent materie. Det gjør at vi kan klatre fra mellom 70 og 80 prosent automatisk håndtering til over 90 prosent, sier Sjøgren.

Selv om det ikke er perfekt, har det stor verdi, mener han.

100 prosent er ikke målet

− Det blir aldri 100 prosent, men det finnes heller ingen mennesker i verden som leverer 100 prosent perfekt. I den prosessen, er vi flere ganger bedre enn mennesker klarer få til i dag, sier Sjøgren.

Problemet er nemlig ikke først og fremst at de ansatte arkiverer dokumentene feil. Det er at de ikke arkiverer i det hele tatt. Å ansette flere for å jobbe dedikert med arkivering, ville fort blitt dyrt.

− Her snakker vi store fordeler både for kostnadseffektivisering og kvalitet. Man får tatt unna volumer som ikke blir prosessert manuelt i dag, sier Sjøgren.

Hvert eneste prosentpoeng man prøver å klatre på kvalitet etter 90 prosent, har en kostnad. Men målet er heller ikke 100 prosent.

− Det er stor forskjell på å gjøre dette tallet så høyt som mulig, og å gjøre løsningen så trygg som mulig. Det å finne balansegangen der, det blir viktig fremover, sier Sjøgren.

For at løsningen skal være praktisk mulig å ta i bruk, må automasjonsplattformen kunne sette en terskelverdi for hvor «sikker» KI-en skal være før den tar et eget valg, og hvor «usikker» den skal være før den legger et dokument til manuelle behandling.

− Det blir jo litt opp til kunden hvor de vil sette terskelen. Vi som leverandør må kunne sette terskelverdien hvor som helst, og ulike steder for ulike dokumenttyper eller andre kategorier.

Plattformen gjør det mulig å sette opp ulike beslutningstrær, og prosesstrær, for ulike scenarier.

− Dermed kan vi granulere så mye vi vil. Det er en kjempefordel fremfor en mer ren GPT-tilnærming, sier Sjøgren.

Det er et av flere viktige premisser for å kunne ha tillit til løsninger basert på språkmodeller.

Flere grunner til å være forsiktig

Det er nemlig flere grunner til å ikke gifte seg helt med de store språkmodellene, mener Sjøgren.

Som kunde har du ingen påvirkning på hva som skjer med eierskap og prismodeller, og du kan heller ikke gjøre noe om modellene erstattes med nye, som ikke er like kompatible med det du selv har satt opp rundt. Du må også ta stilling til både personvern og nasjonal sikkerhet.

− Hvem er det egentlig som har tilgang til dataene, spør Sjøgren retorisk.

Offentlig sektor forvalter store mengder sensitiv informasjon.

− Vi har løst dette ved å bruke en «hermetisk» lukket plattform, der all behandling skjer i et kryptert og lukket miljø. Selv om teknologien er levert av store aktører som Open AI, er dataene trygt forvart innenfor norske og europeiske grenser, sier Sjøgren.

Teknologien for automasjonsplattformen kommer fra norske Simplifai.

− Det gir oss mye bedre innflytelse, og forutsigbarhet på fremtidige prismodeller, sier Sjøgren og fortsetter:

− Jeg skal ikke være en som går rundt og sier – bare ta i bruk generativ KI. Det må gjøres gjennomtenkt og med en plan.