Derfor kan ikke ChatGPT erstatte Kommune-Kari

Oslo sentrum: − Nå har hun gått av seg barnesykdommene. Det er over 100 kommuner som bruker løsningen, og vi har over en million samtaler med brukere i året, sier Richard Hovdsveen til Digi.

Han er direktør for vekst i selskapet Sem og Stenersen Prokom, som tilbyr samtaleroboten basert på Boost AI sin teknologi til norske kommuner. Vi møter ham sammen med Kari sin PT, eller ansvarlig AI-trener for Kommune-Kari som den offisielle tittelen hennes er, Nina Bjerkreim-Hanssen.

Hun har vært med fra Karis fødsel, og har sett chatboten vokse fra å kunne svare på rundt 400 spørsmål, til dagens modell som kan kjenne igjen flere tusen intensjoner.

De to tror ikke inntoget av store språkmodeller som ChatGPT gjør Kommune-Kari overflødig.

− Den teknologien er jo litt mind-blowing, men den tar ikke bort behovet for sannhet, sier Hovdsveen.

Stadig større modell

Kommune-Kari så først dagens lys i 2017. Idéen var å bygge en modell som alle kommuner kunne ta i bruk, uten at det kostet skjorta. En svartjeneste som svarer på alt kommunen driver med, fra barnehageplass til vann og avløp, smitteverntiltak og veiutbygging.

I bunn ligger en modell for å forstå språk, en såkalt NLU, som sikrer at modellen tolker språk, også med feilstavelser og dårlig grammatikk, til en mening eller et ønske. Så kobler modellen intensjon til rett sted i et stadig voksende bibliotek av svar.

Bjerkreim-Hanssen leser logger, legger inn nye intensjoner og trener modellen til å forstå hvilke svar som skal kobles til hvilke spørsmål.

− Skal du søke om barnehageplass, finnes det mange måter å spørre om det, men sannsynligvis inneholder spørsmålet ditt en kombinasjon av nøkkelord som søknad og barnehage, sier Bjerkreim-Hanssen.

Folk spør om alt som har med offentlig sektor å gjøre, som de tror kommunen har ansvar for, blant annet innen helse. Da må Kari kunne svare.

− Det er en av grunnene til at modellen er så svær, sier Bjerkreim-Hanssen og fortsetter:

− Det er overraskende mange som synes det er lettere å spørre en chatbot om problemer enn å ta kontakt med et vanlig menneske. Også de sårbare og intime tingene kan hun svare på, det er vi stolte av.

− Aldri fått så mange tomler ned

Nå kan Kari koble ulike spørsmål og påstander til rundt 6000 intensjoner og blir stadig bedre til å veilede brukeren til å komme nærmere rett svar.

Samtidig endrer behovet seg stadig. Under pandemien spurte folk om de kunne dra på hytta og om de kunne gå fem stykker på tur.

− Vi har aldri fått så mange tomler ned på et svar som når Kommune-Kari svarte – Nei, nå kan du ikke dra på hytta, sier Bjerkreim-Hanssen.

Rundt seks prosent av henvendelsene klarer ikke Kari å koble til et logisk svar. Når Kommune-Kari blir målbundet, går Bjerkreim-Hansen manuelt gjennom samtaleloggen, og forbedrer modellen der det trengs.

Men det hjelper også at brukeren forstår hvordan hun skal skrive en god prompt.

Trener vi den eller den oss?

− Har brukerne endret måten de skriver til Kari de siste årene?

− Ja, det har vi merket. Da ser vi at generelt er befolkningen blitt flinkere til å skjønne- hvordan du får best svar, sier Bjerkreim-Hanssen.

Det er de yngre generasjonene som har mest effektiv kommunikasjonen med Kari. Det ble spesielt synlig da tilbudet om de første koronavaksinene gikk ut til den eldste delen av befolkningen.

− Da så vi veldig tydelig at brukerne endret måten å skrive på. De skrev mer komplisert og brukte ikke stikkord, forteller Bjerkreim-Hanssen.

Skriv en oppgave om Ibsen

Etter at store språkmodeller som ChatGPT har blitt allemannseie, merker også Karis trener at folk har fått andre forventninger til henne.

− Det ser vi allerede på nye type spørsmål folk stiller til Kommune-Kari, som − Kan du hjelpe meg med eksamen, og − Skriv en oppgave om Ibsen, sier Bjerkreim-Hanssen.

Det kan Kommune-Kari ikke.

For både teknisk og funksjonelt er det vesentlige forskjell på ChatGPT og Kommune-Kari.

Kan ikke si ting som er feil

− Kommune-Kari kan ikke finne på ting, sier Hovdsveen.

Kommunen og innbyggerne må kunne stole på at det hun sier er riktig, og kommunen vil at hun skal være et godt ansikt utad.

− ChatGPT kan manipuleres til å si ting som er feil og utrygt. Dette sannhetsperspektivet er veldig viktig. Det har vi kontroll på, og ønsker å fortsette å ha kontroll på, sier Hovdsveen.

ChatGPT er trent på enorme mengder tekst og klarer å finne hva som er mest sannsynlig neste ord og setning brukeren er ute etter. Det er basert på sannsynlighet og erfaring. Derfor kan ChatGPT begynne å «hallusinere», det vil si at den ikke finner fakta, men dikter opp ut fra hva som kan være sannsynlig gitt sammenhengen og spørsmålet. Derfor har brukere oppdaget at modellen kan «finne opp» både vitenskapelige artikler og hele biografier.

Kommune-Kari derimot er trent til å koble en problemstilling til et svar som er korrekt og relevant for det den blir spurt om.

Hun kan ikke hallusinere, verken teknisk eller etisk. Det betyr ikke at Kari ikke kan forbedres ved hjelp av LLM.

− Men vi gjør det under kontrollerte former, sier Bjerkreim-Hanssen.

− Kanskje er fremtidene Kommune-Kari et API

For eksempel kan teknologien hjelpe til med å skrive testcaser og foreslå tekst til artikler.

− Vi tar det inn og ser hva vi kan bruke det med for å forbedre vår egen plattform. Vår erfaring med chatbot setter oss i en unik posisjon, i forhold til eventuelle konkurrenter som skulle prøve å utvikle noe basert på LLM fra start nå, sier Bjerkreim-Hanssen.

Også selskapet bak modellen, Boost AI, jobber med å koble det beste fra LLM med NLU. Hvor Kommune-Kari er om to år, er vanskelig å svare på, synes de to.

− Utviklingen skjer veldig fort, sier Hovdsveen og fortsetter:

− I fremtiden kommer vi kanskje alle til å ha vår egen personlige digitale assistent, en bot som svarer på det vi lurer på og holder styr på mange av oppgavene våre.

Det tar ikke bort behovet for funksjonaliteten Kommune-Kari leverer, men formen kan nok endres.

− I fremtiden er kanskje Kommune-Kari mer i bruk som et API, som din personlige bot kan snakke med, sier Hovdsveen.