Danske kommuner investerer i norsk chatbot – men er den verd pengene?

Seks danske kommuner er i ferd med å utvikle en felles kommunal chatbot med navnet Kiri. Den er basert på erfaringer fra den norske chatboten Kari, som er utviklet av den norske bedriften Boost.ai.

I Danmark har Roskilde Kommune allerede gått live med Kiri, og Frederiksberg, Gentofte, Gladsaxe, Lyngby-Taarbek samt Rudersdal kommune vil lansere Kiri i løpet av mai.

I Norge er det flere enn 60 kommuner som benytter seg av Kari, så DigiTech har undersøkt erfaringene med den norske Kari, samt forventningene til danske Kiri.

Færre telefonhenvendelser

Det er tilsynelatende ingen av de norske og danske kommunene som har utarbeidet en detaljert business case for de to chatbotene med spesifiserte kostnader, forventede innsparinger og Return on Investment.

Peter Berg Schmidt er Country Manager for Danmark hos Boost.ai, og har innblikk i både Kari- og Kiri-prosjektene. Han kjenner ikke til noen detaljerte business cases, men sier følgende:

– Det er ikke alt som er kvantifiserbart. Noen opplever at innbyggerne har blitt klokere etter å ha snakket med chatboten. Noen av kommunene opplever økt interesse for nettsidene sine, forklarer Peter Berg Schmidt.

• Bakgrunn: Importerer norsk kommunal chatbot. – Det er ingen grunn til at vi skal finne opp kruttet på nytt

En kritiker av norske Kari er professor i informatikk Kai A. Olsen ved Bergen Universitet. Han betegner chatbots som en mulighet for at kommuner som kanskje oppleves som litt gammelmodige og litt i etterkant på digitaliseringsfronten, kan få et bedre image.

– Kommunene får mulighet til å signalisere at de er med på den digitale trenden med chatbots og er med på AI-bølgen.

Men mener at chatbots ikke lever opp til løftene sine.

– Hvis dette fungerer, ville kommunene for eksempel kunne dokumentere en reduksjon i telefoniske henvendelser. Det er, så vidt jeg vet, ikke tilfelle, sier Kai A Olsen til DigiTech.

Men Peter Berg Schmidt har likevel tall fra fire norske kommuner, og de viser at antallet telefoniske henvendelser til de fire kommunene faktisk har falt etter at Kari har blitt innført.

– En norsk partner har bedt om denne typen tall. Det er ikke alle kommuner som har disse opplysningene, men noen kommuner har registrert en reduksjon i antallet. telefonoppringninger fra innbyggere. Hvordan de spesifikt har målt dette vet jeg ikke, sier Peter Berg Schmidt.

De innsamlede tallene viser at norske Ullensaker kommune har opplevd en reduksjon av telefoniske henvendelser på 20 prosent, Kongsberg kommune en reduksjon på 30 prosent, Haugesund en reduksjon på 20 prosent og Nannestad kommune en reduksjon på 7 prosent.

• Vil styrke det norske AI-miljøet: – Det er visse områder som Norge allerede er gode på, og det er her vi må satse

Slå gressplenen? Er du utsatt for vold?

Den norske professoren Kai A. Olsen har i en rekke artikler og uttalelser i norske medier kritisert Kari. Han testet blant annet Kari i fjor høst, hvor han blant annet spurte om kommunen kunne slå gressplenen for en 82-årig kvinne. Kari svarte med et motspørsmål:

«Er du, eller noen du kjenner, utsatt for vold eller overgrep?»

Peter Berg Schmidt kjenner godt Kai Olsen og hans kritikk av Kari.

– Han er skeptisk overfor all AI. Det er mer enn ett år siden at han testet chatten vår og tok skjermdumper da den svarte feil. Utvikling vår og den semantiske forståelsen har blitt bedre siden da. Selvfølgelig kan man enkelt utløse et feil svar, men det er ikke bare nøkkelord-basert nå. Det kommer også an på hvilke andre ord som inngår i spørsmålet, og hvilke viktige ord som ikke er der. Med en gang vi ser at det er et feil svar, går vi inn og vurderer det, sier Peter Berg Schmidt.

Er Google bedre?

Kai Olsen vet at denne typen misforståelser egentlig bare er morsomme, men fastholder kritikken sin.

– Noen feil svar er uskyldige, andre er morsomme, mens andre igjen er alvorlige, sier Kai Olsen.

Som eksempel på alvorlige feil nevner han at chatboten i hans egen kommune, Molde, kunne svare greit på spørsmål om de to store partiene i Norge, Arbeiderpartiet og Høyre, men ikke kjente til Innbyggerlisten, som er en lokal liste i Molde.

Det er et demokratisk problem hvis en kommunal tjeneste ikke kan gi innbyggerne viktig informasjon om de lokale partiene. I tillegg til dette, er det ifølge Kai Olsen ofte raskere å benytte Google for å finne informasjon.

– Man tvinges ut i noen lange og nytteløse konversasjoner, hvor det ville ha vært raskere å søke på Google, mener Kai Olsen. Han utdyper det slik:

– Google kommer med en rekke valgmuligheter hvor du må velge den riktige. Det er en fordel, siden du som menneske er med i prosessen og selv velger det riktige svaret, framfor at Kari gir deg et enkelt svar som er feil.

• Gründerne som lykkes: På få år har Iris.ai blitt kåret til ett av verdens mest lovende innen AI

Det er ikke et menneske

Men Peter Berg Schmidt avviser at chatboten fra Boost.ai ikke gir noen verdi.

– Det er en grunn til at vi har gått fra én kommune til snart 70 kommuner i Norge. De har ikke den samme opplevelsen som Kai.

Peter Berg Schmidt understreker likevel også at chatboten ikke må ses på som et menneske.

– Kari er ikke det samme som et menneske. Noen ting er bedre; den gir svar med én gang og kan svare på nærmest uendelig mange forespørsler samtidig. Men hvis det må foretas vurderinger, eller det er noe som vi ikke har lært den opp i, kan hun ikke svare. Et menneske vil også bedre kunne forstå mer kompliserte spørsmål.

Velkomstbeskjeden for Kiri på nettstedet til Roskilde kommune gjør da også oppmerksom på at Kiri er en chatbot under opplæring, akkurat som tegningen av Kiri skal vise at det ikke er snakk om et menneske. Peter Berg Schmidt forventer at danskene vil venne seg til chatboter, akkurat på samme måte som de fleste nordmenn har gjort.

– I Danmark har det ikke vært mange virtuelle agenter. Og de få som vi har sett, har ofte vært veldig dårlige. Folk er ikke vant til dem, og derfor skriver mange til dem nøyaktig som til et menneske. I Norge er man mer vant til å skrive med virtuelle agenter, og det innebærer at de skriver mer klart og tydelig. Så vi kommer til å se en tilvenningsfase.

Kiri er seg selv

Som nevnt er Kiri basert på norske Kari, men Peter Berg Schmidt understreker at den danske chatboten ikke bare er en kopi av Kari.

– Kiri er basert på Kari, men Kiri har sitt eget liv. Det kommer til å være mange av de samme emnene, men det er spesifikke områder i Danmark som ikke er kommunerelaterte i Norge; for eksempel pass og førerkort. De områdene læres opp spesifikt for Danmark, sier han.

Når en ny kommune skal i gang med å bruke Kiri, må kommunen først svare på en rekke spørsmål som fungerer som en grunnkunnskap for den aktuelle kommunen.

– Dette er ting som adressen for innbyggertjenester, hvor mange innbyggere kommunen har, når svømmehallen er åpen og andre spesifikke ting for kommunen. Kommunen svarer på disse spørsmålene, og så er de klare til å starte.

Ifølge Peter Berg Schmidt blir det løpende samlet inn spørsmål som Kiri ikke kan besvare.

– Vi gjennomgår samtaler og ytelse hver dag. Noen ganger er svarene så innlysende at vi legger dem rett inn, slik at de er klare neste dag, sier han.

Andre ganger samles spørsmål inn til spesifikke områder. Det viser seg kanskje at det er mange innbyggere som for eksempel spør om helserelaterte ting, som adgang til lege.

– Hver uke finner vi ut hvilket område vi skal fokusere på. Vi sitter sammen med kommunene og kvalitetssikrer hva svarene skal være.

Saken ble først publisert på danske Digitech, og gjøres tilgjengelig på norsk for abonnenter av Digi Ekstra gjennom vår samarbeidsavtale med Teknologiens mediehus/Ingeniøren.

• Helseplattformen: Ansetter ikke eksperter når IT-systemet til 3,3 milliarder skal gjøres brukervennlig: – Vi trenger ikke ingeniører til denne jobben