Når bør en chatbot overlate samtalen til et menneske?

Fra ChatGPT til «Siri» eller «Anna», de har alle til felles at de er avanserte språkmodeller som kan svare på spørsmål. Den siste tiden har det vært mye snakk om utfordringer med noen av de mest avanserte chatbotene. Mindre og mer spesifikke chatboter har andre utfordringer. Noen av disse ble tydelige da Nav våren 2019 lanserte chatboten «Frida».

For å finne ut mer om hvordan chatboten kunne svare innbyggerne best mulig, fikk førstelektor Guri Verne og professor Tone Bratteteig ved Universitetet i Oslo mulighet til å forske på ordvekslingene mellom Navs brukere og chatboten. Sammen med masterstudenter har de analysert over 10.000 logger av chatbotsamtaler og prøvd å finne ut hva de ikke får svar på. Undersøkelsene og analysene har ført til forbedringer i chatboten.

– Da chatboten ble lansert, var det en del som kritiserte Nav og sa at de møter deg med en robot, sier Bratteteig.

Men hun mener at de fleste av dem som bruker Navs tjenester, vil oppleve det som en fordel at chatboten er der.

– I helger og helligdager er Nav stengt, men kanskje du får svar på spørsmålet ved å bruke chatboten. Da kan det være en fordel, sier hun. – Vi ser at mange som er skeptiske til chatboten prøver den likevel utenom arbeidstid, i helgen for eksempel, når det ikke er noe alternativ å snakke med et menneske – og de får ofte gode svar.

Alle svarene er ferdigskrevet

Chatboten Frida er annerledes bygget enn for eksempel ChatGPT. Alle Fridas svar er ferdig skrevet av erfarne veiledere som vet hva folk pleier å spørre om. Frida har aldri friheten til å finne på svar selv.

– Svarene er alltid riktige, sier Verne. – Men det hender at chatboten svarer på noe annet enn det man mente å spørre om, og det er der utfordringen ligger.

Hun forklarer at chatboten bruker sannsynlighetsregning for å koble spørsmål fra brukeren med et ferdigskrevet spørsmål som er lagret i chatboten og har et svar. Chatboten inneholder ulike spørsmål og kobler med det som passer best. Nye spørsmål og svar legges inn av egne ansatte i Nav, og slik svarer den gradvis bedre.

– Den har blitt bedre enn den var. Den blir bedre for hver uke, tror jeg, for det er flere som sitter og legger inn ord og setninger og lager flere koblinger, sier Verne.

Stiller vanskeligere spørsmål til mennesker

Siden den første høsten har det skjedd flere endringer. Selv om Frida er i førstelinjen når det kommer til å svare på spørsmål, er den nylig flyttet litt lengre ned på nettsiden slik at man ikke opplever at man må bruke chatboten om man ikke vil. I tillegg er mellommenneskelig småprat og humor tatt bort.

– Det er forskning som viser at folk tilpasser språket og stiller enklere spørsmål når de vet at de snakker med roboter og chatboter, sier Bratteteig. – Chatboten er bedre når den svarer på én ting av gangen. Det å få komplekse spørsmål er den ikke så god på.

Derfor fungerer den bedre når folk tror at den ikke er så smart, for da stiller de enklere spørsmål.

For å øke treffsikkerheten har forskerne også sett på om spørsmålene blir bedre hvis brukerne får opplæring i å stille bedre spørsmål ved å se en kort video først.

– Når roboten ikke får til å svare, så vi at det faktisk var flere som skrev noe slikt som «takk, dette var et vanskelig spørsmål. Jeg skjønner godt at du ikke får det til, robot», sier Bratteteig.

Humor er best mellom mennesker

I tillegg hadde den opprinnelige versjonen humor:

– Du kunne for eksempel stille den et spørsmål som «Er du et menneske?», sier Verne, og så kunne den si noe slikt som at «Jeg er så nær et menneske som en robot kan bli».. Alt sånt er tatt bort. Hvis du snakker med en chatbot nå, vet de fleste det, men i begynnelsen var det ikke så vanlig, og det virket som mange ikke var klar over det. Nå har de gjort det de kan for å ta bort den usikkerheten, slik at man skal skjønne at det er en chatbot.

Verne forklarer at noe av grunnen er at hvis folk tror at det er et menneske de snakker med, tror de også at den skjønner mer enn hvis de vet at det er en chatbot.

– Det er bedre at det er helt innforstått at det er en robot og at den skal gi helt saklige svar. Det er ikke noe humor, ironi eller annet som kan være vanskelig å forholde seg til eller tolke, sier hun.

Hun legger til at det fort kunne bli helt feil om chatboten ønsker god bedring til en som for eksempel er kronisk syk eller dødssyk.

Det hjelper å kunne Nav'sk

En av hovedutfordringene for chatboten er at mange av brukerne ikke kjenner Navs terminologi.

– Vi ser fra våre undersøkelser at det hjelper å kunne de riktige nøkkelordene, forklarer Verne.

Hun forklarer at dersom du spør Frida om «pappaperm», er det et ord som Nav ikke bruker på sine sider, men som mange likevel vil søke etter. Derfor går mye av arbeidet ut på å lage søkeord som chatboten oversetter til de Nav'ske ordene, som i dette tilfellet vil være fedrekvoten. Chatboten gjør at folk som ikke vet hva ulike stønader heter, kan søke seg fram til informasjon om dem likevel, det vil si at de trenger ikke kunne Nav'sk – og at de kanskje lærer litt underveis.

Hun forteller at Nav også har jobbet mye med at Frida skal håndtere stavefeil eller skrivefeil, men det er også utfordringer med å gjøre Frida for raus.

– Jo mer romslig den er på å gjette, dess mer kan chatboten komme til å svare på noe annet enn det man mener å spørre om, forklarer Verne.

Hun forklarer videre at en stor utfordring for Frida er å bli spurt om to ting i samme spørsmål, samt bruk av ordet «ikke», som har vært problematisk å håndtere hele tiden.

– Hvis du for eksempel spør om hva du skal gjøre med meldekortet mens du er i pappaperm, kan det være vanskelig for chatboten, sier Verne. Dette spørsmålet gjelder to ulike Nav-områder, og da klarer den ikke å velge hva som er viktigst.

Dette er et eksempel på noe Verne mener mennesker er bedre på en chatboter. De fleste erfarne veiledere i Nav vil ikke ha problemer med å forstå problemstillingen. En veileder vil i mange tilfeller også kunne fylle på med informasjon som er relevant, men som brukeren ikke har spurt om. Chatboten vil på sin side kun svare på spørsmålet og kan la være å opplyse om ting som kan være relevant.

Verne understreker at manglende koblinger kan rettes opp slik at chatboten lærer, så eksemplene hun har trukket fram, kan være fikset.

– Et menneske kan skjønne at den som spør, trenger mer informasjon enn det han eller hun spør om og vil typisk si noe sånt som «Husk også å sjekke at...» eller Sjekk det når du...», sier hun.

Det hjelper å kunne noe om det du spør om

En annen utfordring for Frida er når personen som spør, kan lite om det han eller hun spør om.

– En person som ikke er så stødig i norsk eller Nav'sk, kan ha utfordringer med å vite om de har flyttet når de har «meldt flytting» eller bare har meldt ny adresse til Posten. Vi kaller dette for «puttekassen»: Du må være i stand til å sette de ulike elementene av livet ditt i riktig Nav-bås for å få et godt og relevant svar, sier Verne. En veileder vil enklere kunne hjelpe deg å definere riktig bås i puttekassen på Nav'sk enn hva chatboten får til.

Det største problemet, mener Verne, er når brukeren ikke egentlig har kompetanse til å vurdere om svaret er godt eller dårlig.

– Det er ikke noe stort problem om brukeren skjønner at svaret er feil eller utilstrekkelig, for da vil de spørre på nytt, eller skjønne at de må snakke med en veileder. Problemet er når brukeren tror de har fått god informasjon, men som ikke stemmer i alle tilfeller, eller at informasjonen er ufullstendig, sier hun.

Mange av dem som sliter med denne typen problemstilling, kan ha lite kunnskap om eller erfaring med Nav fra før. Eller komme fra land hvor det er helt andre rammer for offentlig velferd eller ha språklige utfordringer. Da mangler de grunnlag for å vurdere svarene chatboten gir. Da mener forskerne at det er hensiktsmessig om Nav har lav terskel for at folk skal ringe, så de kan få stilt spørsmålet til en veileder.

Verne trekker frem et eksempel der en person ikke mottok all informasjonen som var relevant. Svaret som kom, var riktig, men mangelfullt.

– Vi har et eksempel fra loggene vi har fått, der en gravid student spør om hvilke rettigheter hun har til foreldrepenger. Dette var i den tidlige utgaven av chatboten, og etter flere sjekkspørsmål svarte den at hun ikke hadde noen rettigheter. Det den ikke sa, var at hun kunne ha rett til engangsstønad, forklarer Verne.

Alle beslutninger tas av saksbehandlere

– Hvor ligger det juridiske ansvaret hvis du blir villedet av en chatbot i det offentlige?

Chatboten er på mange måter bare en slags avansert søkehjelp som kan gi deg svar eller vise deg til nettsidene med den riktige informasjonen.

– Den tar ingen beslutninger. Det er det alltid saksbehandlere som gjør, sier Verne.

Hun tipser om at dersom det er noe som ikke stemmer helt med svaret, burde det være mulig å dobbeltsjekke ved å få chatboten til å skrive hva den svarte på. På den måten blir det en kontrollmekanisme for å se om spørsmålet den svarer på, var noe annet enn det du mente.

– En slik funksjon vil kunne hindre den i å villede folk, mener Verne.

– Men vi vet at folk som tar kontakt med Nav, kan ha mye annet å tenke på, som sykdom eller det å være uten jobb. Da er man ofte ikke er helt på topp, og det kan være krevende å vurdere svarene, mener Bratteteig.

Chatboten bør også henvise til veiledere

Når spørsmålet blir for komplisert eller den ikke klarer å finne et svar til spørsmålet, bør den henvise til en veileder, mener Bratteteig og Verne.

– En svakhet er at den vanskelig kan fange opp om brukeren vil ha behov for å snakke med en Nav-veileder annet enn ved å ha veldig lav terskel for å henvise til det.

– Selv om jeg jobber på Institutt for informatikk, synes jeg det er viktig at det skal være mulig å få snakke med et menneske, understreker Verne.

– Frida kan gi hjelp til dem som ikke er så flinke til å søke på nettsidene selv, sier Bratteteig. – Hvis Nav også kan besvare en del av henvendelsene som kommer, uten at det blir misforståelser og forvekslinger, synes jeg det er bra. Da sparer Nav veilederkapasitet til å svare på de spørsmålene som er mer kompliserte.

– Det Nav sier, er at selv om de får flere henvendelser, får de kanskje ikke flere folk til å besvare dem. Derfor bør chatboten være så god som mulig, men det bør alltid være mulig å få snakke med et menneske.

Artikkelen ble først publisert på Titan.uio.no