Fra ChatGPT til «Siri» eller «Anna»: Alle har de til felles at de er avanserte språkmodeller som kan svare på spørsmål. Svarene både forbløffer og bekymrer, og mulighetene som kunstig intelligens gir, blir for tiden ivrig diskutert.
Mindre og mer spesialiserte chatboter har egne utfordringer. De ble tydelige da Nav våren 2019 lanserte chatboten «Frida».
Hvordan kunne chatboten svare innbyggerne best mulig? Det ville førstelektor Guri Verne og professor Tone Bratteteig finne ut av ved å forske på ordvekslingene mellom Navs brukere og chatboten.
Når Nav møter deg med en robot
Sammen med masterstudenter har de analysert over 10.000 logger av chatbotsamtaler og prøvd å finne ut hva de ikke får svar på. Undersøkelsene og analysene deres har ført til forbedringer i chatboten.
– Da chatboten ble lansert, var det en del som kritiserte Nav og sa at de møter deg med en robot, sier Bratteteig.
Men hun mener at de fleste av dem som bruker Navs tjenester, vil oppleve det som en fordel at chatboten er der.
– I helger og helligdager er Nav stengt, men kanskje du får svar på spørsmålet ved å bruke chatboten. Da kan det være en fordel, sier hun.
– Vi ser at mange som er skeptiske til chatboten, likevel prøver den utenom arbeidstid, i helgen for eksempel, når det ikke er noe alternativ å snakke med et menneske – og de får ofte gode svar.
Guri Verne og Tone Bratteteig forteller at chatboten fungerer bedre når folk ikke tror den er så smart, for da stiller de enklere spørsmål.(Foto: Privat)
Alle svarene er ferdigskrevet
Chatboten Frida er annerledes bygget enn for eksempel ChatGPT. Alle Fridas svar er ferdig skrevet av erfarne veiledere som vet hva folk pleier å spørre om. Frida har aldri friheten til å finne på svar selv.
– Svarene er alltid riktige, sier Verne.
Men det hender at chatboten svarer på noe annet enn det brukeren mente å spørre om, og det er der utfordringen ligger.
Hun forklarer at chatboten bruker sannsynlighetsregning for å koble spørsmål fra brukeren med et ferdigskrevet spørsmål som er lagret i chatboten og har et svar. Chatboten inneholder ulike spørsmål og kobler med det som passer best. Nye spørsmål og svar legges inn av egne ansatte i Nav, og slik svarer den gradvis bedre.
– Den har blitt bedre enn den var. Den blir bedre for hver uke, tror jeg, for det er flere som sitter og legger inn ord og setninger og lager flere koblinger, sier Verne.
Folk snakker enklere til roboter
Siden den første høsten har det skjedd flere endringer.
Selv om Frida er i førstelinjen når det kommer til å svare på spørsmål, så er den nylig flyttet litt lenger ned på nettsiden slik at du ikke opplever at du må bruke chatboten om du ikke vil.
Annonse
I tillegg er mellommenneskelig småprat og humor tatt bort.
– Det er forskning som viser at folk tilpasser språket og stiller enklere spørsmål når de vet at de snakker med roboter og chatboter. Chatboten er bedre når den svarer på én ting av gangen. Det å få komplekse spørsmål er den ikke så god på, sier Bratteteig.
Derfor fungerer den bedre når folk tror at den ikke er så smart, for da stiller de enklere spørsmål.
For å øke treffsikkerheten har forskerne også sett på om spørsmålene blir bedre hvis brukerne får opplæring i å stille bedre spørsmål ved å se en kort video først.
– Når roboten ikke får til å svare, så vi at det faktisk var flere som skrev noe slikt som «takk, dette var et vanskelig spørsmål. Jeg skjønner godt at du ikke får det til, robot», sier hun.
Humor er best mellom mennesker
I tillegg hadde den opprinnelige versjonen humor:
– Du kunne for eksempel stille den et spørsmål som «er du et menneske?», sier Verne, og så kunne den si noe slikt som at «Jeg er så nær et menneske som en robot kan bli.».
Alt sånt er tatt bort. Folk skal skjønne at det er en chatbot de møter, forteller Verne.
– Det er bedre at det er helt innforstått at det er en robot og at den skal gi helt saklige svar. Det er ikke noe humor, ironi eller annet som kan være vanskelig å forholde seg til eller tolke, sier hun.
Hun legger til at det fort kunne bli helt feil om chatboten ønsker god bedring til en som for eksempel er kronisk syk eller dødssyk.
Det hjelper å kunne «navsk»
Annonse
En av hovedutfordringene for chatboten er at mange av brukerne ikke kjenner Navs terminologi.
– Vi ser fra våre undersøkelser at det hjelper å kunne de riktige nøkkelordene, forklarer Verne.
Hun forklarer at dersom du spør Frida om «pappaperm», er det et ord som ikke Nav bruker selv på sine sider. Likevel vil mange søke etter det. Derfor går mye av arbeidet ut på å lage søkeord som chatboten oversetter til de «navske» ordene, som i dette tilfellet vil være «fedrekvoten».
Chatboten gjør at folk som ikke vet hva ulike stønader heter, kan søke seg fram til informasjon om dem likevel. Det vil si at de ikke trenger å kunne «navsk» – og at de kanskje lærer litt underveis.
Klarer stavefeil
Hun forteller at Nav også har jobbet mye med at Frida skal håndtere stavefeil, eller skrivefeil, men det er også utfordringer med å gjøre Frida for raus.
– Jo mer romslig den er på å gjette, dess mer kan chatboten komme til å svare på noe annet enn det man mener å spørre om, forklarer Verne.
Hun forklarer videre at en stor utfordring for Frida er å bli spurt om to ting i samme spørsmål. I tillegg har ordet «ikke» vært problematisk å håndtere hele tiden.
– Hvis du for eksempel spør om hva du skal gjøre med meldekortet mens du er i pappaperm, kan det være vanskelig for chatboten. Dette spørsmålet gjelder to ulike Nav-områder, og da klarer den ikke å velge hva som er viktigst, sier Verne.
Dette er et eksempel på noe Verne mener mennesker er bedre på enn chatboter. De fleste erfarne veiledere i Nav vil ikke ha problemer med å forstå problemstillingen. En veileder vil i mange tilfeller også kunne fylle på med informasjon som er relevant, men som brukeren ikke har spurt om.
Chatboten vil på sin side utelukkende svare på spørsmålet og kan la være å opplyse om ting som kan være relevante. Verne understreker at manglende koblinger kan rettes opp slik at chatboten lærer, så eksemplene hun har trukket fram, kan være rettet opp nå.
– Et menneske kan skjønne at den som spør, trenger mer informasjon enn det han eller hun spør om og vil typisk si noe som «husk også å sjekke at ...» eller «sjekk det når du ...», sier hun.
Annonse
Det hjelper å kunne noe om det du spør om
En annen utfordring for Frida er når personen som spør, kan lite om det han eller hun spør om.
– En person som ikke er så stødig i norsk eller navsk, kan ha utfordringer med å vite om de har flyttet når de har «meldt flytting» eller bare har meldt ny adresse til posten. Vi kaller dette for «puttekassen»: Du må være i stand til å sette de ulike elementene av livet ditt i riktig Nav-bås for å få et godt og relevant svar, sier Verne.
En veileder vil enklere kunne hjelpe deg med å definere riktig bås i puttekassen på «navsk» enn hva chatboten får til.
Vet du om svaret er godt?
Det største problemet, mener Verne, er når brukeren ikke egentlig har kompetanse til å vurdere om svaret er godt eller dårlig.
– Det er ikke noe stort problem om brukeren skjønner at svaret er feil eller utilstrekkelig, for da vil de spørre på nytt eller skjønne at de må snakke med en veileder. Problemet er når brukeren tror de har fått god informasjon, men som ikke stemmer i alle tilfelle, eller at informasjonen er ufullstendig, sier hun.
Mange av dem som sliter med denne typen problemstilling, kan ha lite kunnskap om eller erfaring med Nav fra før. De kan komme fra land hvor det er helt andre rammer for offentlig velferd, eller de kan ha språklige utfordringer.
Ufullstendig svar
De mangler grunnlag for å vurdere svarene chatboten gir. Da mener forskerne at det er hensiktsmessig om Nav har lav terskel for at folk skal ringe så de kan få stilt spørsmålet til en veileder.
Verne trekker frem et eksempel der en person ikke fikk all informasjonen som var relevant. Svaret som kom, var riktig, men mangelfullt.
– Vi har et eksempel fra loggene vi har fått der en gravid student spør om hvilke rettigheter hun har til foreldrepenger. Dette var i den tidlige utgaven av chatboten, og etter flere sjekkspørsmål svarte den at hun ikke hadde noen rettigheter. Det den ikke sa, var at hun kunne ha rett til engangsstønad, forklarer Verne.
Saksbehandlere tar beslutningene
Annonse
– Hvor ligger det juridiske ansvaret hvis du blir villedet av en chatbot i det offentlige?
– Chatboten er på mange måter bare en slags avansert søkehjelp som kan gi deg svar eller vise deg til nettsidene med den riktige informasjonen.
– Den tar ingen beslutninger. Det er det alltid saksbehandlere som gjør, sier Verne.
Har forslag til kontrollmekanisme
Hun tipser om at dersom det er noe som ikke stemmer helt med svaret, burde det være mulig å dobbeltsjekke ved å få chatboten til å skrive hva den svarte på. På den måten blir det en kontrollmekanisme for å se om spørsmålet den svarer på, var noe annet enn det du mente.
– En slik funksjon vil kunne hindre den i å villede folk, mener Verne.
– Men vi vet at folk som tar kontakt med Nav, kan ha mye annet å tenke på, som sykdom eller det å være uten jobb. Da er man ofte ikke er helt på topp, og det kan være krevende å vurdere svarene, mener Bratteteig.
Bør henvise til veiledere
Når spørsmålet blir for komplisert eller den ikke klarer å finne et svar til spørsmålet, bør den henvise til en veileder, mener Bratteteig og Verne.
– En svakhet er at den vanskelig kan fange opp om brukeren vil ha behov for å snakke med en Nav-veileder annet enn ved å ha veldig lav terskel for å henvise til det.
– Selv om jeg jobber på institutt for informatikk, synes jeg det er viktig at det skal være mulig å få snakke med et menneske, understreker hun.
– Frida kan gi hjelp til dem som ikke er så flinke til å søke på nettsidene selv, sier Bratteteig. Hvis Nav også kan besvare en del av henvendelsene som kommer, uten at det blir misforståelser og forvekslinger, synes jeg det er bra. Da sparer Nav veilederkapasitet til å svare på de spørsmålene som er mer kompliserte.
Bratteteig og Verne vet at Nav sier at selv om de får flere henvendelser, så får de kanskje ikke flere folk til å besvare dem. Forskerne mener at chatboten derfor bør være så god som mulig. Men det bør alltid være mulig å få snakke med et menneske.
Referanse:
Guri B. Verne mfl: How Can I Help You? A chatbot’s answers to citizens’ information needs. Scandinavian Journal of Information Systems, 2022. Sammendrag.
