Blir eksamen rettferdig når ChatGPT er på banen?

Tusenvis av studenter jobber i disse dager med eksamensoppgaver hvor de skal vise hva de har lært gjennom semesteret. For noen kan språkroboten ChatGPT være fristende å ta i bruk.

Språkroboten, som er basert på kunstig intelligens, kan svare på spørsmål og levere gryteklare tekster og innhold innen svært mange temaer. Den har skapt debatt i store deler av verden de siste månedene, blant annet knyttet til gjennomføring av eksamener og fare for juks.

Produserer falske og inkonsekvente svar

Benjamin Kille, som forsker på kunstig intelligens ved NTNU, ser både utfordringer og muligheter med språkrobotene.

– Google, OpenAI og Microsoft har nå produsert så avanserte språkmodeller at de leverer tekster som er vanskelige å skille fra tekster produsert av mennesker, sier Kille.

– For ChatGPT fra OpenAI er det uklart hvilken tekst denne modellen er matet med. Vi antar at det er tekst som finnes online, noe som innebærer at det kan inkludere undervisningsmateriell. Derfor kan ChatGPT også besvare en del eksamensspørsmål, sier han.

Men Kille forteller også at eksperter har testet eksamensspørsmål på ChatGPT, og de har funnet ut at den produserer falske og inkonsekvente svar.

– Så for øyeblikket kan ikke studenter stole på ChatGPT for å få gode eksamenskarakterer, understreker han.

For øvrig spiller han inn at studenter kan bruke ChatGPT som et verktøy, for eksempel til å komme i gang med skrivingen av besvarelsen.

Etterligner hjernens eget nettverk

En maskin som kan løse problemer den har møtt tidligere, bruker narrow AI (smal kunstig intelligens). En maskin som kan løse problemer den ennå ikke har møtt, bruker general AI (generell kunstig intelligens).

– I dag er det narrow AI vi bruker; vi har ennå ikke utviklet særlig grad av general AI, forklarer Benjamin Kille.

I modellene som utvikles med kunstig intelligens, brukes hovedsakelig maskinlæring for å gjøre dem i stand til å løse oppgaver. Maskinlæring er en spesialisering innen kunstig intelligens hvor man bruker statistiske metoder for å la datamaskiner finne mønstre i store datamengder.

Det innebærer at maskinen «lærer» i stedet for å bli programmert.

– I maskinlæring brukes ofte kunstige nevrale nettverk som ligner på dem vi har i hjernen, og språkmodeller har billioner av nettverksforbindelser, sier Kille.

– Komplett uansvarlig

Inga Strumke, som er førsteamanuensis og forsker ved NTNU med kunstig intelligens som spesialfelt, ga nylig ut boken «Maskiner som tenker». Strumke sa nylig dette til Dagens Næringsliv om AI-verktøy som ChatGPT:

«Teknologien er veldig kraftig. Brukes den riktig, med fornuft, er den kjempenyttig. Brukes den feil, kan det være virkelig skadelig. Det viktigste med lanseringen av Chat GPT var at alle fikk øynene opp for at nå er AI en del av livene våre.»

«Dette kunne vært gjort mer elegant. Det var komplett uansvarlig å gjøre Chat GPT tilgjengelig uten å gi utdannelsessektoren – og mange andre – en sjanse til å møte denne revolusjonære kraften.»

Eksamenstips

For å møte utfordringen knyttet til eksamensoppgaver, har en arbeidsgruppe ved NTNU jobbet fram tips og råd om hvordan man kan lage eksamensoppgaver som ChatGPT ikke kan bidra til å løse i noen særlig grad.

Rasmus Grønbæk Jensen, rådgiver på eksamenskontoret ved NTNU, er en av dem som har jobbet med dette.

– Når det kommer et slikt nytt og kraftfullt verktøy som ChatGPT, vil ryggmargsrefleksen gjerne være at da må man kjøre skoleeksamener i stedet for hjemmeeksamener, sier Jensen.

På skoleeksamener er det eksamensvakter til stede, og i tillegg brukes Secure Exam Browser, som hindrer studentene i å logge seg på nettet.

– Men langvarige eksamener, som bare er mulig ved hjemmeeksamen, har sine egne læringsmessige fordeler som ikke kan hentes på en skoleeksamen, sier han og understreker:

– Vi må bygge opp en forståelse hos studentene og et tankeapparat som oppmuntrer dem til å bruke det de har lært. Det blir viktig å lage eksamensbesvarelser som både motiverer og krever at studentene viser hva de har lært.

– Er det vanskelig å lage slike eksamener?

– Både ja og nei. Google har jo eksistert lenge, og her kan studentene innhente informasjon på hjemmeeksamener. De kan også samarbeide med medstudenter eller få hjelp av andre, sier Jensen.

Men en tekst som inneholder tekstelementer hentet fra Google, er tekst som er kopiert fra nettsider, og dette kan et plagiatprogram avsløre.

– Derimot kan ikke et plagiatprogram avsløre bruk av kunstig intelligens. ChatGPT kan lage en unik tekst til hver forespørsel den får, og det er veldig vanskelig å bevise at KI er brukt i eksamensbesvarelser. Men, hvis 15-20 personer spør ChatGPT om det samme, vil svarene ligne litt på hverandre, sier Jensen.

– Men det er viktig at vi som universitet har som forutsetning at studentene er her for å lære og for å utvikle seg; de er ikke her for å jukse. Vi må ikke mistenkeliggjøre studentene våre.

Må oppleves meningsfullt for studentene

Martha Torgeirdatter Dahl er universitetslektor i pedagogikk ved NTNU. Hun sier at vi nå er nødt til å ta stilling til hvorvidt vurderingsinnholdet, altså oppgavene vi lager og måtene studentene får mulighet til å fremvise kunnskap på, er tilpasset et vurderingsklima hvor ChatGPT finnes.

Eksamensoppgaver hvor man kun blir bedt om å redegjøre for teori og gjengi innhold, vil være utsatt. Det samme gjelder oppgaver hvor man legger stor vekt på struktur og rettskriving.

– I lys av de nye tekstproduksjonsverktøyene blir det tydelig at vi trenger et vurderingsinnhold som krever mer av studenten og som tekstproduksjonsverktøyene ikke kan behandle på en like god måte, sier Dahl.

– For å avdekke innsikt hos studentene må de få mulighet til, muntlig eller skriftlig, å fremvise selvstendig refleksjon og vurderingsevne, og aktivt anvende pensum. Oppgavene bør ha en kontekstuell forankring, som kobling til konkrete forhold, vurdering av aktuelle situasjoner og personlige opplevelser, sier hun og legger til:

– Men jeg tenker at vi i tillegg trenger et vurderingsinnhold som det er meningsfullt for studenten å bruke tid på.

Viktig å ha dialog med studentene

Martha Torgeirdatter Dahl sier det blir avgjørende å snakke med studentene om hva som er hensiktsmessig bruk av disse verktøyene og at faglærere må ta stilling til hvordan tekstproduksjonsverktøy eventuelt kan tas i bruk på en forsvarlig måte i deres fag.

– Det blir også viktig å ha en gjennomgående dialog med studentene om hva som er den overordnede hensikten med eksamen, for å forsikre oss om at de ser verdien i egen evne til muntlig og skriftlig formidle av sine faglige vurderinger og kompetanse, sier Dahl.

Artikkelen ble først publisert på Gemini.no