Norske elever skrev bedre engelsk under forsøk med automatisk tekstvurdering

Forskere ved Høgskolen i Østfold har utviklet et kunstig intelligens-program som avlaster læreren og gir umiddelbare tilbakemeldinger på elevenes skrivearbeider. Programmet skriver ikke tekster på egen hånd, men går gjennom det elevene har skrevet og gir tilbakemeldinger på hva de må gjøre for at tekstene skal bli bedre, noe en lærer vanligvis også gjør. Men her er prosessen automatisert.

Flere og raskere tilbakemeldinger på tekstene gjør det enklere for elevene å forbedre tekstene sine i en skriveprosess og forsterke innføring av praksiser med vurdering for læring. Første testrunde er nå avsluttet og viser at elevene som brukte kunstig intelligens, fikk gjennomsnittlig bedre karakterer på skriveoppgavene enn de som jobbet på tradisjonelt vis. Skriveprosessen foregikk ved at elevene jobbet frem tre utkast av teksten og fikk en tilbakemelding fra programmet mellom hver runde. Det siste utkastet ble levert inn til lærer for en endelig vurdering.

Prosjektet drives av Høgskolen i Østfold i samarbeid med Høgskolen i Volda, Halden kommune og Hypatia Learning. Det finansieres av Norges forskningsråd.

Testing i ungdomsskoleklasser

Programmet som benyttes, er utviklet i Norge og har blitt testet ut på ungdomsskoler i Norge. Det har foreløpig bare blitt testet ut i engelskfaget, men kan potensielt bli utviklet til å støtte norskfaget og andre skolefag der man jobber med tekster, for eksempel samfunnsfag, historie og naturfag. Pedagogikken står i fokus i utvikling av programvaren, som heter EAT (Essay Assessment Technology). Det er ikke meningen at programmet skal erstatte læreren, men heller være et supplement og en avlastning for lærerens rolle i undervisningen.

Professor Irina Engeness, som leder prosjektet og er dekan ved Fakultet for lærerutdanninger og språk ved Høgskolen i Østfold, er veldig godt fornøyd med resultatet av testingen.

– Det har gått veldig bra. Vi har gjort noen interessante funn, sier hun i et intervju med Digi.

– Vi brukte to klasser. Den ene klassen var «eksperimentklassen» som brukte EAT, og den andre klassen jobbet med samme skriveoppgave på vanlig måte.

Elevene fikk i oppgave å lage en historie om helter, hvor de skulle komme med et eksempel på en helt. Elevene laget først et utkast, og i eksperimentklassen fikk de umiddelbare tilbakemeldinger fra teknologien.

I «sammenlikningsklassen» leste elevene hverandres tekster og ga tilbakemeldinger ved bruk av et vurderingsskjema. Deretter jobbet begge klassene sammen i grupper og hjalp hverandre med å prøve å forstå og bruke tilbakemeldingene de hadde fått, samt ga hverandre nye tilbakemeldinger.

Forskerne intervjuet både læreren og elevene etter skriveprosessen. Gruppearbeidet viste seg å være enklere i klassen som brukte EAT. Der var tilbakemeldingene fra teknologien utgangspunktet for diskusjonene.

Ønsket ikke å såre hverandre

– I sammenlikningsklassen var det vanskelig å komme i gang, forteller Engeness.

I denne klassen hadde elevene foreløpig ingen tilbakemeldinger å arbeide med, og de måtte i stedet gi hverandre tilbakemeldinger på tekstene de hadde skrevet. Det viste seg å ikke være så lett.

– De var usikre på hvilke tilbakemeldinger de skulle gi til hverandre, og de ønsket ikke å såre hverandre, forteller hun.

I eksperimentklassen fikk elevene mange tilbakemeldinger fra teknologien – det kunne være et titalls tilbakemeldinger. I utgangspunktet var forskerne engstelige for at antall tilbakemeldinger kunne være for mange og at det kunne virke overveldende og demotiverende for elevene. Det viste seg å ikke være tilfelle.

– De leste hver eneste tilbakemelding og brukte mye tid på å rette tekstene i henhold til tilbakemeldingene. Vi var positivt overrasket, sier Engeness.

Forbedret karakter i eksperimentklassen

Totalt skrev elevene tre utkast, og førsteutkastet ble gjennomgått av læreren og sammenlignet med sluttresultatet i begge de to klassene. Læreren sto for vurdering og karaktersetting.

AI-programmet som ble benyttet under dette eksperimentet, er det første av tre prototyper som skal hjelpe elever til å skrive bedre tekster. Alle prototypene har forskjellige egenskaper og funksjoner. De skal kunne analysere tekstene for å gi syntaktiske, semantiske og sentimentale tilbakemeldinger. Den første prototypen gir tilbakemeldinger på grammatikk og semantikk, samtidig som den henviser til gjeldende regler. Denne prototypen bruker relativt lite AI-teknologi.

Engeness forteller at de i neste omgang skal teste ut en prototyp som skal kunne analysere tonen som skapes i tekstene. Programmet vil kunne identifisere en alvorlig tekst, en tekst med formell tone eller følelsene teksten fremkaller hos leseren. Den vil kunne gi tilbakemeldinger om hvorvidt stemningen i teksten stemmer med intensjonen.

– Vi er nå i gang med å lage denne andre prototypen, og den skal vi teste ut i oktober eller november, forteller prosjektlederen fra Høgskolen i Østfold.

Den andre prototypen vil i større grad ta i bruk AI-teknologi, fordi den skal analysere og forstå selve meningen i tekstene.

Digi spør Engeness om EAT-programvaren også kan tilpasses andre brukergrupper som skriver mye tekst, for eksempel journalister, studenter eller forskere.

– Vi har ikke et mål i prosjektet om å utvikle programmet til flere brukergrupper, men det kan godt være et oppfølgingsprosjekt for å utvikle flere generasjoner eller neste generasjoner av programvaren tilpasset flere brukere, svarer hun.

Ingen ny ChatGPT

Forskerne understreker i en pressemelding gjengitt på høgskolens nettside at EAT er noe helt annet enn ChatGPT og andre AI-produkter som lager tekster på egen hånd.

– Dette er totalt forskjellige produkter. ChatGPT er et produkt som produserer en tekst for brukeren, mens i vårt tilfelle handler det om å ta et essay eller en tekst eleven selv skriver, og gi tilbakemelding på denne. Det er kun AI-teknologien bak disse softwareproduktene som er lik, presiserer førsteamanuensis Hasan Ogul i pressemeldingen.

Prosjektet har flere samarbeidspartnere, blant annet Halden kommune, som er involvert som skoleeier.

Løser problemer, erstatter ikke folk

Fagleder skole – undervisning og oppvekst i Halden, Hege Jeanette Machulla, sier til Digi at innovasjon og digitalisering er viktig for kommunen, som deltar med skolene, inkludert både ledelsen og et utvalg lærere og elever, samt en representant for skoleeiernivået.

– Vi er opptatt av smartere løsninger og ny teknologi, og vi prøver å bruke det digitale til å løse en del av utfordringene vi står overfor, men ikke til å erstatte folk, presiserer Machulla.

– Kunstig intelligens er en del av Halden-samfunnet, og der er vi også ganske ledende, legger hun til. Dette er noe av bakgrunnen for at Halden kommune er interessert i å prøve ut teknologien i skolen.

– Det er spennende å se hvor det bærer hen. Det ser jo veldig positivt ut. Tilbakemeldingene går ut på at prosjektet oppleves som positivt.

Bedre engelsktekster

Machulla sier at programmet gir en vurdering av visse sider ved elevenes arbeider, men at det ikke er noe retteprogram eller program som regner ut karakter.

– Læreren får bedre tid til den faglige veiledningen og den individuelle motiveringen av elevene som ikke dekkes av verktøyet – det som innebærer utøvelse av skjønn og relasjonell samhandling, sier hun.

Machulla tror AI-verktøyet innebærer en god del læring både for elevene og for læreren og at det dermed vil fremme utvikling og læring, slik at elevene skaper bedre engelske tekster.

– Dette er jo positivt og gir en del synergieffekter. Engelsklærerne får god oppfølging fra fagmiljøet og muligheter til faglig oppdatering og kompetanseutvikling, sier hun.

Hun tror et program av denne typen kan bidra til å løfte nivået i engelsk.

– Dette er jo med på å forbedre skriveutviklingen til elevene. Det utvikler grammatikk, tekstproduksjon og rettskriving, og læreren frigjøres mer til andre oppgaver – det er ikke minst viktig, fastslår Machulla, som tror programmet også kan gi gevinster for undervisningen i andre fag enn engelsk.