Plutselig løp ressursene løpsk: Det førte til en kaskadeeffekt av utfordringer

En uforutsett økning i belastningen på en av serverne sørget for at eksamen gikk i svart for studenter over hele landet mandag. Overfor IT-leverandøren har NTNU uttrykt sterk bekymring for resten av eksamensperioden.

– Noen studenter opplevde tregheter, noen fikk feilmeldinger, og noen opplevde ren nedetid der systemet var utilgjengelig. Vi har gjort det klart at vi forventer at resten av eksamensperioden gjennomføres uten større hendelser, sier avdelingsdirektør Annikken Løe ved NTNU til Digi.

Skryter av tilnærmet 100 prosent oppetid

Systemleverandør Inspera sier at de frem til denne hendelsen har hatt en oppetid på nærmere 100 prosent i 2022. Selskapet mener problemene som inntraff, var høyst uforutsette.

Problemene skal ha blitt identifisert, feilsøkt og rettet på 23 minutter, opplyser selskapet.

Det som skjedde får ingen økonomiske konsekvenser for leverandøren nå, opplyser NTNU.

Avdelingsdirektør Løe sier allikevel at det har skapt utfordringer for tilliten til eksamenssystemleverandøren.

Har hatt møter med leverandøren

NTNU har hatt møter med det norske selskapet etter hendelsen. Der har de fått forsikringer om at kapasitet og overvåkningsrutiner er bedret.

Løe sier at studentene ble berørt i ulik grad av problemene.

– De som ikke fikk levert selv på eksamensdagen, fikk levert sin besvarelse torsdag. Kandidater som ble berørt i større grad, ved at de for eksempel mistet eksamenstid, vil kunne klage på formell feil ved eksamensgjennomføringen og få tilbud om ny eksamen, sier hun.

Daglig leder og gründer Bjørn Rustberggaard i Inspera sier til Digi at problemene med systemet var sammensatt.

Ifølge ham fikk en av de bakenforliggende tjenestene en uforutsett belastningsøkning. Kort tid etter økningen oppstod en kaskadeeffekt som forårsaket at hele plattformen ble utilgjengelig.

Fanget opp av overvåkningstjeneste

Belastningsøkningen ble først fanget opp av de automatiserte overvåkningstjenestene.

Etter at kapasitetsutfordringene ble oppdaget, iverksatte Inspera tiltak for å øke tilgangen på ressurser, slik at eksamensplattformen kunne operere som normalt.

– Utvidelse av kapasiteten tok 15 minutter å gjennomføre og ytterligere åtte minutter for plattformen å normalisere og lastbalansere, slik at eksamenssystemet fungerte som forventet, sier Rustberggaard og fortsetter:

– Samtidig hadde vi løpende kontakt med utdanningsinstitusjonene og ga informasjon om hva som ble gjort og hva som kunne forventes.

Senket terklene

Han sier at Inspera nå har senket tersklene til overvåkningssystemene, slik at selskapets ansatte blir tidligere varslet. Dermed kan de iverksette tiltak raskere enn de hadde anledning til denne gangen.

I tillegg skal stegene som kreves for å utvide kapasiteten på de ulike tjenestene, automatiseres – slik at den bakenforliggende infrastrukturen får mer ressurser når de satte terskelverdiene nås.

– Vi vil også se på muligheter for enklere å løsrive enkelttjenester for å begrense omfanget dersom noe lignende allikevel skulle skje på nytt, sier den daglige lederen til Digi.

Ingen data gikk tapt

Selskapets egne undersøkelser viser at ingen av dataene til studentene har gått tapt. Rustberggaard sier at han har forståelse for at studentene opplevde problemene med eksamenstjenestene som ekstra stressende.

Systemet er bygget slik at dersom de sentrale tjenestene blir utilgjengelige, vil de som aktivt gjennomfører en eksamen, kunne fortsette offline, og de skal kunne levere eksamensoppgaven når de sentrale tjenestene igjen blir tilgjengelige, forklarer han.

– Vi beklager overfor studenter og våre kunder at noe slikt skjer og reduserer eksamensopplevelsen. Vi håper at robustheten i løsningen, sammen med de tiltakene vi gjør for å unngå at lignende hendelser inntreffer, gir oss tillit til at vi har en tjeneste som både våre kunder og studentene kan stole på, sier Rustberggaard.