NTNU friskmelder IT-systemet tre uker etter mystisk driftsstans – her er årsaken til havariet

(OPPDATERT med en presisering fra Uninett i eget avsnitt.)

8500 ansatte ved NTNU ble hardt rammet da epostsystemet gikk ned for telling i forrige måned.

Mens studentene bruker skyløsningen Office 365 er staben fortsatt avhengig av en lokal installasjon av Microsoft Exchange, som universitet drifter selv i en serverpark.

Situasjonen med nedetid og ustabilitet ble beskrevet som kaotisk. Lenge slet de med å finne årsaken til problemene.

– Nå er vi kommet dit at vi ikke kan utelukke at dette dreier seg om et kyberangrep, sa universitetets IT-sjef Håkon Alstad til digi.no for snart to uker siden.

Selv om webmail da fungerte slet de fortsatt med ustabilitet. Klientprogramvare som Outlook var også stengt for bruk. Videre ble også booking av møterom rammet.

Friskmeldt

Først mandag denne uken kunne IT-avdelingen friskmelde løsningen i en kunngjøring på intranettet.

Nå forklarer Alstad til digi.no hva som faktisk skjedde. Det var verken et kyberangrep eller utfordring knyttet til ekstra trafikk fra Mac-klienter, som har vært to teorier som ble forkastet underveis i undersøkelsene.

– Problemene startet 14. mai og gikk fram til torsdag i forrige uke. Det har vært spekulasjoner rundt hva dette var. Til slutt var det en Microsoft-ekspert som avdekket feil i noe systemprogramvare, sier IT-sjefen.

Han ønsker ikke å gå nærmere inn på hva slags systemprogramvare som sviktet. NTNU har ifølge ham en relativt stor serverpark og feilen ble funnet i det han kaller basis infrastruktur.

Sperret Mac-brukere ute - men feilen lå et annet sted

Alstad strekker seg til å si at det ble funnet en «korrupt systemprogramvare» som måtte fjernes.

– Vi ønsker ikke å gå mer i dybden på det.

– Nå har vi kjørt systemet stabilt i over en uke og valgte å friskmelde mandag. Vi mener vi har funnet rotårsakene. Det er veldig beklagelig det som har skjedd med mye ustabilitet. Epost er helt klart en av de mest sentrale applikasjonene ved NTNU, sier Alstad.

På konkret spørsmål om det oppsto en epost-loop i en eller annen form, så avviser han det.

– Var dette en feil som også andre virksomheter kunne ha vært rammet av?

– I et IT-system kan du ikke utelukke feil. Konsekvensene blir mye større når systemene berører mange ansatte og store deler av deres arbeidshverdag.

Underveis har eksperter både fra Microsoft, Atea og Uninett (* se under) jobbet med å finne årsak til problemene, opplyser Alstad. En egen seksjon på NTNU Gjøvik som jobber med IT-sikkerhet har også bistått.

– Feilsituasjonen er gjerne litt uoversiktlige i en første fase. Vi mistenkte at vi var utsatt for et angrep og så at vi hadde veldig stor trafikk fra Mac-klienter. I en periode måtte vi ta vekk aksessen for dem, og det er veldig beklagelig.

Uninett: – Bisto på eget initiativ

Uninett mener at omtalen av deres bidrag er blitt feilaktig fremstilt. De ble selv rammet av epostproblemene fordi de har NTNU som epostleverandør.

– I den grad vi hadde noe med saken å gjøre var det at Uninett CERT på eget initiativ bisto med sikkerhetsekspertise, opplyser Uninett til digi.no.

Høy temperatur

Frustrerte ansatte har i situasjonen som oppsto ikke lagt skjul på sin misnøye. Det har vært tøffe uker, medgir IT-sjefen.

– Det har vært høy temperatur. Det er det ingen tvil om, men vi har fått støtteerklæringer også. Klart folk blir frustrert når du er usikker på om du får gjort jobben din. Det har vært to tøffe uker, sier Alstad.

Hver dag tikker det inn rundt 200.000 epost på det tekniske universitetets løsning. Nedetiden og ustabiliteten som oppsto var en uventet erfaring.

– Vi har ikke vært utsatt for noe lignende. Generelt har epostsystemet vårt vært veldig stabilt. Det vi merker er at NTNU er blitt en veldig mye større organisasjon de siste årene. 8500 ansatte bruker løsningen, så dette er veldig virksomhetskritisk.

En slags redning ble det at ansatte tok til chattefunksjonen i Skype for å kunne kommunisere når epostsystemet ikke fungerte, forklarer han.

Kan ikke utelukke tapt epost

De siste ukene har IT-avdelingen iverksatt ekstra krisetiltak. Dette for å unngå at problemene skulle påvirke eksamensavvikling, søknader om studieplass og ting rundt lønn til ansatte.

Alt ble avhjulpet av andre løsninger, forteller Håkon Alstad.

– Vi tror ikke at epost er gått tapt, men kan heller ikke utelukke at det har skjedd i noen av restart-operasjonene. Egentlig skal avsender da blir varslet, men vi kan ikke utelukke noe, men tror ikke noe er tapt, i hvert fall ikke i stor skala.

Etterarbeidet kan starte

Fremover skal IT-avdelingen gjøre en grundig evaluering av hendelsen. Det kan resultere i ny løsning på sikt, selv om det er for tidlig å konstatere noe.

– Evaluering blir både for å lære og tenke igjennom hvordan vi kan sikre systemene. Flere ting kommer til å bli vurdert. Forrige mandag gikk vi også ut internt og vurderte en rekke tiltak, også om vi skulle bygge et helt nytt system fra scratch. Det slapp vi, men det er ikke umulig at vi uansett bygger opp et ekstrasystem, men det er ikke besluttet, sier Alstad.

De har en etablert ITIL-metodikk for driften sin. Der ligger det ifølge ham automatisk en såkalt review av driftsstansen.

– Men her ønsker vi å evaluere også utover det, sier han.

– I hvilken grad har hendelsene aktualisert eller fremskyndet planer om overgang til skybasert epostløsning også for ansatte, slik studentene allerede har?

– Både på godt og vondt. Vi gjør utredninger om vi skal flytte de ansatte ut i skyen. Det er arbeid som var startet før denne hendelsen. Vi kommer til å gjøre en totalvurdering i forhold til hva som kan være en god løsning for NTNU fremover. Om det blir lokalt eller sky. Uansett er omlegging til et skybasert system for ansatte en lang prosess, som er estimert til et halvt års prosjekt.