Klokken 08.33 mandag morgen gikk alarmen hos NextGenTel.
Teknisk direktør Jørn Hodne forteller åpenhjertig til digi.no om hva som skjedde, og årsaken til at kundenes e-post nå er utilgjengelig på andre døgnet.
E-posttjenesten deres (Broadpark) er rammet av et harddisk-havari. – Mest sannsynlig er det en disk som har gått på trynet, sier Hodne.
Systemet består av flere titalls harddisker med redundanse. Alle diskene er speilet og er lagret fysisk på to forskjellige steder.
– Når vi setter inn ny disk så skal det replikeres tilbake fra speilet. Det er der det har krasjet på en eller annen måte. Hvorfor det stopper her har vi foreløpig ikke svar på.
Opptil 30.000 berørt
NextGenTel oppgir å ha 140.000 bredbåndskunder. I prinsippet har alle e-post inkludert i abonnementet, men det er langt færre som faktisk benytter seg av tilbudet.
Rundt 30.000 er innom tjenesten i løpet av et år. Hodne anslår at de har 6.000 aktive brukere av e-postjenesten. Ingen av disse får tilgang til innkommende e-post, verken via klient eller webklient før løsningen kommer opp igjen.
Forventet rettetid på driftsmeldingssiden var først oppgitt til mandag klokken 22. Dette er siden forskjøvet flere ganger og siste nytt er at e-posten blir tilgjengelig først tirsdag kveld.
– Det som skjer nå er at vi indekserer og kverner igjennom all e-posten på nytt. Det tar dessverre tid og er noe vi gjør i tett samarbeid med leverandør Oracle.
Får hjelp av Oracle
Hodne forteller at NextGenTel har serviceavtale med Oracle, og at de har eskalert tilfellet til det høyeste nivået. Det innebærer at leverandøren bistår dem døgnet rundt. I tillegg jobber NextGenTels egne teknikere med å få opp systemet.
– Vi har aldri opplevd nedetid i denne størrelsesorden for e-postsystemet vårt før. Ikke på de 14 årene plattformen har vært oppe. Vi har selvfølgelig vært rammet av fiberbrudd, men det blir en litt annen type feil, sier han.
NextGenTel-direktøren forsikrer at ingen e-post blir borte. Ingen av kundene skal risikerer å miste noe.
– Vi har varslet Post- og teletilsynet om det som har skjedd i henhold til ekomloven, slik at vi følger alle spillereglene.
Fokuset nå er som nevnt på å «indeksere» opp alt sammen. Parallellt er de klar med tilbakeføring av alle data som eventuelt må erstattes fra backup.
– Vi står klar for å injisere backup dersom det blir aktuelt. I så fall gjelder det bare den ene disken som er berørt. Det er mange titalls disker her, så det omfatter bare et fragment av kundenes e-post, sier Jørn Hodne.
Underveis overvåker de prosessen med å ta opp innholdet. Det er hvor langt de har kommet med denne jobben som gjør at de med en rimelig grad av sikkerhet tror at e-posten kan friskmeldes til klokken 22 tirsdag kveld.
Hodne er lei seg på vegne av kundene som i mellomtiden er uten e-post og kan bare beklage det inntrufne.
