Liten feil førte til større problemer for Skatteetaten

Mandag denne uken meldte Skatteetaten om ustabilitet i sine systemer. Det ga seg utslag i at enkelte tjenester ikke fungerte, både hos dem selv og hos andre etater.

Skatteetaten kan nå melde at feilen ble funnet og utbedret tirsdag ettermiddag.

Etter at feilen først ble meldt rundt klokken 22 søndag kveld, ble det først antatt at en omstart natt til mandag ville løse problemene. Da systemene ble tatt i bruk av flere utover mandagen, viste det seg å ikke stemme, forteller Skatteetatens IT-direktør Jørn Leonhardsen til Digi.

Feil i komponent

Det viste seg at en liten tue veltet et stort lass.

Problemet skyldtes nemlig en feil på en såkalt SFP, det vil si en «Small Form-factor Pluggable».

Dette er en liten transceiver som brukes som signaloversetter mellom fibernett og elektrisk nettverk.

I utgangspunktet koster ikke slike mer enn en knapp tusenlapp, litt avhengig av modell.

– Denne hardware-feilen gjorde at datatrafikken ble kraftig redusert og at flere av systemene våre var vanskelige å nå eller tidvis utilgjengelige på mandag.

Problemet her var at feilen gjorde at mye av trafikken sendt om igjen, noe som førte til at det ble «kork» i systemet, slik at noen tjenester ble utilgjengelig for brukerne.

– Hvordan fant dere ut at det var akkurat denne enheten som hadde feilet?

– Grunnen til at vi ikke fikk det frem på vår overvåkningsløsning, var at løsningen vi har per nå detekterer hardwarefeil, men klarer ikke å fange opp avvik på komponentnivå så lenge komponenten tilsynelatende virker. I dette tilfelle var den aktuelle komponenten ikke død, men ustabil.

Tidkrevende feilsøking

Dette gjorde også at det tok tid å finne ut hvor feilen lå.

– Feilsøking avdekket etter hvert i hvilket datasenter feilen hadde sitt utspring, og alle tekniske komponenter (server, lagring, brannmur og nettverk, etc) ble gjennomgått og gradvis eliminert til vi fant logger på den aktuelle svitsjen som pekte på den aktuelle SFP-en, som så umiddelbart ble slått av, sier Leonhardsen.

– Denne ene forbindelsen var koblet sammen i en Port Channel (link aggregering) sammen med flere andre fysiske linker for å sikre kapasitet og redundans, og det ville ikke vært et problem dersom SFP-en hadde feilet. Men den feilet ikke, den var «bare» ustabil. Hadde den feilet fullstendig, ville redundansen sørget for at trafikken hadde gått over de andre kablene.

Den ustabile SFP-en er nå skiftet ut, og datatrafikken skal ifølge Skatteetaten fungere som normalt.

En rekke andre virksomheter som har datautveksling med Skatteetaten – for eksempel Politiet, Norsk Helsenett og Brønnøysundregistrene – ble rammet av at Skatteetatens tjenester ikke var tilgjengelige som vanlig i dette tidsrommet.

– Ingen data har havnet på avveie, og det er ingen skader på noen systemer, tjenester eller utstyr, sier Leonhardsen.