Alarmer i hele Norge gikk ned for telling

Natt til tirsdag forrige uke hadde en nordisk alarmleverandør en alvorlig driftsfeil i datasentrene sine. Det sørget for at brann-, innbrudd- og ransalarmer var ute av drift i hele Norge. Infrastrukturleverandøren leverer alarmløsninger til blant annet Securitas og brannvesenet.

– Vi hadde et alvorlig utfall mandag kveld rundt klokken 23.30. Det førte til ustabilitet og nedetid på infrastrukturen, sier norgessjef Ståle Moe i Addsecure til digi.no.

50 000 kunder

Selskapet leverer sikker alarmoverføring til ulike aktører i det norske og nordiske markedet.

De forsyner 50 000 kunder og partnere med sikre kommunikasjonsløsninger innen overvåket alarm og kritisk IoT-kommunikasjon.

Ved en eventuell alarm ute hos kunde vil signalet først bli sendt til Addsecure, før alarmen rutes videre til aktuelt sikkerhetsselskap som så håndterer alarmen.

«Våre løsninger - som bidrar til å redde liv, beskytte eiendom og sikre vitale samfunnsfunksjoner – er fleksible, enkle å installere og bidrar til å øke våre kunders konkurranseevne.», skriver selskapet på egne hjemmesider.

Skulle oppgradere lagringsløsning

Natt til tirsdag var det ingen ting som skulle tilsi at selskapet oppfylte egne målsetninger.

– Om du har hatt en brann eller annen varsling fra oss i dette tidsrommet ville det vært en sjanse for at den ikke fungerte mellom 23.30 mandag og 06.30 tirsdag, konstaterer Moe.

En rutinemessig oppdatering av lagringsinfrastrukturen i datasentrene skulle få fatale følger. Midt i oppgraderingen av fastvaren på enhetene skjer det en feil.

Dermed må alle systemer startes på nytt, og en opphopning av data begynner å bre om seg i systemene, viser en rapport digi.no har fått tilgang til.

For å sørge for at dataene er i databasene ikke er korrupte, må det utføres en konsistenstest av alle diskvolumene. Dette skulle vise seg å bli en svært tidkrevende prosess.

Som om ikke det var nok, hadde underleverandøren også stanset replikasjon av data mellom lagringsløsningene i de to datasentrene. Dermed var systemet som i utgangspunktet skulle være redundant satt ut av spill, heter det i rapporten.

– Rotårsaken er nå påvist. Problemene har blitt forårsaket av feil i programvareoppdateringen til lagringsenhetene. I forbindelse med oppdateringen ble også redundansen til systemene påvirket, sier norgessjef Moe til digi.no.

Feilen ble raskt oppdaget

Han forteller at problemene ble oppdaget raskt og at underleverandøren kjapt var på banen for å rette feilen. Driftsteknikerne deres jobbet iherdig igjennom hele natten for å komme frem til en løsning.

Securitas er blant selskapene som ble rammet av driftsstansen. Selskapet opplyser til digi.no at bare et fåtall av deres lokasjoner ble rammet av harddiskproblemene hos Addsecure.

Sikkerhetsselskapet er fornøyd med oppfølgingen de fikk av infrastrukturleverandøren, og opplyser at de har tydelige varslingsrutiner ved denne type hendelser.

– Rutinene er interne for Securitas og noe vi ikke ønsker å gå nærmere inn på, sier markedssjef Eldrid Odden Otterlei i Securitas til digi.no.

Hos brannvesenet i Asker og Bærum går alle deres alarmer via Addsecure. 110-vakta har notert tre oppringninger fra Addsecure som har underrettet dem om dramaet som utspant seg natt til tirsdag.

Skal gå igjennom alle rutiner

– Vi har ingen grunn til ikke å være fornøyd med oppfølgingen til Addsecure vedrørende denne hendelsen, kommenterer brannsjef i Asker og Bærum, Anne Hjort til digi.no.

Selv om hverken Securitas eller brannvesenet er misfornøyd med oppfølgingen fra infrastrukturleverandøren, førte utbruddet til at 5 138 alarmmeldinger ikke nådde alarmselskapene de var ment for, heter det i rapporten fra selskapet.

De tusenvis av meldingene fordelte seg på totalt 1 647 alarmsendere. Addsecure ønsker ikke å opplyse til digi.no hvem som ble berørt av nedetiden.

Etter driftsproblemene skal sikkerhetsleverandøren gå igjennom interne rutiner for feilhåndtering og eskalering. De vil også gjennomgå rutinene for varsling, og skal sørge for at aktuelle varslingslister blir oppdatert, viser rapporten.

Sammen med ansvarlig underleverandør skal de også gå igjennom de tekniske løsningene for å se om det er rom for forbedring.

– Etter at systemene var i normal drift ble det arbeidet med å få unna kortsiktige følgefeil slik at alt nå fungerer helt som det skal. Videre boret vi oss ned for å finne rotårsaken til problemene, sammenfatter norgessjef Ståle Moe i Addsecure til digi.no.