Tidenes ryddejobb: Nær halvert antall systemer

Skøyen, Oslo: − Det er som å spille Minesveiper, du vet aldri når du treffer en bombe, sier Kjell Rune Haugland, konsulent fra Vali på oppdrag hos Sykehuspartner.

71.000 klienter på mer enn 100 lokasjoner, og 4.000 identifiserte applikasjonsinstanser.

Hvor man enn snur seg, er det kritiske systemer på sykehusene: Fra journalløsninger og spesialistverktøy til programvare til MR-maskiner, til en rekke bygningstekniske systemer.

− På operasjonsstuene blåses ren luft ned på bordet og ut av rommet. Går løsningen som styrer det ned, må A-hus stenge alle operasjonsstuene, sier Haugland.

Digi møter ham sammen med Tore Hovden, spesialrådgiver i Sykehuspartner. De to har vært sentrale i det som, så vidt Digi kan forstå, må være Norges største saneringsarbeid.

Siden 2016, og i et eget prosjekt siden 2020, har helseforetaket tygget seg gjennom tusenvis av applikasjonsinstanser. 45 prosent av applikasjonene har blitt fjernet. Det har skjedd mye siden ryddejobben startet.

− Den gangen var vi amatører, sier Haugland.

Likevel, han kan ikke huske mer enn et titalls tilfeller der de ble nødt til å angre saneringen.

Ingen forsøk på standardisering

Hvert sykehus er sin selvstendige juridiske enhet, med hver sin IT-avdeling og hver sine systemporteføljer. Et sykehus som Oslo universitetssykehus har gjerne rundt 800 applikasjoner. I tillegg kommer alle applikasjoner som ikke kjører på nett, men sitter på ulikt utstyr, og alt som ligger i tjenestelagene og ikke er brukerrettet.

Da Sykehuspartner ble til i 2003 skulle de «bare» levere lønn- og HR-tjenester. Fra 2009 vokste oppdraget: De skulle levere IT-tjenester til alle sykehusene i regionen, med over 70.000 brukere.

Før den tid hadde det verken vært samarbeid eller forsøk på standardisering helseforetakene imellom.

− De fire sykehusene som ligger langs Ring 3 i Oslo valgte alle nytt system for røntgenbilder rundt år 2000. Alle valgte fra hver sin leverandør, sier Haugland.

Det var bakteppet da Sykehuspartner skulle over til Windows 10, og det helst innen 2020.

− Da traff vi på den store veggen med applikasjoner som skulle over fra Windows 7 til Windows 10. Vi forsto at her må vi gjøre noe, sier Hovden.

− Kom systemer ut av alle kroker

Ingen hadde sett for seg omfanget i den totale systemporteføljen.

− Det kom systemer ut av alle kroker. Det var en dobling av antall systemer Sykehuspartner visste om, sier Haugland.

Enkle ting ble raskt ryddet. 35 PDF-verktøy ble til 3, og en rekke desktop-applikasjoner ble standardisert.

− Men vi hadde ikke muskler til å ta det som gjorde vondt, sier Haugland.

For kostnaden med å bytte systemer er skyhøy.

− For det første er det dyre systemer, og så skal det konverteres, sier Haugland.

Da Radiumhospitalet skulle bytte røntgensystem fra Agda til Sectra, pågikk konverteringen i tre år. I tillegg kommer kostnader til opplæring, standardisering av kodeverk og mye mer.

− Når oppgavene må konkurrere mot liv og helse hender det at det kniper, sier Hovden.

Derfor har det vært helt avgjørende med grundig forankring.

Konkurrerte om å sanere mest

− Styringsstrukturen i Helse-Norge er jo kompleks. Skal du få gjort noe i en sånn struktur, må du forankre det, og selge det inn til de som sitter med beslutningsmyndighet, sier Hovden.

Prosjektet fikk etablert et eget initiativ for standardisering og sanering på strategisk nivå. Dermed kom sakene opp i både styremøtene og hos toppledelsen i helseforetakene.

Arbeidet fungerte.

− Etter de første månedlige rapporteringene til toppledernivå, ble det nærmest en konkurranse mellom foretakene, sier Haugland.

For å holde tempo måtte også prosessen standardiseres.

− Ja, det er ikke noe rakettvitenskap, men det er et poeng at vi har jobbet likt, sier Hovden.

Det første man må gjøre er å identifisere en applikasjon som kan saneres, så må helseforetaket bekrefte at applikasjonen kan saneres, så kan selve saneringen, altså det tekniske nedtaket, skje.

I løpet av 13 sprinter har prosjektet gått gjennom tusenvis av systemer. For et sykehus kan en sprint inneholde en liste med over 100 applikasjoner de skal verifisere.

Det kan være en krevende øvelse.

− Er den i bruk?

− I starten kunne vi bare svare på om applikasjonen var installert, men sykehusene ville vite om de var i bruk, sier Haugland.

Å slå av systemet og lytte etter om noen skriker er ikke et alternativ på sykehus.

− En av tingene vi har blitt mye bedre på er å finne kilder til fakta om hvorvidt applikasjonene var i bruk, sier Haugland.

Sporing av klikk på snarvei og annen overvåking har vært viktig.

− Da kunne vi si: − Vi ser at den applikasjonen ikke har blitt startet på seks måneder, sier Haugland.

Dermed gikk det raskere å få bekreftet hvilke systemer som kunne tas ned.

− Databasen vår er borte

Men det har glippet.

− En lørdag da jeg akkurat hadde startet motorsaga og sto i tjukke skogen, ringte luftambulansen og sa at databasen er borte. Den lå på en filserver, sier Haugland.

I en filomlegging hadde prosjektet vært nøye med å verifisere at de bare tok filservere, ikke programservere. De skannet og lette etter programmer, og trodde de hadde full kontroll. Men når ikke engang IT-avdelingen på sykehuset vet hvor viktige tjenester ligger, kan det by på problemer.

− Du vet ikke hvor du treffer, det kan være et hjørne av organisasjonen som bruker den, sier Haugland.

Totrinns sanering

Når prosjektet føler seg trygg på at en løsning kan saneres, oppretter de en standard endringsoppgave med mange underoppgaver.

− Hvis ikke risikerer du at du tar ned klienten, men glemmer både server og å ta ned overvåking, sier Haugland.

ITIL-tilnærmingen gir ikke bare full kontroll over hva som skal gjøres, men også muligheten til å rulle tilbake.

− Nå har ganske nøyaktig 4000 installasjoner av applikasjoner vært igjennom denne kverna, cirka 1700 av dem har blitt sanert, sier Hovden.

All sanering skjer dessuten i to trinn, med en venteperiode på seks måneder fra den blir borte for brukeren, til den teknisk er tatt ned.

− I noen tilfeller har vi fått beskjed om å reaktivere – Da har vi gjort det i løpet av timer, sier Haugland

− En forutsetning

Det skrives sjelden bøker om sanering. Få seminarer har hvordan du rydder i programvare-porteføljen som hovedtema. Likevel er det helt kritisk mener Sykehuspartner.

− Det å få kontroll på den kjedelige basisen, det er forutsetningen både for forutsigbare leveranser hver dag, og for å kunne drive med det spennende, sier Haugland.