Å lagre dataene i den offentlige skyen, er ikke noe alternativ for Kartverket

HØNEFOSS (digi.no): Det er få i Norge som lagrer og tilbyr mer data enn Kartverket. Bare det siste året har nødvendig lagringskapasitet for datamengdene som etaten lagrer, vokst med to petabyte.

Hva er det hos etaten som skaper så store datamengder? Hvordan fungerer IT-driften? Hvor mye av dataene er tilgjengelig gratis?

Dette var noe av det vi håpet å få svar på da vi i februar satte kursen mot Kartverkets hovedkontor på Hønefoss. Der møtte vi IT-direktør Olav Petter Aarrestad og avdelingsdirektør IT-drift, Pål Arnesen. De hadde mye å fortelle.

12 petabyte

– Vi liker å omtale oss som en IT-bedrift. Vi har også en egen skyløsning med både Windows- og Linux-servere. I løpet av noen år har vi blitt veldig digitale. Temaet for oss er datafangst, digital produksjon av data og selvfølgelig digital formidling til brukerne. Papirprodukter er mindre etterspurt, men det lages fortsatt digitale trykkegrunnlag for både land- og sjøkartserier. Trykte produkter er aktuelt for friluftsfolk og ikke minst viktig i beredskapssammenheng. Det har vært en kolossal vekst i datamengdene de siste årene. Vi har mye data som blir mye brukt. I dag har vi en lagringskapasitet på 12 petabyte, innledet Aarrestad.

Kartverket ble etablert allerede i 1773 og liker å kalles seg for Norges eldste, tekniske etat. Den har sin opprinnelse fra den gangen det var potensiell krig mot svenskene, og man trengte kart.

– Det var i mange år en ganske militært rettet funksjon, noe det fortsatt er i en del andre europeiske land. Men både her hjemme og i mange andre land har dette beveget seg i en helt annen retning på grunn av det faktum at en veldig stor del av dataene i verden kan verdiøkes dersom du kan gi dem en posisjon. Det er jo på mange måter det vi driver med, å gi tilgang til de dataene som kan gi økt verdi av andre tjenester, fortalte Aarrestad.

Skytjenester

Ifølge Arnesen startet den store veksten i datamengdene hos Kartverket rundt 2008/2009.

– Det var da virtualisering kom på banen, det som er skyteknologien vår i dag. Dette gjorde det langt enklere å få satt opp servere, samtidig med at flyfotografering tok av. Det er i hvert fall 14-15 år siden ledergruppa gjorde et vedtak om at Kartverket er en IT-bedrift, fortalte Arnesen.

– Vi kjører alt «inhouse». Vi har så store mengder data at dersom vi skulle legge disse dataene ut i skyen, så blir kostnadene veldig store på grunn av prismodellene der ute. Vi har regnet på dette mange ganger og har laget oss prismodeller basert på Gartner for å sammenligne og møte diskusjonene rundt skytjenester kontra «inhouse», som kommer opp med jevne mellomrom. Det er en to-tre ganger lavere kostnader her enn det er tilsvarende ute, sa Arnesen.

– For oss har taksameteret feil parametere da vi har store transaksjonmengder og lagring, sa Aarrestad, som forteller at den interne skyløsningen er like dynamisk som det de kommersielle er.

For kostbart å bytte ut

Lagringssystemene som Kartverket bruker, er det Atea som har levert.

– Vi har hatt Atea som leverandør lenge. I henhold til anskaffelsesreglene går vi ut med anbud med jevne mellomrom. Vi begynte tidlig med HPE 3PAR-løsningene fra Atea, og det er jo slik at hver gang vi skal utvide datasenteret med nye anskaffelser, må dette passe i den eksisterende infrastrukturen. Det har blitt sånn at kostnadene ved å bytte det ut med noe annet, derfor ble ekstremt store. Så vi har fortsatt med disse løsningene over ganske lang tid. Over et par-tre år på rad måtte vi doble kapasiteten hvert år. Nå har det flatet litt ut, men ikke veldig mye, fortalte Arnesen.

Også den interne nettskyen kjøres på maskinvare fra HP Enterprise. Som virtualiseringslag er det valgt løsninger fra Vmware. I dette kjøres det som nevnt både Windows- og Linux-maskiner. Ifølge Arnesen er Linux-andelen økende.

– Det er flere årsaker til dette, blant annet at flere av leverandørene til den programvaren vi kjører, foretrekker Linux. Oracle, som vi i dag kjører i et Windows-miljø, er blant disse. De kommer med Linux-versjoner før de kommer med Windows-versjoner, og vi vurderer fortløpende om vi skal skifte over til Linux, fortalte Arnesen.

Kopidatabaser

– For vår egen del handler det om kostnader. Vi tok i bruk Linux den gangen vi presenterte de første offentlig tilgjengelige tjenestene. Da brukte vi de åpen kildekode-baserte PostgreSQL- og PostGIS-databasene. Vi bygde WMS-tjenestene (Web Map Services, journ. anm.) våre på disse fordi vi så at dersom vi skulle latt disse tjenestene være knyttet rett til Oracle-databasene, ville vi ha gått rett på nesa når det gjelder lisenser, slik lisenspolitikken til Oracle var den gang. Så vi valgte å prøve dette, og siden har det blitt mer og mer Linux, forklarte Arnesen.

Kartverket har likevel en strategi og en policy om å kjøre alle etatens forvaltningsdatabaser på Oracle. Tjenestene er derimot basert på kopidatabaser som er åpen kildekode-baserte.

I alt har Kartverket tre geografisk atskilte datasentre, i tillegg til en egen sentral for backup.

– Det er bygd opp med redundans slik at vi kan kjøre på bare én av sentralene, dersom de andre er satt ut. Så å si alle serverne er virtuelle, men det er noen spesialservere som er fysiske, fortalte Arnesen. Også nettverkene i sentralene er virtuelle.

Eget nettverk

Kartverket drifter også et eget nettverk mellom etatens tolv kartkontorer, sjødivisjonen i Stavanger, et anlegg på Svalbard og kundesenter i Ullensvang, hvor også Borettsregisteret er lokalisert.

– Det er to linjer hele veien. Globalconnect er leverandør, men alt utstyret i begge ender har vi kontroll på selv, fortalte Arnesen.

I det hele tatt er det Kartverkets egne folk som står for driften av systemene.

– Vi har en god og robust infrastruktur. Vi har veldig bra oppetid og få tekniske forstyrrelser, fortalte Aarrestad.

Lykkes med rekruttering

Det er stor konkurranse om IT-kompetansen i Norge. Hønefoss er ikke noe unntak. Men dette ser ikke ut til å være noe stort problem for Kartverket.

– Det at vi er så store og såpass høykompetente, gjør at vi får rekruttert folk fra regionen her, fordi teknikerne ønsker å jobbe i denne typen miljø. Det har vært en fordel for oss hele veien, sa Arnesen.

– Det har vært en nesten litt overraskende situasjon rundt rekruttering. Det å få tak i de generalistene vi trenger, og godt kompetente folk, det går i all hovedsak bra. Vi har en sourcing-strategi hvor vi både bygger kompetanse internt og fyller på med spisskompetanse når vi trenger det, fortalte Aarrestad.

Han la til at en rekrutteringsrunde som startet før jul i fjor og som har pågått fram til nå, bekrefter dette bildet.

– Det er ikke sikkert det passer for alle, i alle faser av livet, å sitte en time halvannen på buss til Oslo, la han til.

En annen faktor som nok også spiller inn, er de ansattes opplevelse av å gjøre noe meningsfylt.

– Da vi for noen år siden utviklet elektronisk tinglysning, sa både konsulenter og våre egne ansatte at det var fint å jobbe for Kartverket, for da var de med på å bygge noe for Norge. Det er jo hyggelig, fortalte Aarrestad.

I dag er det omtrent hundre personer i IT-avdelingen til Kartverket. Disse er i dag ganske jevnt fordelt mellom drift og utvikling. Aarrestad regner med at avdelingen vil vokse med rundt ti hoder i løpet av året, de fleste på utviklingssiden.

Ser på nye muligheter i offentlig sky

Aarrestad avviser likevel ikke at offentlig nettsky kan bli tatt i bruk på andre områder, men da i stor grad nye tjenester som kommer fra skyleverandørene.

– Da ikke bare på lagring og computing, men også for eksempel prosessering og AI. Det foregår et arbeid her nå som ser på hvordan ulike datakilder kan settes sammen, for eksempel flyfoto og identifisering av bygninger, kontra matrikkelen. Da kan man finne bygninger som ikke er registrert. Den type bruk ser vi en framvekst av, framfor ofte ganske manuelle måter å vurdere datagrunnlaget på. Vi ser nå på muligheten for å kombinere kilder som gir nye muligheter, fortsatte Aarrestad.

Han fortalte at det er lite sannsynlig at Kartverket selv kommer til å sitte med stor grad av kompetanse på disse områdene, utover selve bruken.

– Selve systemene og spisskompetansen er det mer naturlig for oss å hente ute, som kjøp av tjenester. Vi kjøper allerede i dag en god del tjenester til infrastrukturen vår. Både på teknisk side og på utviklingssiden bruker vi i stor grad innleid kapasitet, enten for å ta noen topper eller for å dekke behov vi måtte ha for spisskompetanse, sa Aarrestad.

Dataveksten

Det er flere årsaker til at datamengdene har vokst så mye de siste ti-tolv årene. Noe skyldes at Kartverket har overtatt ansvaret for tjenester og data fra andre, noe skyldes fangst av nye data, mens atter andre data stammer fra papirdokumenter som digitaliseres.

Saken fortsetter under bildet.

I 2006 overtok Kartverket selv driften av Matrikkelen, som er Norges offisielle register over fast eiendom, herunder bygninger, boliger og adresser. Fram til da hadde den blitt kjørt på en stormaskin. Senere har Kartverket også overtatt driften av tinglysningen og grunnboken fra Ambita.

Det samme gjelder de kommunale kartdataene. Ifølge Aarrestad er det kommunene som eier det mest detaljerte kartgrunnlaget for landet.

– Men i stedet for at hver av de 356 kommunene sitter med hver sin original, så synkroniserer de nå mot en sentral original, og så laster de tilbake igjen til sine saksbehandlingssystemer. Per i dag er 327 av 356 kommuner påkoblet Sentral felles kartdatabase, fortalte Aarrestad. Den sentrale originalen driftes av Kartverket.

«Marty» og kommunereformen

Dette er for øvrig et område som Kartverket har jobbet mye med den senere tiden, på grunn av kommunereformen.

– Vi er stolte av gjennomføringen av kommunereformen hos oss. Den gikk tilnærmet smertefritt. De nye kommunene ble født i matrikkelen, før de spredtes til andre tjenester. Som en konsekvens av reformen hadde vi 115 millioner objektendringer i matrikkel og grunnbok. I den sentrale kartdatabasen, SKB, som kommunene er tilknyttet, der var det 150 millioner endringer. Så det var en voldsom aktivitet her fra like før jul og fram til 1. nyttårsdag, da alt var tilgjengelig igjen, fortalte Aarrestad.

For Kartverket var det et mål å unngå at det ble veldig stort trøkk den 1. januar.

– Vi lagde en framtidsmatrikkel, som internt het «Marty» – altså en «Tilbake til fremtiden»-tilnærming som vi syns var litt innovativ. Vi visste på forhånd at kommune x skulle bli til kommune y, og dermed også hva slik som gårds- og bruksnumrene skulle bli. Dermed kunne vi sette framtidsmatrikkelen i produksjon allerede i oktober og synkronisere med alle de rundt 130 brukerne der ute. Vi vet at dette har vært veldig positivt for dem. For det er mange brukere som har overraskende gamle datasystemer, hvor for eksempel kommunenumre er hardkodet. Det at de kunne teste dette mot en ny struktur, gjorde at de fikk luket ut en del problemstillinger, fortalte Aarrestad.

Dette førte til at Skatteetaten, Nav, SSB og alle andre som bruker disse dataene, allerede på forhånd hadde fått den oppdateringen som skjedde den 1. januar.

– Det var et stort poeng for oss at dette skulle gi god forutsigbarhet. Det har også vært tett dialog med leverandørene hele veien. Det var veldig viktig at man ikke begynte å peke på hverandre dersom noe skulle begynne å gå litt skeivt her, men i stedet være konstruktive og prøve å løse de problemene som måtte komme. Alt det forarbeidet vi gjorde for ikke minst å sikre at løsningen ble brukt, gjorde at det ble minimalt med gnisninger. Vi fikk veldig gode tilbakemeldinger, fortalte Aarrestad.

Laserskanning

Kartverket fikk nylig oppmerksomhet på Dagsrevyen for et prosjekt som har pågått siden 2017, nemlig landsdekkende laserskanning av høydedata. Ifølge Aarrestad gjenstår det nå bare noen områder i Finnmark. Skanningen, som skjer fra fly, er til en viss grad væravhengig. 2019 var sånt sett et veldig bra år, slik at Kartverket fikk skannet en god del mer enn opprinnelig planlagt. Prosjektet har kostet 420 millioner kroner.

Saken fortsetter under bildet

– Hvor tett målingene gjøres, avhenger av behov og finansieringsevne. I bebygde områder, hvor det er potensielt større behov for å ha tette målinger, har man to til fem punkter per kvadratmeter. Da får man en veldig reell visning av hvordan terrenget ser ut. I tillegg tar skanningen også med blant annet hva slags type vegetasjon det er, noe som gir mer verdiøkning av datafangsten enn bare terrengprofilen. På dette grunnlaget kan man lage matematiske modeller over hvilke konsekvenser store vann- og snømengder kan få, sa Aarrestad.

– Vi har kommet langt, og begynner å se bruken av dette i forbindelse med endringer i klima. Dette er data man kan beregne konsekvenser av når det gjelder både flom, store nedbørsmengder og ras. Det er en kuriositet at der man har hatt forbudssoner mot bygging, der er det kanskje ikke så farlig som man trodde, mens andre områder burde ha vært båndlagt, ikke er det, fortsatte han.

Rådata og verdiøkning

Han mener at dette er typisk for hvordan Kartverket opererer i dag.

– Vi står for fangsten, men typisk deles dette med andre etater som bruker dataene til verdiøkning og å gjøre beregninger som er relevante for deres område, enten det er NGU eller NVE rundt flom og den typen ting, eller kommunene bruker det til for eksempel vurdering av avløpssystemenes kapasitet til å håndtere flom, sa Aarrestad.

De samme høydedataene er for øvrig brukt i slaget om Narvik i dataspillet Battlefield V, som det vises noen sekunder av i klippet nedenfor:

– Så det er mange bruksområder for en høydemodell, poengterte Aarrestad. Høydedataene er tilgjengelige via denne siden.

– På marin side har vi en tjeneste som har vært veldig etterspurt de siste månedene, med havnivå, hvor man kan vise nivåer på springflo, som i kombinasjon med lavtrykk, fullmåne og vind har vært oppimot rekordhøye. Det er typisk Meteorologisk institutt som sender ut farevarslene, men det er en godt bevart hemmelighet at dataene stammer fra oss, fortalte han.

Digitalisering

Som nevnt holder Kartverket også på med digitalisering av papirdokumenter. Også dette innebærer mye data.

– Vi holder på å digitalisere Panteboka, fra langt tilbake i tid, slik at dette blir tilgjengelig i saksbehandlingssystemene, fortalte Aarrestad.

Digitaliseringen skal ha startet allerede i 2012. Det dreier seg om 5500 hyllemeter med dokumenter.

Endret sikkerhetslov

En faktor som også bidrar til økte datamengder, er at det blir stadig mer høyoppløst informasjon.

– Dataenes natur, med bilder og kartdata, er i utgangspunktet store filer. I tillegg har teknologien blitt slik at det blir stadig mer høyoppløste data, og det fører til en eksponentiell vekst. I tillegg har vi hatt et lovverk som har gjort at vi har fått lov til å vise stadig mer detaljerte bilder. Vi er underlagt Sikkerhetsloven både på land og på sjøen, hvor flybildene våre sladdes for en del ting, før det lages kart av dem. Men så har lovverket blitt justert. Siden våre venner i både øst og i vest har vel så gode bilder av dette her, så man har nedgradert dette etter hvert, og så har mengden av data bare blitt større og større, fortalte Arnesen.

I tillegg til alt dette, samler Kartverket inn data fra blant annet satellitter, flyfoto, ulike målinger på sjø og land, og fra kommunene og offentlige etater. Der blir dataene bearbeidet og kvalitetssikret, før de er klare til bruk.

Dramatisk vekst i bruken

Det er ikke bare mengdene av data som øker hos Kartverket. Det gjør også bruken av dataene. Ifølge Kartverket er mer enn 80 prosent av all informasjon i verden knyttet til et sted, og uten å vite stedet, ville denne informasjonen vært unyttig.

Dataene fra Kartverket tilbys på flere ulike måter, blant annet som nedlasting av filer, noe Aarrestad forteller at økte dramatisk i 2019. Men også blant WMS-tjenestene (Web Maps Services) til Karttjeneste var det økt bruk.

– Vi har noen produkter selv, som vi gjør tilgjengelig, og som står for noe av denne veksten. Vi har en 120-130 tjenester. Det er veldig stor forskjell i bruken av disse. Dette varierer fra tjenester som Norgeskart og Se eiendom, til å være tjenester som brukes i andre applikasjoner igjen, fortalte Aarrestad.

– Det at vi har matrikkelen, som er en nasjonal felleskomponent, gjør at vi snakker med store aktører som Brønnøysundregistrene, Skatteetaten, Nav, helse og andre. Alle disse bruker våre data i sine systemer. Vi føler at vi kan bidra til digitaliseringen av offentlig sektor, mener Aarrestad.

Hendelser påvirker bruken

Det er ikke bare profesjonell bruk av karttjenestene som vokser. Det er også mange privatpersoner som liker å bruke karttjenestene på fritiden.

– Vi erfarer at Norge er veldig opptatt av kart og geografi. Vi ser at bruken av tjenestene ligger ganske jevnt, med litt variasjoner når det er ferie og slikt. Litt morsomt er det at når det er julaften rundt klokka 17, da får vi en dipp når folk spiser middag, og så går det jammen opp igjen. Så hva folk driver med på julaften, det vet jeg ikke, sa Arnesen.

Bruken går også opp på regnværsdager i feriene. Aarrestad spekulerte på om det kunne skyldes at folk bruker kartet til å finne svar på hva de skal finne på.

– Vi har i mange år også erfart at så fort det skjer ett eller annet i Norge, så ser vi det på tjenestene våre. Da det for eksempel var en brann oppe på Trøndelagskysten for noen år siden, så gikk bruken av tjenestene våre opp under Dagsrevyen fordi «alle» tok fram pc-ene sine og skulle vite hvor i Norge dette var. Det samme har vi hatt erfaringer med når det gjelder tv-programmet «Monsen på tur». Vi må følge med og kunne skalere opp når noe skjer, sa Arnesen.

– Vi hadde litt skaleringsproblemer den ene av disse helgene da dette programmet gikk, la Aarrestad til.

– Skalering av tjenester er ikke rett fram. For oss er det viktig å ha manøvreringsrom til å utvikle infrastrukturen vår, slik at den er moderne. Det er ikke noe grunnlag for oss til å outsource på grunn av kostnad. Men dersom det store og gode kompetansemiljøet vårt skulle slå skikkelige sprekker, da har vi en utfordring. Det å få nødvendige rammer til å utvikle infrastrukturen vår videre, bidrar til at vi som nevnt ikke har noen problemer med dette i dag, fortsatte Aarrestad.

Kvasarer og satellittnavigasjon

Kartverket har også en virksomhet som kanskje ikke er så kjent for de fleste. I Ny-Ålesund på Svalbard driver Kartverket et jordobservatorium som blant annet observerer, lagrer og videresender data som brukes til drift av navigasjonssystemer.

Aarrestad forklarte dette nærmere:

– Vi har en divisjon som heter Geodesi, og for de fleste er det litt mystisk hva de driver med. Fra jordobservatoriet på Svalbard måler Kartverket jordas bevegelser og endringer med millimeters nøyaktighet, og med det legger vi grunnlaget for all kartlegging. Jordobservatoriets VLBI-antenner (VLBI – Very Long Baseline Interferometry) tar imot signaler fra kvasarer, som er fjerntliggende himmellegemer opptil 13 milliarder lysår ut i verdensrommet. Det samme gjør man et 30-talls andre steder på kloden. Deretter regner man på dette og kommer ut med en nøyaktighet på 1 millimeter på avstanden mellom oss og for eksempel Chile. Dette er grunnlaget for satellittnavigasjon som for eksempel GPS, man må vite hvor satellitten er for å vite hvor vi selv er. Dette er den virkelig avanserte high-tech-delen vi har, fortalte Aarrestad.

Saken fortsetter under bildet.

Han legger til at det ved anlegget i Ny-Ålesund også skal komme en laser som skal måle nøyaktig hvor satellittene er i verdensrommet.

– Satellittene som brukes til jordobservasjoner, må man selvfølgelig også vite hvor er, for at de skal kunne gjøre nøyaktig måling av jordoverflaten og havnivåendringer, sa Aarrestad.

Det meste er gratis

Svært mye av dataene Kartverket har, er gratis tilgjengelig.

– Kartverket og sektoren for øvrig har siden 2013 hatt et regime om å dele data. Fortsatt er ikke alt gratis, men etter hvert har veldig mye av det blitt gratis. Det som gjenstår, hvor det er betaling inne i bildet, er stort sett data som ikke er eid av oss, sa Aarrestad.

Alt er tilgjengelig i dataportalen Geonorge, hvor både offentlige og private brukere kan hente ut og legge inn data. Dette kan også brukes i tredjepartsløsninger som hvem som helst kan utvikle.

I Norge er det et offentlig geodaatasamarbeid som kalles Norge digitalt.

– Dette handler om å sette deling i system. Etter kommunereformen er det vel 550 deltakende parter der. Partene bidrar litt med sine egne data og en pengesum inn i dette, avhengig av hvor mye de bidrar med, og så får de tilgang til alle dataene som et resultat av dette. Man har noe tilsvarende innenfor datafangst, hvor de største aktørene har gått sammen i det som heter Geovekst. Man får stordriftsfordeler av drive datafangst i fellesskap, forklarte Aarrestad.

EU-direktiv?

Av inntekten på 1.360 millioner kroner som Kartverket hadde i fjor, var det bare 8 prosent som var formidlingsinntekter, altså der Kartverket tar betalt for data.

– Denne delen begynner å bli veldig liten. Det er noen få datasett som er igjen. Vi får se hvor lenge det varer. Vi så jo at det siste store frislippet av data i 2013 førte til en dramatisk vekst i bruken. Så for Kartverket er det positivt at dataene blir gratis. Sammenlignet med mange andre europeiske kartverk, står vi i en veldig bra posisjon, for de har en langt større andel av sin datafangst knyttet til betalbare data. I den grad det skulle komme et EU-direktiv om gratis data, og det er på gang, så blir det en skikkelig nøtt for en del kartverk, men i liten grad for oss, avsluttet Aarrestad.