En datasjø skal drikke fra alle fagsystemene. Dette bør du vite for å unngå at sjøen blir ei hengemyr

Datasjø (eng. «data lake») er et fenomen du kommer til å høre mer om i tiden fremover. Her gjør vi et forsøk på å avmystifisere hypen, kikke på fordelene, samt peke på noen fallgruver.

Denne typen IT-løsning handler om skaffe seg innsikt i egne data og en ny mulighet for å nyttiggjøre seg av innhold fra mange ulike kilder. Og analyser som tidligere knapt noen kunne ta seg råd til.

I dag har behovet for investeringer i kostbar infrastruktur falt bort. Alle de store skyaktørene har skalerbare tjenester, som kan betraktes som en slags demokratisering av IT. Det betyr at også mindre aktører kan leie datakraft, lagring, og analysetjenester med maskinlæring på digre datasett.

Flere prosjekter og anskaffelser viser at også offentlig sektor nå ser seg tjent med å investere i egne datasjøer.

– Datasjø er helt klart kommet for å bli. Egentlig er dette en måte å bruke den nye teknologien på. Det handler om bruk, flytting og kalkulering av data. Det er den nye måten å gjøre ting på, mener Kjetil Molaug i Bouvet Rogaland.

Han leder en analyseenhet i konsulentselskapet, som nå er plukket ut til å levere tjenester knyttet datasjø også til hjembyen hans, Stavanger.

For alle fagsystemer

Stavanger kommune er i etableringsfasen av en datasjø for fremtidig analyse og tilgang til informasjon.

«Planen er at alle fagsystemdata skal legges i datasjøen og dokumenteres, slik at disse kan analyseres på tvers, samt at dataene kan brukes av andre applikasjoner», heter det i kunngjøringen av anbudet.

I så måte følger de i fotsporene til Bergen kommune, en pioner på området, som i 2018 etablerte det samme med en løsning døpt «Lungegårdsvannet». Den skal blant annet ta imot og foredle data fra tusenvis av sensorer i sanntid. Et annet eksempel er live måling av badetemperaturer både i svømmebasseng og havet.

Styringssystem fra vann- og avløpsetaten, transportdata, sensorverdier fra skoler og sykehjem er bare noe av det som inngår i bergensprosjektet. Det skal gi ny innsikt til beslutningsstøtte, men også på sikt mer deling av åpne data via programmeringsgrensesnitt til glede for tredjeparter.

– Det er bevis på hvordan det offentlige kan ta i bruk ny teknologi og integrere det med de eksisterende systemene sine for å jobbe mer effektivt. Vi har bistått gjengen i Bergen og vært med som rådgivere på arkitektsiden, sier Kjetil Molaug. Ifølge ham vil leveransene til Stavanger kommune minne om det Bergen har kjøpt inn.

Mikrotjenester og kunstig intelligens

Stein Ivar Rødland er IT-sjef i Stavanger kommune. Han forteller til digi.no at dette egentlig er starten på noe langt større.

– Datasjø er egentlig vår forberedelse til kunstig intelligens, men det er nok langt fram før vi kommer dit. Foreløpig skal vi bruke det til analyse, og for å legge data til rette. Det vil også være vår kilde til å publisere åpne data. Videre ser vi også for oss at dette kan være en kilde for ytterligere digitalisering, sier IT-sjefen og nevner blant annet mikrotjenester.

Investeringen kan ifølge ham danne grunnlag for alt fra innsynsløsninger til en type «min side» for innbyggerne i kommunen.

Allerede fra høsten er planen at de skal begynne å hente ut økonomidata for analyser fra datasjøen. I første om gang via verktøy som Microsoft Power BI, sier Rødland.

– Vi har hatt datavarehus og den typen ting tidligere. Men nå gjør vi ting på en litt annerledes måte, kanskje uten et så stort fokus på å bygge relasjoner i datagrunnlaget.

På sikt ser IT-sjefen for seg at dette blir et kjempestort prosjekt, men at de skal begynne smått.

– Dersom vi lykkes med å hente ut gevinster, og det har vi stort tro på, så vil vi populere datasjøen med nesten alt vi har av data.

Lærdom fra oljebransjen

Bouvet begynte egentlig å jobbe med datasjøer i Stavanger. Det er heller ikke tilfeldig, røper Kjetil Molaug i selskapet.

– Etter at oljebransjen opplevde en pause etter oljekrisen ble det behov om å gjøre noe nytt. Vi ville ikke bare oppdatere til dagens teknologi, men også det som kommer. I oljebransjen har det vært et ekstremt fokus på digitalisering de siste årene. Det handler ikke om å teste ny teknologi, men å forbedre måten du jobber på med å bruke den nye teknologien, sier han.

Eksperten viser til at aktører som Microsoft, Google og Amazon tilbyr maskinlæring, stordataanalyse og alt som hører med, og at dette gir en kapasitet som langt overgår det som er mulig med servere lokalt.

Konsulentselskapet har også satt sammen et eget digitaliseringsråd for å samle erfaringer og lærdom på tvers av løsningene de har levert.

Puslespill

Datasjø kan like gjerne kalles en dataplattform. Det er ikke mer mystisk enn en integrasjon mellom gammel og ny teknologi, slik Molaug ser det.

– Egentlig er dette puslespillbrikkene du må sette opp for å få tilgang til det nye, samtidig som du bevarer dagens IT-løsninger. Det er et supplement. Så kan en konsekvens av innføring være at deler av systemene du bruker forsvinner ut, men det er ikke hovedformålet.

Ifølge ham må en slik dataplattform bygges steg for steg, med prioritet for hva som gir best gevinst for kunden.

– Noen er bare ute etter økt profitt, eller å bedre sitt image og rykte. Andre gjør det for å endre på forretningsområder. Det oppstår gjerne også et kappløp når konkurrenten din har startet digitaliseringen. Det vi har gjort i oljebransjen gjør vi også i transportnæring og stadig mer i stat og kommune, sier Kjetil Molaug.

Små prosjekter

Verken prosjektet i Bergen, eller det IT-leverandøren snart skal begynne å lage for Stavanger kommune fremstår som digre leveranser. Sistnevnte anbud hadde en oppgitt verdi på drøyt 2 millioner kroner, viser kunngjøring i Doffin.

Molaug forteller at oljehovedstaden har en plan og en digital strategi, med ulike prosjekter de vil gjennomføre for å bli mer digitaliserte.

– Vår jobb er å bygge denne datasjøen så de kan levere disse prosjektene. Det kan være sammenstilling av data, henting av åpne data, det kan være vi lager noen nye applikasjoner, apper, integrasjoner, kalkulasjoner, maskinlæring.

Begrep til forvirring

En annen definisjon av datasjø, som Molaug foreslår, er at det er en motor. Det handler om mer enn bare flytting av data. I konseptet inngår gjerne både integrasjoner, det som tidligere het datavarehus, samt backend-løsninger.

– Teknologibegrepet datasjø kan være forvirrende, mener han, og sikter til at Microsoft har laget et skyprodukt kalt nettopp Data Lake. Men det er en lagringstjeneste for dokumenter og stordata, og således bare en av flere aktuelle byggeklosser.

Alle de store skyaktørene har ifølge ham tilsvarende komponenter i sine respektive tjenestekataloger, bare med ulike navn.

Det kan bli en sump

Simen Sommerfeldt, som er teknologidirektør i Bouvet, vedgår at datasjø som begrep bærer preg av å være litt hype. Han legger ikke skjul på at det kan være et nytt ord på teknologi som vi også har fra tidligere.

Gjort feil så mener han dessuten at datasjøen kan ende opp som en uoversiktlig sump, der data drukner i stedet for å blir gjort nyttige og tilgjengelige.

Kollega Kjetil Molaug er enig.

– Ja, hvis du ikke har en plan med det du skal gjøre. Dersom du bare laster inn alle dataene dine, så kan det bli en sump. Men i dag mener jeg at datasjø eller dataplattform har kommet litt over hypekurven. Jeg tror de fleste i dag har en bedre plan med det de holder på med. Blant annet er det viktig å ha en såkalt data governance-plan, konstaterer han.

Andre fallgruver Molaug nevner er at uttrekk av data gjerne må omstruktureres og kombineres med flere datakilder. Da kommer fort også personvernhensyn eller GDPR-forhold, altså den nye personvernlovgivningen, inn i bildet. I slike tilfeller kan det være nødvendig å strukturere data på en spesiell måte, eller å anonymisere dem.