Vil forenkle: Robert Eve i Tibco (t.h.) og salgsdirektør i Precise Prediction som er Tibcopartner i Norge, Per Baumann vil gjøre det enklere og få tilgang til en lang rekke veldig forskjellige datakilder og presentere et samlet bilde for brukerne.
Vil forenkle: Robert Eve i Tibco (t.h.) og salgsdirektør i Precise Prediction som er Tibcopartner i Norge, Per Baumann vil gjøre det enklere og få tilgang til en lang rekke veldig forskjellige datakilder og presentere et samlet bilde for brukerne. (Foto: Odd R. Valmot)
EKSTRA

En ny virtuell verden av data

Tradisjonelle datavarehus blir utfordret av systemer som ikke bygger annet enn en metadataindeks og som byr på mer fleksibilitet og lavere kostnader.

Hei, dette er en Ekstra-sak som noen har delt med deg.
Lyst til å lese mer? Få fri tilgang for kun 199,- i måneden.
Bli Ekstra-abonnent »

Fremtidens vinnere er de som klarer å nyttiggjøre seg alle dataene de har samlet opp over alle år på en effektiv måte. Det har vi hørt mange ganger, men Robert Eve på besøk i Norge fra selskapet Tibco mener å sitte på selve trylleformelen til hvordan det skal gjøres.

Eve var en av de tidlige ansatte i selskapet som het Composite Software og som var en pioner på virtualisering av data. Selskapet ble kjøpt av Cisco i 2013 og solgt videre til Tibco i fjor. Uvanlig nok fortsatte både Eve og de viktigste tekniske folkene i selskapet gjennom begge oppkjøpene.

Dataeksplosjonen lærer lett påkledd kvinne å spinne

– Før hadde vi stort sett bare data fra ERP-systemene. Nå er det en helt annen situasjon. Det strømmer på med data fra sensorer, fra sosiale nett og andre kilder, gjerne i sanntid, og alt skal kombineres til et enhetlig bilde for beslutningstakere. Det er tiltakende vanskelig på den tradisjonelle måten, sier Eve. 

Han peker på at metoden med å flytte alle dataene inn i et datavarehus er blitt for tung. Det er rett og slett for mye som skal flyttes og sentraliseres og slikt blir det bare enda mere data av.

Når data skal prosesseres og avgi nyttig informasjon må det gjøres der dataene befinner seg, enten det er i varehuset eller i skyen, mener Eve.

Det er han ikke alene om å mene, Analyseselskapet Gartner har sagt at i 2020 vil halvparten av store selskaper bruke en eller annen form for datavirtualisering for å håndtere dataintegrasjon.

Varehus

Datavarehus er en gammel og nyttig teknologi for å gjøre data raskt tilgjengelig for mange brukere. Ulempen er at slike varehus må bygges opp om og om igjen for at dataene skal være så ferske som mulig. Det er en tung og omstendelig prosess som må gjøres på daglig basis.

– Det er én fordel og to ulemper med datavarehus, sier han. — Fordelen er at det går fort å hente ut data når det er mange brukere. Typisk to til fire ganger raskere. Men det de får er data fra siste batchkjøring og de er ofte opp til et døgn gamle. De omfattende kravene til mengden informasjon gjør etter hvert at man ikke alltid er ferdig med siste døgns beregning før man må begynne på nytt. Dessuten har slike varehus problemer med alle de nye kildene til data som dukker opp. Brukerne vil ha et bilde av alt som skjer, ikke bare et bilde som begrenses til de kildene teknologien kan håndtere.

Komponentene i datavirtualisering: Datavirtualisering virker som et virtuelt datavarehus mellom klient og datakilder. For klienten er det ingen forskjell i å kommunisere med datavarehuset eller det virtuelle datalaget. Kildene på den andre siden oppfatter heller ikke noe forskjell i så måte. Foto: Tibco

Virtualiserer data

Løsningen Tibco leverer virtualiserer dataene. De samler informasjon om alle slags datakilder, enten de ligger på nettet i en eller annen form, finnes i databaser, i regneark eller noe annet. Men i stedet for å samle alle dataene og prosessere dem slik at de blir tilgjengelige for bruk fra et datavarehus, blir de liggende der de er. I stedet bygges det en indeks over dataene og en oversikt over alle endringer i form av metadata som tar svært lite plass. Når brukerne etterspør informasjon så henter systemet bare de dataene som trengs for å kunne svare i sanntid.

– På denne måten bygger vi det vi kan kalle et virtuelt datavarehus. Kjerneteknologien er det vi kaller en optimaliserer. Det er den som vet hva som ligger hvor av data.  Optimalisereren fungerer som en slags dirigent i systemet som dytter jobben nedover til de aktuelle serverne som svarer i parallell. Jobben til serverne blir også mye enklere, for de trenger bare å levere den informasjonen som trengs for å svare brukeren, sier Eve.

Han peker på hvordan oljeindustrien her i landet har titusener av datagenererende punkter av alle varianter. Det er data fra brønnene som strømmer ut kontinuerlig, det er all slags administrasjon, vedlikehold, håndtering av reparasjoner og utfordringer med alle ressursene. Det kan også være systemer som trekker ut informasjon fra en rekke oljeraffinerier for å skape en global oversikt.

– Det holder ikke lenger å samle alle slags data og batchkjøre alt om natten for å få resultater. I dag vil vi ha svarene med en gang selv om kompleksiteten er enorm i forhold til før. Løsningen er enkel nok. Det handler om å ikke flytte på dataene, men i stedet hente ut bare det som trengs fra et stadig økende antall datakilder.

Les også: Gikk fra proprietær og lukket programvare, til skyløsning med åpne API-er. – Vi skal levere en analytisk plattform som kan ligge i bunnen av alt

Utfordringen for Tibco og andre som tenker på denne måten er at de må ha verktøy som kan oversette data til et felles format. Derfor bygger de dataadaptere som gjør denne jobben og de kan variere mye avhengig av lagringsteknologi og bransje.

Selv om teknologien er rundt ti år gammel, og har fått fortfeste i mange land, er den forholdsvis ny her i landet. Men virksomheter som NAV, Statoil og Elkjøp Nordic har nå satt i gang prosjekter og er de som tar i bruk dette først i Norge.

Johannes' åpenbaring

BI-arkitekt Johannes Melkeraaen i Elkjøp Nordic lette etter et system for datavirtualisering i 2015 og har selv spøkefullt omtalt systemet de anskaffet fra Cisco den gangen som «Johannes' åpenbaring».

– Vi trengte først og fremst et system hvor vi kunne håndtere hvem som fikk tilgang til hva i alle datakildene våre. Det var grunnen til at vi etter hvert anskaffet systemet. Så har det senere vist seg at det er masse funksjonalitet som gjør det lettere for oss å koble data fra ulike kilder inn og ut etter hvert som behovet melder seg. Systemet erstatter ikke datavarehus, men fungerer som et logisk datavarehus som tar seg av det det tradisjonelle ikke gjør. Det er fremfor alt en plattform som forenkler arbeidet som vi aldri kommer til å bli ferdig med. Kravene endrer seg hele tiden, sier Melkeraaen.

– Vi har ikke tenkt å eliminere markedet for datavarehus, men slik datavirtualisering handler om å forenkle hverdagen til brukerne og redusere kompleksitet og kostnader. I dag trenger folk fleksibilitet til å legge til nye og endre hvilke datakilder de vil ha svar fra. Dessuten forenkles jobben med GDPR som alle nå må tenke på, sier salgsdirektør i Precise Prediction, Per Baumann som er Tibcopartner i Norge.

Bransjenøytral

Programvaren er den samme i alle bransjer, men ulike selskaper bruker adaptere avhengig av datakildene de benytter. Det følger med rundt 100 ulike adaptere som henter metadata fra kilder som ulike SQL-databaser, forskjellig webtjenester som Google AdWords, Facebook, LinkedIn, SAP, Salesforce, e-post, tekst osv. Tibco har utviklet adaptere for en lang rekke datakilder og utvider stadig antallet etter hvert som det oppstår behov for å kunne hente inn nye kilder. De kan også utvikle nye på forespørsel, både for nye og veldig gamle datakilder.

– Vi sørger for å dekke de vanligste adapterne i ulike bransjer. Det gjør at verktøyene raskt kan ta fatt i data som ikke er så lett tilgjengelig og oversette til noe som er forståelig og utnyttbart, sier Eve.

Les også: Dell EMC er resultatet av tidenes største IT-fusjon. Her peker norgessjefen på fire aktuelle trender i markedet

Virtuelt datavarehus

– Vi er ikke ute etter å erstatte det tradisjonelle datavarehuset. På noen områder er det fortsatt best å benytte dette, ettersom data må lagres ett eller annet sted. Men virtuelle datavarehus sørger for enklere og raskere tilgang til nye datakilder uten at de må kopieres og lagres på nytt. Dette gjelder for de aller fleste data som brukes i bedriftenes hverdag, sier Baumann.

Han peker på at bortsett fra hastighet når det er mange brukere er dette en enklere og billigere løsning. I motsetning til tradisjonell ETL, som brukes i datavarehus, er det kun metadata som lagres. Det gjør at lagringsbehovet går voldsomt ned. I tillegg lagres det ikke så mange kopier av dataene.

 – Alle som driver med varehus vet at ETL er krevende. Tiden det tar å legge til en ny kolonne i et datavarehus er ofte ukesvis, men i et slik system tar det dager, sier han.

Les også: Atea kjøper spesialister på dataanalyse

Kommentarer (0)

Kommentarer (0)
Til toppen