Ett av de heteste nyordene innen dataanalyse: Er du obs på DataOps?

DataOps er et av de heteste nyordene innen data og analytics. Stadig flere leverandører har satt DataOps-betegnelsen på produktene sine, og i fjor kom begrepet for første gang inn på Gartners såkalte hype-cycle for data management.

Til tross for hypen er DataOps fremdeles bare en spirende disiplin, fortalte Gartners VP Alan Dayley på bedriftens Data & Analytics Summit, som ble arrangert i London i forrige uke.

Det første man bør ha klart for seg, er at DataOps ikke er en teknologi, understreker han.

– Jeg bryr meg ikke om hva leverandørene sier; DataOps er ikke en teknologi. Det er en metode, en prosess eller en praksis.

Inntil videre går praten høyere om DataOps hos leverandørene enn hos sluttbrukerne, anser Alan Dayley. Det er angivelig også en av grunnene til at Gartner begynner å sette begrepet i omløp:

– Før det blir kapret av leverandører og gjort til et produkt, sier analytikeren.

Data + Operations

Hvis man er kjent med konseptet DevOps, har man nok allerede en god idé om hva DataOps dreier seg om. DevOps er en sammentrekning av ordene development og operations, og kan forstås som en paraply-betegnelse over eldre og nyere prinsipper innen smidig (agile) programvareutvikling.

Dette innebærer vanligvis fokus på automatisering av prosesser som for eksempel automatisk utrulling av nye versjoner, noe som igjen krever en prosess og en kultur som sikrer at bedriften kan stole på kodens kvalitet og kjøre den ut flere hundre ganger hver uke.

DataOps bygger på DevOps, og målet er å bringe den samme farten, smidigheten og kvalitetssikringen inn i jobben med data.

– Hvis du for 25 år siden hadde sagt til programvareutviklere at de måtte levere kode på ukentlig basis, hadde de ledd av deg, sier Alan Dayley.

– Nå skjer det på en daglig basis. Og vi er nødt til å være i stand til å gjøre det samme når det handler om å levere data til analytics og andre use cases.

Pipeline lekker som en sil

Der er flere grunner til at Alan Dayley ser behovet for DataOps.

– Det største problemet er at vi ikke får det som vi ønsker ut av data- og analytics-prosjektene våre, sier Alan Dayley.

Veldig mange analytics-prosjekter opplever problemer med skalering eller med å sette analyse-produktet i produksjon. Et annet problem er at den typiske data-pipelinen lekker som en sil, bemerker Alan Dayley.

– Når du ser på en datastrøm, har du mennesker overalt i prosessen: folk som samler inn data, folk som forbereder data, samt stadig flere som bruker data. Samtidig gjør vi flere ting med data, nye analysemetoder og modeller, sier han:

– Dette gir utfordringer. Vi mister konteksten underveis. Vi er ikke sikre på hvor dataene kommer fra.

Problemet forsterkes av stadig nye datakilder og økende datamengder.

– Det pleide å være slik at hvis ikke data lå i datalageret ditt, ble de ikke analysert. Nå har vi analytics av sosiale medier-data, tekst, bilder og videoer. Plutselig har datatypene eksplodert, og for hver ny datatype er det en ny type analytics.

I tillegg blir stadig flere personer i de fleste bedrifter forbrukere av data. Gartner anser at antallet dataprofesjonelle i 2020 vil øke tre ganger raskere enn antallet it-folk.

Automatisering

Alt dette krever nytenkning rundt hvordan data i dag flyter i bedriften, slik at data kan leveres raskere til brukerne, men samtidig med så få feil som mulig. Og her kan DataOps-tilnærmingen altså være en mulig vei framover.

Gartner definerer DataOps som en «collaborative data management practice focused on improving the communication, integration and automation of data flows between data managers and data consumers across an organization».

CEO i TAMR, Andy Palmer, som vanligvis får æren for å ha introdusert begrepet, forklarer ifølge Software Engineering Daily DataOps som et «framework of tools and culture that allow data engineering organizations to deliver rapid, comprehensive and curated data to their users … [it] is the intersection of data engineering, data integration, data quality and data security».

– Hele ideen er – i likhet med DevOps – å legge til rette for kommunikasjon og samarbeid, understreker Alan Dayley.

Å levere data til brukere – som for eksempel data scientists – som en del av en repeterende prosess, har den fordelen at brukeren av data kan gi feedback på datakvaliteten, og den som leverer data kan reagere på feedbacken. Dette gir optimalt sett også brukeren en høyere tillit til dataene. Samtidig må mange av de manuelle oppgavene – som kvalitetstester – ideelt sett automatiseres.

Kritisk kommunikasjon

Alan Dayley deler inn rollene som er involvert i DataOps i to grupper: data managers og data consumers.

Data managers er her dataingeniører, dataarkitekter og dataforvaltere, mens dataforbrukere er analytikere, data scientister og «citizen data scientister», samt personer i butikken.

I tillegg finnes det to nøkkelpersoner som må være til stede for å lykkes med DataOps, mener Dayley. Den første er en toppleder, som enten med pisk eller gulrot kan gjennomføre prosjektet. Den andre er en person som skal fungere som bindeledd mellom data managers og data consumers.

– I DevOps er det ofte en project manager. Og dette er personen som får ting til å skje på daglig basis. Det er de som sikrer at koden er sjekket inn, og at alle ting skjer til rett tid, sier Alan Dayley.

I DataOps finnes det en person som er i stand til å ta bedriftens krav og gjøre dem om til tekniske krav som kan gis til data managers, slik at de kan ta de riktige dataene og gjøre dem klare til bruk. Dette er ikke en rolle som kan gis til hvem som helst, understreker Alan Dayley.

– Det må være en person med virkelig gode kommunikasjonsevner. Og det er nødt til å være en som er klar til å ta sjanser og eksperimentere, sier han.

Kultur > teknologi

Den tekniske kompetansen som må til for å understøtte DataOps, inkluderer muligheten for å håndtere flere datakilder, versjonering av datamodeller og datasett, governance-verktøy samt mulighet for å måle og overvåke hele prosessen.

Dette er muligens funksjonaliteter som allerede eksisterer i verktøyene til bedriften, men inntil videre vurderer Alan Dayley at det krever et utvalg av forskjellige produkter.

– Jeg tror at det til syvende og sist vil være en praksis som er veldefinert. Men det kommer til å gå flere år før det skjer.

Gartner-analytikeren understreker også at kultur under alle omstendigheter må prioriteres framfor teknologi-innkjøp.

– Teknologien for å understøtte DataOps må først og fremst understøtte samarbeidet. Hvis den ikke gjør det, har du ikke bruk for den. Du må aldri starte med verktøy. Du må starte med prosessen. Se på hva du gjerne vil oppnå med DataOps, og se deretter på verktøyene som understøtter det.

Artikkelen har tidligere vært publisert på Datatech. Datatech tilhører Teknologiens Mediehus.