Hadoop-skaperen: – Naivt å lage en «data lake» og regne med at applika­sjonene kommer

Det mener Doug Sutting, som er chief architect i Cloudera og medskaper av Hadoop.

– De organisatoriske endringene som må til for å skape teknologiske endringer, er den største hindringen vi støter på, sier han til DataTech.

– Jeg har besøkt kunder som sier at det aldri kommer til å skje hos dem, siden den interne organisasjonen og den interne politikken aldri ville tillate at de gjorde så fundamentale forandringer. Og det er trist.

– Vi innser ikke hvor mye vi bygger organisasjonene våre opp omkring bestemte teknologier. Og du kan ikke endre teknologien fra den ene dagen til den andre, akkurat som du ikke kan endre organisasjonen fra den ene dagen til den andre. Den må utvikles innenfra, sier Doug Sutting.

Som Yahoo og Google

Clouderas tilnærmings-råd er at man finner en applikasjon som er enkel å implementere, eller et problem som kan løses og som gir en klar, målbar verdi. Den strategien må ha velsignelse fra toppledelsen. Når du har foten innenfor, kan du vokse derfra, påpeker Sutting.

– Det var slik vi så teknologi-stacken vokse hos Yahoo, og jeg tror at det er slik den vokste hos Google. Jeg tror at dette alltid har vært en vellykket metode for å bygge opp datateknologier på, sier han:

– Noen bedrifter ønsker naivt å erstatte teknologi-stacken sin og gjenoppfinne bedriften som datadrevet. Og de sier at vi bygger en data lake, og så kommer applikasjonene. Det er aldri dette vi har gitt råd om, men jeg tror at det finnes en naiv tro på at man kan gjøre dette.

Fristende å være perfekt

Det finnes helt sikkert bedrifter som feiler fordi de er for ambisiøse fra starten av, mener Doug Sutting.

– Det skjer hvis de tror at visjonen kan oppnås uten noen trinn imellom. Og ikke har forstått at det er en reise mot dette punktet, anser han, og advarer mot drømmen om et perfekt systemlandskap.

– Det er fristende, og spesielt for ingeniører, å drømme om å bygge det perfekte systemet som løser alle de problemene som organisasjonen har, i stedet for å tenke i inkrementelle forbedringer som vi kan foreta.

– Det du gjerne vil gjøre, er å bygge en organisasjon som ikke nødvendigvis har den perfekte teknologien, men som alltid er i stand til å forandre seg og utvikle seg. Det er dette vi oppfordrer folk til å gjøre. Vi ser stadig vekk, at når folk for eksempel flytter til en ny plattform, at de med en eneste gang vil flytte alle dataene sine til et master-skjema, sier Doug Sutting.

Da bør advarselslampene blinke, mener han.

– Bare ideen om at det er et skjema som vil være brukbart for hver enkelt applikasjon fungerer ikke. Kanskje du kan finne en felles representasjon som fungerer mellom de tre applikasjonene som du bruker i dag, men når du legger til den fjerde, så går det ikke, sier Sutting.

– Å anta at man har et lukket system som du kan optimere, er vanligvis feil. Neste år kan markedet ditt endre seg, lover kan endre seg, nye konkurrenter kommer til, det vil være uventede ting som kan endre din verden. Så det du gjerne vil ha, er et system som kan endre seg etter nye forhold uten for mye trøbbel.

Jo mer du prøver å gjøre en modell perfekt, desto vanskeligere gjør du det også å endre den i fremtiden, understreker Sutting.

– Jeg tror at bedrifter må ha forandring som et av de primære målene sine, og alltid overveie hvordan man unngår å låse seg fast. Det er derfor vi ender opp med siloer. Folk løser et spesifikt problem, men tenker ikke på en langsiktig løsning.

Konkurransen hjalp ikke kunder

I begynnelsen av året slo Cloudera seg sammen med konkurrenten Hortonworks. Det har ifølge Sutting gitt det sammenslåtte selskapet noen nye styrker – for eksempel på edge- og IoT-området fra Hortonworks og på data sciense-området fra Cloudera.

Målet er å kunne levere en end-to-end-dataplattform, sier Doug Sutting.

– Det er dette som vi hører fra kundene våre. De vil ha én stack og ett format for dataene sine, og én måte å styre det på. De vil ikke ha en masse forskjellige systemer å styre, for da mister de for mye informasjon ved grenseflatene.

Om selve fusjonen sier Doug Sutting at Cloudera og Hortonworks at sett fra kundens synsvinkel hadde ikke de to bedriftene noen spesielt klar distinksjon mellom seg.

– Måten som vi konkurrerte på, hjalp egentlig ikke kundene. På noen måter skadet vi forholdet ved å skape konkurrerende åpen kildekode-initiativer på visse områder. Så det er nyttig med konkurranse i forhold til at den best egnede overlever, men det er også et skuespill når du jobber med de samme tingene. Det kan vi eliminere nå og fokusere på å gjøre åpen kildekode-plattformen bedre og sterkere.

Dette er andre del av DataTechs intervju med Doug Sutting. Du kan lese den første delen her.

Saken ble først publisert på danske Datatech, og gjøres tilgjengelig på norsk for abonnenter av Digi Ekstra gjennom vår samarbeidsavtale med Teknologiens mediehus/Ingeniøren.