– Du er nødt til å gjøre feil for å være en god data scientist

Når det dreier seg om data science, har Kirk Borne sett det meste.

For 30 år siden jobbet han med AI-systemer hos NASA. I over et tiår var han professor i astrofysikk ved George Mason University, hvor han blant annet underviste i datavitenskap. Og i 2015 forlot han forskningsverdenen til fordel for tittelen som Principal Data Scientist hos konsulentkjempen Booz Allen.

I dag er Kirk Borne på toppen av adskillige lister over de mest betydningsfulle påvirkerne innen data science. Og når man spør ham hva han vet nå som han gjerne skulle ha visst da han startede karrieren sin, er svaret som følger: «Det er greit å feile.»

– Jeg pleide å være perfeksjonist, forteller han når danske DataTech møter ham i Dallas.

Fra 1985 til 1995 jobbet Borne ved instituttet tilknyttet NASAs Hubble-teleskop. Her stod han blant annet for et programvaresystem som skulle assistere vitenskapsfolk med å sortere og velge ut de beste søknadene om tilgang til det ettertraktede teleskopet – blant annet ved hjelp av et AI-system som var utviklet av en av gruppens dyktige dataloger.

– Jeg ble med på å justere programvaresystemet for å prøve å gjøre det perfekt. Jeg skrev på et tidspunkt en rapport, og det tok enormt lang tid, siden jeg skrev om hver enkelt test som vi foretok, ned til minste detalj.

– Til slutt sa en av sjefene mine til meg: «Enhver jobb som er verd å gjøre, er verd å gjøre dårlig.» Og jeg visste akkurat hva hun mente.

– Hvis jeg gjorde det 99 prosent korrekt, ville det være elendig i mine øyne, men for bedriften var det mer enn bra nok. Jeg er glad for at det var noen som fortalte meg det. Det endret meg som profesjonell, for jeg brukte alltid altfor lang tid på å gjøre ting ferdige for å gjøre det perfekt.

Det samme budskapet gir Kirk Borne videre til nye data scientists i dag.

– Når jeg intervjuer unge data scientists, sier jeg alltid: «fortell meg om prosjekter som feilet, og hvordan du fikset det.» Det er helt OK å gjøre feil. Det er ikke greit at man ikke lærer av dem, sier han.

– Innen maskinlæring er det til og med en nødvendighet. For å være en god data scientist er du nødt til å gjøre to feil. Du trenger to punkter for å finne en helling. Så hvis du bare måler feilraten én gang, har du ingen idé om hvorvidt det er bra eller dårlig. Du er nødt til å justere modellen og prøve igjen, og så har du en kurve. Og deretter kan du begynne å optimere mot det optimale punktet. Men du kan ikke kommer dit hvis du ikke gjør to feil først.

En målestokk for inntekt

I årenes løp har verktøyene utviklet seg markant, algoritmene har blitt bedre, og mange grener av data science-arbeidet blir automatisert. Den utviklingen er Kirk Borne begeistret for, men her må man passe seg for feil av den alvorlige typen.

– Man skal være forsiktig. Vi må alltid ha den menneskelige analytikeren med oss for å evaluere det systemet gjør.

Et eksempel på det motsatte kommer fra en tjeneste som spesialiserte seg på å samle inn data fra hoteller, flyselskaper og bilutleiefirmaer for å finne den gunstigste prisen.

– De bygde en modell som skulle forutsi den optimale prisen å gi til et individ. Det var en egenskap i dataene deres som var en indikator på at de kunne tilby den kunden en høyere pris, sier Kirk Borne:

– Modellen fungerte. Problemet var at den egenskapen var kundens operativsystem. Hvis du kom fra MacOS, ville du bli tilbudt en høyere pris enn hvis du brukte en Windows-pc.

Om bruken av den egenskapen var bevisst, vet ikke Kirk Borne. Men dette er en slik type løsning som en automatisert maskinlærings-modell kunne generere, hvis ikke et menneske satte en stopper for det først.

I et annet eksempel, som Kirk Borne ikke vil spesifisere nærmere, hadde en online-butikk lagd en modell som forutsa om kunden ville betale mer penger for et produkt.

– Den brukte en egenskap som bare kom fra kunder på telefoner. Og det var hvor mye batterikapasitet som var igjen. Den avgjorde at hvis du har veldig lite kapasitet igjen, er du villig til å betale mer.

I begge tilfellene fikk bedriftene kritikk da løsningene ble kjent. I begge tilfellene har algoritmen brukt en egenskap i datasettet som den etisk sett ikke burde, mener Borne.

– Du er nødt til å ha et menneske til å evaluere om det er dette du gjerne vil gjøre. Spesielt når det gjelder variabler som kjønn eller rase. Eller en proxy for dem, akkurat som operativsystemet blir en proxy for inntekt.

Som tenårings-sex

Når det dreier seg om feil som organisasjoner begår i forhold til data science, er Kirk Bornes råd som følger: Gjør det som du allerede er god til, bedre.

– Hovedbudskapet mitt er alltid å fokusere på målet og oppdraget ditt, forklarer han.

– Jeg sier det i kontrast til hva jeg noen ganger hører organisasjoner gjøre, nemlig å tenke at «vi må ha AI, for alle de andre har AI». Det innebærer at du gjør det uten noe særlig mål eller noen plan eller strategi. Alle bør tenke over hva oppdraget deres er, og prøve å se på hvordan de kan oppnå de målene som de allerede jobber mot.

Under hype-bølgen har mange organisasjoner opprettet en data science-avdeling som ikke er integrert med bedriften, slik Kirk Borne ser det. De har kommet til en posisjon hvor de får beskjed om å se hva de kan finne i dataene, og rapportere tilbake.

– Dette gjelder ikke bare denne hype-bølgen. Tidligere sa vi at big data ville kurere kreft og løse hungersnød. Nå sier vi at AI vil kurere kreft og løse hungersnød. Neste år er det kanskje blockchain eller kvantedatamaskiner, sier han og henviser til det treffende sitatet fra psykologiprofessor Dan Ariely:

«Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it.»

Big data kan i den setningen uten problemer erstattes med AI, sier Kirk Borne.

Feilrate vanskelig å tolerere

En annen måte å si dette på, er at man alltid bør starte med et spørsmål. Det er det som skal føre til en use case, som til slutt skal bli et mål for analyseprosjektet. Og for eksempel diktere når en feilrate er bra nok.

– 35 prosent av overskuddet til Amazon kommer fra anbefalings-motoren deres (recommendation-engine). Tenk over det. Det er 35 prosent av overskuddet i et milliardselskab, som kommer fra en maskinlærings-algoritme. Noen ting kan ha en feilrate på 60 prosent og fremdeles være gode, sier Kirk Borne – men uten at han kjenner til Amazon-algoritmens spesifikke feilrate.

– Andre algoritmer har rett 99 prosent av tiden, men er ikke gode nok. Jeg pleide å fortelle en spøkefull historie til studentene mine om at jeg kunne lage en algoritme som kan fjerne alle køer på alle flyplasser og samtidig er 99,99 prosent korrekt: Steng alle inne.

– Med det systemet som de har nå, blir folk utpekt, bagasjen deres blir gjennomsøkt, de rekker ikke flyet sitt og så videre. Folk blir sure, men ingen dør, så litt dårlig omtale er ubetydelig. Her er en presisjon på 99,99 prosent ikke nok.

Generelt ser Kirk Borne at feilbarheten til AI-systemer kan være vanskelig å tolerere for mange mennesker.

– Folk blir opphisset når en selvkjørende bil feiler og dreper en person. Men smarttelefoner distraherer sjåfører, og det dreper flere tusen tenåringer i året. Hvorfor bekymrer vi oss ikke over det? spør han retorisk.

– Det samme ser vi med leger. Vi tolererer bedre at en lege begår en feil, enn at en algoritme gjør det. Vi lærer hele tiden å gjøre det bedre. Vi må ikke kutte ut all AI-forskning på grunn av et uhell. Hvis det var tilfellet, måtte vi ha slått av telefonene våre for flere tiår siden, sier Kirk Borne.

– Ingenting er perfekt. Så hvorfor tror vi at AI er det?

Saken ble først publisert på danske Datatech, og gjøres tilgjengelig på norsk for abonnenter av Digi Ekstra gjennom vår samarbeidsavtale med Teknologiens mediehus/Ingeniøren.