Overraskelsen er like stor hver gang. Robotstøvsugeren kartlegger hjemmet ditt. Gressklipperen vet nøyaktig hvor plenen slutter. Bilen sender informasjon ut av landet. Som om digitalisering kunne fungere uten data.
Dette er egentlig ikke nytt. Vi har hatt smarthøyttalere som Google Home stående i stua i årevis, og blitt minnet på med jevne mellomrom om at de lytter mer enn vi intuitivt liker. Siri svarer iblant uten å bli spurt. Facebook serverer reklame som treffer ubehagelig godt. Hver gang oppstår samme reaksjon: overraskelse, irritasjon – og en følelse av at noe har gått galt.
Lion Cage-prosjektet
Oppstyret rundt Lion Cage-prosjektet fulgte nøyaktig samme mønster. Mange ble oppriktig overrasket over at en moderne elbuss samler inn store mengder driftsdata – om posisjon, kjøremønster, feil, vedlikehold og programvarestatus – og at produsenten i praksis kan oppdatere, begrense eller stanse funksjoner på avstand. Samler bussen data? Kan den fjernstyres? Svaret er ja.
Ikke fordi noen har gjort noe ekstraordinært, men fordi bussen i dag er en datamaskin på hjul. Det betyr også at kontrollen over kjøretøyets funksjoner i praksis ligger i programvarearkitekturen – og dermed hos leverandøren som kontrollerer den. Dette er digitalisering i praksis, slik kollektivtransporten drives av aktører som Ruter og tilsvarende selskaper over hele Europa.
Det samme gjelder privatbiler, og private hjem. Da bilder fra test-robotstøvsugere for noen år siden dukket opp på avveie, reagerte mange med sjokk over at støvsugeren «så» mennesker, stuer og soverom.
Det som forsvant litt i indignasjonen, var hvorfor disse dataene eksisterte i utgangspunktet: kartlegging, visuell navigasjon, hindringsforståelse og kontinuerlig forbedring av algoritmer. Uten slike data hadde støvsugeren vært dummere, dyrere – eller begge deler. Hendelsen handlet ikke om at støvsugere plutselig begynte å samle data, men om at datahåndteringen rundt dem var for dårlig.
Jammesikker teknologi på vei til Grønland: – Blir som en fiberkabel til verdensrommet
Data er innsatsfaktoren
Det folk reagerer på, er sjelden datainnsamlingen i seg selv. Det er øyeblikket hvor den blir synlig. Når systemene minner oss på hvor mye informasjon som faktisk trengs for at automatiserte løsninger skal fungere.
Automatisering uten data finnes ikke. Verken i hjemmet, i transport, i energi, i industri eller i offentlig sektor. Data er innsatsfaktoren, styringsmekanismen og ofte selve produktet. Kart, sensorer, logger og bruksmønstre gjør systemene billigere å drifte, enklere å vedlikeholde og mulig å forbedre over tid. Data er strategisk, og det er den nye infrastrukturen. De er også grunnlaget for mange av forretningsmodellene vi allerede har akseptert – ofte uten å tenke så mye over det.
Med dette følger en bakside. Den samme dataflyten som gjør systemene smarte, gjør dem mer komplekse å styre – og mer sårbare. Når busser, biler, høyttalere og husholdningsmaskiner er avhengige av sky, programvareoppdateringer og fjernsupport, følger det med avhengigheter, angrepsflater og maktforhold som ikke alltid er like godt gjennomtenkt.
Lion Cage viste ikke at noe nytt og dramatisk var i ferd med å skje, men hvor lite bevisst vi ofte er på de digitale forutsetningene kritisk infrastruktur allerede bygger på.
Hvem kontrollerer dataflyten?
Spørsmålet er derfor ikke om vi skal ha digitale systemer som samler data. Det toget har gått. Spørsmålet er hvem som kontrollerer dataflyten, hvem som setter spillereglene – og hva som skjer når noe går galt, teknisk, kommersielt eller geopolitisk.
Her hjelper det lite å moralisere over lange vilkår ingen leser. Folk blir tryggere av tydelighet: Hvilke data samles, hvorfor samles de, hvor sendes de, hvem har tilgang – og hva skjer i krise? Sikkerhet kan ikke være noe man legger på i etterkant, når mediene ringer.
Like viktig er det å skille mellom dataflyt som er nødvendig for funksjon og sikker drift, og dataflyt som primært handler om friksjonsfri forretningsmodelloptimalisering. Begge deler finnes side om side i dagens digitale økonomi. Hvis alt behandles likt, mister vi både tillit og styring.
Vi har vært komfortable med autopiloter i luftfarten i flere tiår, ikke fordi de er feilfrie, men fordi de er utviklet rundt et gjennomtenkt samspill mellom menneske og maskin. I tradisjonen fra miljøer som NASA har man vært opptatt av at automatisering aldri erstatter ansvar, men fordeler det.
Pilotene trenes i å forstå systemets begrensninger, vite når det skal overstyres, og hvordan kontrollen tas tilbake når noe avviker. Autopiloten er en del av cockpit – ikke en erstatning for den. Og nettopp derfor finnes det prosedyrer, trening og klare ansvarsforhold når noe går galt.
Samfunn på autopilot
Nå går stadig mer av samfunnet på autopilot: transport, energi, logistikk, bydrift, finans og helse. Forskjellen er at vi har tatt i bruk autonomien uten å bygge tilsvarende styringsregimer rundt den. Ikke samme krav til innsyn, beredskap eller klare ansvarslinjer.
Autopilot er ikke problemet. Problemet er at vi har glemt hvorfor den fungerte i luftfarten – strenge sertifiseringsregimer før systemene tas i bruk, teknisk redundans når noe svikter, svarte bokser som dokumenterer hvert avvik, og uavhengige havarikommisjoner som analyserer feil – og ikke har overført de lærdommene til resten av samfunnet.
Vi har gitt et datadrevet samfunn autonomi, uten å bygge tilsvarende rammer for ansvar, kontroll og menneskelig oversikt.
Når data reduseres til agurknyheter, mister vi muligheten til å diskutere det som faktisk betyr noe: styring, ansvar og kontroll i en digital infrastruktur vi allerede er avhengige.
Redd for KI?: En gruppe KI-veteraner skal sette mennesket i sentrum
