AI-professor: Datatilsynet må kunne koding for å ha tilsyn med algoritmene

Første desember åpner Datatilsynet for påmelding til den «regulatoriske sandkassa» der bedrifter og offentlige etater skal kunne teste kunstig intelligens, for å sikre at den er personvernvennlig og innenfor gjeldende lover og regler.

AI-ekspert Morten Goodwin mener at hvis Datatilsynet skal fungere som algoritmetilsyn, så bør de også ettergå selve algoritmene i AI-systemene og at tilsynet derfor må ha ansatte med kunnskap om koding.

– Det er en myte at det er umulig å skjønne hvordan algoritmer fungerer. Det er selvsagt forskjell på hvor kompliserte algoritmer er, men selv svært kompliserte algoritmer vil man kunne skjønne noe av ved å se på hvordan de er laget, hvis man har litt teknologisk kompetanse, sier Goodwin.

Han er professor ved institutt for informasjons- og kommunikasjoinsteknologi ved universitetet i Agder, og nestleder ved Centre for Artificial Intelligence Research.

Goodwin påpeker at et algoritmetilsyn uansett vil gjøres sammen med dem som har utviklet algoritmene, slik at de som utfører tilsynet vil kunne be om å få forklart alle delene av algoritme-kodingen.

– Algoritmene minst like viktig som dataene

– Det er mye bedre at man går gjennom AI-dataprogrammet og undersøker hva AI-systemet har lært, enn at man bare kjører gjennom AI-systemet, og ser på hva som skjer. Det vil gi mye bedre oversikt over algoritmene som styrer AI-en.

– Dårlige data trekkes ofte fram når man snakker om at kunstig intelligens kan gi utilsiktede resultater. Er det ikke viktigere å ettergå dataene algoritmene skal behandle enn algoritmene?

– Det er minst like viktig å ettergå algoritmene som dataene. Algoritmene er trent på dataene, og hvordan algoritmen oppfører seg finner du sporene av i selve algoritmen, sier Goodwin.

Han ser ikke bort fra at flere aktører vil motsette seg å gi et algoritmetilsyn mulighet til å se hvordan algoritmene deres er bygget opp, av frykt for å avsløre forretningshemmeligheter, men håper Algoritmetilsynet ikke blir nødt til å la seg stanse av slike innvendinger.

– Algoritmetilsynet bør få myndighet til å gå inn i alle algoritmer slik for eksempel Konkurransetilsynet og andre kan få innsyn i forretningskritiske opplysninger på andre områder, sier han.

Goodwin mener opprettelsen av et Algoritmetilsyn vil kreve at det tilføres ny kompetanse, enten det blir et eget tilsyn, eller oppgaven blir værende under Datatilsynet. Men han tror ikke det vil være behov for store ekstraressurser.

– Det trengs nok en del folk med kodekunnskap, men også kompetanse på kunstig intelligens. Det er ikke vanskelig å finne denne kunnskapen, og jeg tror ikke tilsynet må bli et kjempestort apparat med behov for mye ressurser for å ha den kompetansen som skal til for å føre tilsyn med algoritmene, sier Goodwin.

– Resultatet viktigere enn algoritmen

EU-parlamentet oversendte i oktober en betenkning til EU-kommisjonen om å lage et etisk og rettslig rammeverk for for kunstig intelligens, robotteknologi og lignende teknologier. I det omfattende dokumentet poengteres det gjentatte ganger at både software, algoritmer og data bør omfattes av det som skal vurderes av de nasjonale tilsynsmyndighetene.

Catharina Nes, som er fungerende avdelingsdirektør for teknologi i Datatilsynet mener imidlertid ikke at det nødvendigvis betyr at et algoritmetilsyn må kunne ettergå selve algoritmen.

– Tilsyn med systemer basert på kunstig intelligens vil være teknisk komplekse og by på nye utfordringer for Datatilsynet. Samtidig som vi vil møte nye utfordringer som vil kreve spesiell kompetanse, er det viktig at man ikke ser seg blind på disse utfordringene. Tilsyn med kunstig intelligens handler om å undersøke om virksomheter utvikler, bruker og reviderer systemene i tråd med bestemmelsene i personvernforordningen. Algoritmen er ikke nødvendigvis så sentral i seg selv, det viktige er å føre kontroll med prosessen frem mot ferdig modell og resultatene som modellen genererer, sier hun.

Hun mener det likevel vil være viktig å ha medarbeidere i Datatilsynet med grunnleggende innsikt i data science.

– Slik kunnskap vil særlig være viktig når man skal undersøke om en algoritme produserer rettferdige resultater. Det vil for eksempel være nyttig å ha kunnskap om metoder som LIME, for å kontrollere utfallet av en algoritmestyrt automatisert beslutning, sier Nes.

– GDPR kan brukes på nye regler

– Det kan se ut som at EU legger opp til en relativt omfattende lovgiving rundt AI. Regner du med at det vil komme detaljerte føringer for hvordan et algoritmetilsyn skal foregå i den prosessen - og at det kan innebære at Datatilsynet må spisse kodekompetansen sin?

– Mange av oppgavene som ligger i forslaget til nytt regelverk, har Datatilsynet allerede myndighet til å gjennomføre, i kraft av personvernforordningen. Vi fører tilsyn med teknologi som bruker personopplysninger. Den største forskjellen i det nye forslaget er at det også skal gjelde for teknologi som ikke bruker personopplysninger, sier Nes, og viser til at EU-parlamentet blant annet foreslår at tilsynsmyndighetene skal kontrollere om teknologien diskriminerer på grunnlag av kjønn.

– Men forbudet mot diskriminering er etter vår oppfatning bare en annen side av kravet til rettferdighet, som allerede ligger i personvernforordningen. Vi har allerede brukt prinsippet om rettferdighet i saken der IB benyttet en algoritme for å fastsette karakterer, sier hun.

Datatilsynets direktør Bjørn Erik Thon har også ved flere anledninger, blant annet under Likestillingsombudets årskonferanse sist torsdag, der AI og diskriminering var tema, sagt at Datatilsynet ikke planlegger å ta for seg selve algoritmene som styrer kunstig intelligens.

Sandkasse for AI-testing

Datatilsynet vil imidlertid gjøre det mulig å teste resultatene av algoritmene. Første desember åpner Datatilsynet nemlig for søknader om å få med AI-prosjekter i den såkalte «regulatoriske sandkassen» som er et av tiltakene som ble foreslått da regjeringen la fram sin nasjonale handlingsplan for kunstig intelligens i januar.

Datatilsynets prosjektleder for regulatorisk sandkasse, Kari Laumann, håper å få inn så mange søknader som mulig, fra små og store aktører innen både offentlig og privat sektor.

– Målet er å få inn prosjekter som kan belyse gråsoner der det er uklarheter om hvordan personopplysningsloven skal tolkes ved bruk av kunstig intelligens, sier hun.

Inspirasjonen til den regulatoriske sandkassen har regjeringen hentet fra Storbritannia. Der har et av prosjektene gått ut på å bruke kunstig intelligens for å avsløre om barn jukser på alderen når de melder seg på en sosiale medier-tjeneste med aldersgrense.

Søknadsfristen for å få med prosjekter i Datatilsynets sandkasse er 1. februar neste år. Laumann regner imidlertid med at det kommer til å bli flere opptaksrunder, og sier at det trolig blir tatt inn 3-4 prosjekter i denne første runden.

Vil avklare gråsonetilfeller

– Hvordan skal sandkassen fungere i praksis?

– Det blir et forum der vi kan jobbe direkte med virksomheter, og hvor de er villige til å dele ideer og diskutere løsninger med oss. Effektive og innovative tjenester basert på kunstig intelligens må ivareta personvernet på en god måte. Sandkassen skal få frem gode eksempler på hvordan dette kan gjøres i praksis, og vi kan avklare hvor grensene går i gråsonetilfeller.

– Vi vil stille med jurister, teknologer og samfunnsvitere, og hjelpe deltagerne å ta gode avgjørelser om hvordan den kunstige intelligensen skal behandle personopplysninger, sier Laumann.

– Kommer Datatilsynet til å gå dypt inn i algoritmene i disse prosjektene, eller foregår sandkasse-aktiviteten på et mer overordnet nivå?

– Et prosjekt kan dreie seg om å lage retningslinjer for bruken av kunstig intelligens. Da kan man se for seg at Datatilsynet bidrar på et overordnet nivå. Men handler et prosjekt om forklarbarhet, må vi kanskje gå inn i algoritmen, for eksempel for å se hva slags informasjon om algoritmen som kan gis til brukere. I noen tilfeller vil nok Datatilsynet få demonstrert programvare og algoritmer, sier Laumann.

– Ser Datatilsynet for seg at det kan bli aktuelt å gjøre det obligatorisk å teste ut kunstig intelligens i en regulatorisk sandkasse, før den tas i bruk i samfunnet?

– Tidligere var det lovpålagt å få forhåndsgodkjent en del type behandling av personopplysninger, men i dag regulerer GDPR-forordningen bruken av personopplysninger, og det er ikke et lovkrav med tiltak som innebærer forhåndsgodkjenning av måten personopplysninger behandles på, sier Laumann.