Eksperter kritiske til KI-filter: – Jeg har aldri hatt tro på det systemet

Teleselskapenes drøm om et spamfilter mot svindel-SMS-er har vist seg å være et personvern-mareritt i Danmark. Det samme systemet brukes i Norge.

KI-filteret ble lansert som en løsning som alene skulle blokkere svindelmeldinger. Men som Ingeniøren har kunnet avsløre, fungerte det bare fordi teleselskapenes ansatte manuelt leste gjennom meldinger fra danske borgere og virksomheter.

Saken har fått teleselskapene til å trekke i bremsen mens det undersøkes hva som kan gjøres for å løse problemet.

Nå peker fagfolk på at ideen om et selvkjørende KI-svindelvern har vært et luftslott fra starten av.

– Jeg har aldri hatt tro på det systemet, for det er ikke så forbaska enkelt som teleselskapene sier.

Det sier Lars Dittmann. Han er professor ved DTU Elektro og sakkyndig i Teleklagenævnet.

– Man tror at KI kan klare alt, men slik er ikke virkeligheten. KI-systemer kan finne mønstre, men de kan også slette noe som ikke skal slettes. Derfor kan du heller aldri trene det opp til å fungere helt på egen hånd, sier han.

En lignende vurdering kommer fra Stefan Sommer, professor ved Institutt for informatikk ved Københavns Universitet.

– Jeg har aldri hørt om KI-systemer som kan kjøre helt uten menneskelig innblanding.

Med bind for øynene

Et av problemene med å utelate mennesker i slike systemer er at det blir umulig å kvalitetssikre at systemet faktisk virker, hvis man ikke ser på hvordan det behandler data.

I dette tilfellet er det for eksempel behov for mennesker til å se på SMS-er for å sjekke at systemet har sortert og blokkert på riktig måte, forteller Sommer.

– Hvis man ikke har mennesker inne for å dobbeltsjekke systemets handlinger, er det som å kjøre med bind for øynene – for da vet man jo egentlig ikke om systemet gjør det det skal, sier professoren.

Selv om systemet skulle ha svært høy presisjon, ville mange meldinger likevel bli feilaktig merket.

– I motsetning til spamfilteret i e-post-innboksen vil konsekvensen av en feil SMS-merking være at meldingen ikke når frem til mottakeren, sier Sommer.

Han får støtte fra Mikkel Flyverbom, professor i kommunikasjon og digital transformasjon ved Copenhagen Business School (CBS).

– Hvis man snakket om KI på en mer fornuftig måte, ville man vite to ting: For det første kan slike systemer sjelden levere for eksempel 99 prosent sikkerhet. For det andre vil de alltid kreve menneskelig kvalitetssikring.

Et skritt bak svindlerne

I tillegg til kvalitetssikring har teleselskapenes ansatte også lest SMS-er for å sørge for at spamfilteret kunne tilpasses nye typer svindelkampanjer.

Men den løpende utviklingen stoppet også da telebransjen trakk i bremsen i løpet av sommeren. Og det er «et kjempeproblem» sett fra et svindelbeskyttelsesperspektiv, sier Sune Gabelgård.

Han er svindelansvarlig i den belgiske betalingstjenesten EPI, og har tidligere jobbet med bekjempelse av svindel i politiet og i finanssektoren, blant annet hos Mobilepay.

– Mange blir overrasket over hvor omstillingsdyktige svindlerne er, sier Sune Gabelgård og legger til:

– Her må man ta stilling til innholdet i en SMS, som hele tiden kan endre seg. Derfor må man av og til validere at man fortsatt treffer riktig og får blokkert det som skal blokkeres, sier han.

Ifølge Gabelgård har prosessen med spamfilteret ført til at myndigheter, telesektor og innbyggere nå står overfor et sentralt spørsmål:

Er vi villige til å ofre personvernet for å bekjempe denne typen svindel?

Selv om han har brukt en karriere på å bekjempe digital kriminalitet, mener han personlig at prisen for det nye vernet har vært for høy i denne saken.

– Jeg mener prinsipielt at ingen skal sitte og lese folks SMS-er. Jeg tror ikke på at mer overvåking gir mer sikkerhet. Men jeg hadde kanskje håpet at man i mellomtiden hadde forsøkt å finne en mer holdbar løsning som kunne brukes på lang sikt.

Uenig med departementet

Teleselskapene ønsker fortsatt ikke å stille til intervju. De viser i stedet til Jakob Willer, direktør i deres bransjeorganisasjon. Han ønsker heller ikke å stille til intervju, men skriver i en e-post til Ingeniøren:

«Det har vært en klar forutsetning at systemet skulle trenes over en periode for å kunne fungere. Det er i denne treningsperioden selskapene vurderte at det ville være nødvendig med menneskelig involvering. Og det er her det har vist seg at behovet for menneskelig involvering ikke avtar, og at det ikke er snakk om en midlertidig treningsperiode,» skriver direktøren.

Dette er imidlertid i strid med oppfatningen til Digitaliseringsdepartementet og Digitaliseringsstyrelsen, som godkjente systemet.

I et møtenotat fra 25. august, som Ingeniøren har fått innsyn i, står det nemlig at det først er her, ti måneder etter godkjenningen, at Digitaliseringsdepartementet blir klar over at det daglig har vært mennesker involvert i prosessen:

«Departementet hadde fått opplyst at i stedet for at en KI-teknologi var den eneste funksjonen som fikk innsyn i brukernes meldinger for å analysere og blokkere svindel, var fysiske personer nødt til å hjelpe KI-teknologien på vei ved å se på enkelte meldinger og merke nye former for svindel.»

Jakob Willer har ikke besvart redaksjonens oppfordring om å dokumentere at den menneskelige innblandingen var en «klar forutsetning». Han vil heller ikke svare på hvorfor teleselskapene ikke slår av systemet i det øyeblikket det blir tydelig at ansatte må lese innholdet i meldinger daglig.

«Det er viktig å understreke at det ikke er snakk om at ansatte har gjennomgått enkeltstående SMS-er sendt mellom kundene. Systemet har identifisert dersom det har vært likelydende formuleringer i mange SMS-er, og presentert dette for operatøren av systemet, som deretter har vurdert om det dreier seg om en svindelkampanje» sier Jakob Willer.

Dette står i kontrast til hans tidligere intervju med Ingeniøren, der han opplyste at han ikke kan garantere «noe som helst» om antallet SMS-er eller om for eksempel et kjærestepars interne meldinger kan ha blitt fanget opp til gjennomgang.

Artikkelen ble først publisert på Ingeniøren for deres abonnenter. Den er tilgjengelig for Digis abonnenter gjennom vår samarbeidsavtale.