ChatGPT får kritikk: Må få kontroll på «hallusinasjoner»

Den populære tjenesten ChatGPT må endres grundig hvis den skal overholde GDPR.

Dette er konklusjonen i en ny rapport, som en såkalt ChatGPT-arbeidsgruppe under Det europeiske personvernrådet (EDPB) lanserte forrige uke. Arbeidsgruppen, som består av flere datatilsyn, inkludert det danske, har nå levert sine foreløpige konklusjoner etter å ha undersøkt tjenesten siden januar.

OpenAI må blant annet tilbake til tegnebrettet når det gjelder de såkalte «hallusinasjonene» – tjenestens tendens til å presentere falske opplysninger om levende personer som om det var fakta.

– Under alle omstendigheter skal prinsippet om riktighet overholdes, slår arbeidsgruppen fast. Dermed gir den personvernaktivisten Max Schrems rett i klagen han leverte i april mot OpenAI, selskapet bak den generative språkmodellen.

Ikke en endelig avgjørelse

Hva som skal til for at ChatGPT kan overholde GDPR, er derimot langt fra klart i alle tilfeller. Rapporten er ikke en endelig avgjørelse, men en fellesnevner for hva gruppens medlemmer kunne bli enige om. Inntil EDPB tar en endelig beslutning, kan rapporten brukes til å skape en «felles tilnærming» i tilsynssaker mot ChatGPT i flere land. Eksempelvis forbød det italienske datatilsynet ChatGPT i en periode i fjor, og de har fortsatt en sak gående.

EDPB vil ta offisiell stilling til problemene i form av retningslinjer som er på vei, melder de i en pressemelding.

I arbeidsgruppens rapport er det særlig fire GDPR-problemer som OpenAI må få kontroll på, i tillegg til å ta stilling til hvem som i det hele tatt får håndheve reglene.

1. Må vise hallusinasjoner tydeligere

Generativ AI’s tendens til å hallusinere er et grunnleggende problem ved teknologien, ifølge flere eksperter, og derfor så godt som umulig å gjøre noe med. I hvert fall så lenge man ikke vil legge store begrensninger på teknologien, som å blokkere alle navn fra promter.

Men ifølge EDPB’s arbeidsgruppe er ChatGPT’s output «tilbøyelig til å bli oppfattet som faktuelt riktig» av sluttbrukeren.

Derfor bør OpenAI være langt mer transparente om teknologiens begrensninger, mener de: Den korte advarselsteksten som i dag befinner seg under prompt-vinduet, er ikke nok. Det må tydelig framgå at modellen er basert på sannsynligheter, og at outputet kan være falskt eller biased, understreker de.

I tillegg må OpenAI «fortsette å forbedre» de mulighetene som de registrerte har for å utøve sine rettigheter under GDPR – deriblant sletting eller retting av data.

Selv om EDPBs arbeidsgruppe altså gir Noyb rett i at det er et problem, er det ikke nok til å skape klarhet i saken, mener den østerrikske NGOen.

– Rapporten er forvirrende og selvmotsigende. Det er noen elementer som støtter vårt standpunkt, men også utsagn som kan tolkes på en helt annen måte, skriver organisasjonen i en e-post.

– Et slikt forvirrende bilde vil til syvende og sist flytte ansvaret tilbake til de enkelte datatilsynene, som vil beholde en veldig bred skjønnsmargin, lyder bekymringen.

2. Hva vet OpenAI om meg?

Rapporten forholder seg også til den andre delen av Max Schrems' klage, som gikk på at OpenAI nekter å fortelle hvilke persondata som ligger om ham i modellens treningssett, og hvordan de blir behandlet – til tross for at det er en rettighet under GDPR.

Også her mener arbeidsgruppen at OpenAI må forbedre mulighetene for at de registrerte kan utøve sine rettigheter.

– I lys av den komplekse behandlingssituasjonen og de reelle grensene for at datasubjekter kan innvende, er det avgjørende at de skal kunne utøve sine rettigheter på en lett tilgjengelig måte, skriver arbeidsgruppen.

Hvordan det konkret skal foregå, melder rapporten ingenting om.

3. Følsomme data i promter er OpenAIs ansvar

– Man må formode at folk før eller senere vil putte persondata inn i modellen, skriver arbeidsgruppen.

Som det er i dag, vil selv følsomme data bli brukt til å trene modellen, med mindre man aktivt har slått det av. Det er også risiko for at det blir delt med andre brukere gjennom modellens output, konkluderer rapporten.

Derfor må OpenAI også her informere brukeren, «klart og tydelig» om dette.

IT-infrastruktur Men selv når det er gjort, kan ikke OpenAI fraskrive seg ansvaret. De må altså ikke skrive i smått i vilkårene at brukeren selv blir dataansvarlig, eller at det er forbudt å skrive persondata inn.

OpenAI har satt i verk en foranstaltning for å løse problemet – om det er nok, vil de endelige avgjørelsene vise, skriver arbeidsgruppen.

4. Mer fintfølende web scraping

Rapporten forholder seg også til et av de store spørsmålene som har vært på bordet helt siden ChatGPT ble lansert – om selve byggesteinene den består av. For, må OpenAI bygge sin modell på persondata de har samlet opp via massiv datainnsamling ved hjelp av web scraping?

Arbeidsgruppen er forsiktig med å konkludere for mye på dette området. Selv bruker OpenAI «legitim interesse» som hjemmel til å innhente dataen, og om den holder i retten, kommer an på en avveining: blant annet av datasubjektenes «rimelige forventninger», skriver arbeidsgruppen.

Hvis ikke, så har arbeidsgruppen en løsning klar: det skal sorteres. Under scrapingen bør man automatisk unngå visse typer data eller kilder, for eksempel personlige profiler på sosiale medier. Og hvis man har samlet inn persondata, skal det slettes eller anonymiseres.

En annen problematikk ved scrapingen er at det vil være umulig å informere alle de registrerte personene. Det finnes dog én unntakelse i artikkel 14: Samler man kun til arkivformål, samfunnets interesse, forskning eller statistikk, kan man unngå kravet. Om den holder i retten, må tiden vise.

Irland tar det herfra

Det vakte oppsikt da Italias datatilsyn i fjor forbød ChatGPT og tvang OpenAI til å love endringer i tjenesten. Men om de ville kunne gjøre det samme i dag, er mindre sannsynlig.

15. februar fikk OpenAI offisielt kontor i Irland, så på grunn av One Stop Shop-mekanismen i GDPR vil det for fremtiden være det irske datatilsynet som kan føre tilsyn med all databehandling som har foregått etter den datoen.

IT-sikkerhet Dog kan andre lands datatilsynsmyndigheter godt stille spørsmål ved dette, legger arbeidsgruppen til.

Det håper Noyb at det østerrikske datatilsynet vil gjøre, skriver de i en e-post. De anser nemlig OpenAIs europeiske hovedkvarter for et pro forma-kontor som ikke har noen reell makt, beskriver de i klagen fra april måned. Dessuten, påpeker de, har det italienske datatilsynet åpnet en ny sak mot OpenAI etter at kontoret ble opprettet – mot AI-videogeneratoren Sora.

Ifølge lektor i databeskyttelsesrett ved SDU, Ayo Næsborg-Andersen, har det betydning for avgjørelsen hvilket lands datatilsyn som skal håndheve reglene.

– Noen av datatilsynene er mer teknologiskeptiske enn andre. Men rapporten vil ha innflytelse på deres avgjørelse.

Artikkelen ble først publisert på Version 2 for deres abonnenter. Den er tilgjengelig på norsk for abonnenter av Ekstra gjennom vår samarbeidsavtale.