KI-system overvåker eldre på sykehjem: Kommuner i tvil om det er lovlig

Med et kamera på rommet kan personalet på danske sykehjem følge med på om en beboer har falt ut av sengen eller må snus i løpet av natten. Bildene vises som små standardiserte figurer. Alt skjer via datavisjonsteknologi fra Teton, som ble grunnlagt av Esben Klint Thorius og Mikkel Wad Thorsen som en spin-off fra DTU.

Teknologien er tatt i bruk på flere sykehjem i Næstved, Holbæk og Allerød kommune, og er blitt trukket frem av næringsminister Morten Bødskov som et eksempel på en virksomhet som revolusjonerer eldre- og helsesektoren med kunstig intelligens. Også Digitaliseringsstyrelsen har nylig fremhevet teknologien for å halvere antallet fallulykker i Næstved.

Teton hentet tidlig i 2023 inn rundt 35 millioner kroner i kapital fra både danske og utenlandske investorer.

Men Ingeniøren kan nå fortelle at systemet møter motstand flere steder.

Tviler på lovligheten

Et av stedene er i Glostrup kommunes administrasjon.

I et brev til Datatilsynet i februar ba kommunen om en vurdering av systemet. Deres egen konklusjon er klar: Det bør ikke tas i bruk.

«Vi vurderte at systemet overvåker innbyggerne, samler inn mer data enn nødvendig og foretar profilering – herunder data om kroppsbygning, kroppsholdning, hudfarge, søvnmønster, tid på badet osv., samt ’langsiktige opplysninger om innbyggernes tilstand og vaner,» heter det i brevet.

I tillegg vurderer kommunens GDPR-konsulent at det er for vanskelig å få oversikt over hvilke data Teton samler inn, og hva som skjer med dem.

«Vi mener ikke at det er gjennomsiktig hva systemet faktisk samler inn og behandler. Vi er dessuten i tvil om det samles inn ’nice to have’-informasjon gjennom systemet, da vi i møtet med leverandøren fikk inntrykk av at de hadde mange ideer til hva data kunne brukes til,» heter det i brevet.

GDPR-konsulent Pernille Schioldan Andersen, som står bak brevet, sier til Ingeniøren at kollegene gjerne vil bruke systemet, men at hun vurderer at det samler inn for mye data.

«Hvis formålet er å oppdage når en beboer faller, ligger det utenfor formålet å registrere hva pårørende gjør på rommet. Intentionen er god, men vi vurderte at det ble samlet inn for mye data,» sier hun.

Aarhus undersøker fortsatt

I Aarhus kommune har man vært tilbakeholden med å ta i bruk den såkalte våketeknologien – blant annet fordi det ikke har vært mulig å innhente gyldig samtykke fra beboerne. Problemet er at man ifølge Datatilsynets veiledning om bruk av AI-løsninger ikke kan basere behandlingen av personopplysninger på samtykke dersom det i realiteten er en forutsetning for å kunne bruke teknologien.

Nå er kommunen igjen i gang med å vurdere ulike teknologier – deriblant Tetons – opp mot GDPR.

– Vi setter ikke i gang før vi vurderer at det er lovlig. En ting er at leverandøren sier at løsningen er i orden, men i detaljene kan det se annerledes ut. Kanskje må vi starte med å slå av visse funksjoner og åpne opp senere, sier Signe Rønn Sørensen, forvaltningssjef for helse og omsorg.

Hun mener vi står i en brytningstid:

– Vi skal handle etisk korrekt og gjøre det beste for beboerne. Vi vil våke over dem, så de ikke ligger på gulvet i timevis, men lovgivningen henger etter i forhold til hva mange – også politikere – mener bør være mulig. Vi må være nysgjerrige på dette.

Etter sommerferien vil kommunen derfor starte en avklaringsfase med leverandørene.

Næstved bruker det til flere formål

Spørsmålet om hvor mye data Teton samler inn, ble tatt opp i Ingeniørens podkast Transformator. Her fortalte Næstved kommunes senterleder Torben Holmann at systemet kan brukes til å samle inn en lang rekke ulike data.

– Om et års tid vil vi kunne stå hos en beboer før et hjertestans, hvis vi fikk lov og ønsket det. Spørsmålet er om vi som samfunn ønsker det. Men vi har så mye data at vi kan forutsi sykdommer, sa han i podkasten.

Holmann forklarer til Ingeniøren at Teton kan oppdage tegn på urinveisinfeksjoner, smerter eller fall som personalet ellers kan overse. I tillegg brukes data fra beboerne til å trene Tetons algoritme på sikre servere. Han understreker at det er inngått databehandleravtaler med Teton, innhentet samtykke fra beboere og gjennomført en konsekvensvurdering av et eksternt advokatfirma.

– Vi er klar over at noen mener vi gjør noe galt, men vi ønsker bare å gi beboerne god behandling, sier Torben Holmann.

Datatilsynet: Vent på ny lovgivning

Datatilsynet har i sitt svar til Glostrup kommune lagt vekt på at det er opp til kommunen selv å gjøre en konsekvensvurdering av Tetons prosjekt. Datatilsynet avviser dermed å ta selvstendig stilling til systemet.

Men i et svar til Lyngby-Taarbæk kommune, som ba om et rettslig grunnlag for å bruke Tetons AI-sensorløsning og som har gjort en foreløpig vurdering av systemet, anbefaler Datatilsynet å vente med å ta det i bruk.

De viser til prosessen rundt et lovutkast fra Social-, Bolig- og Ældreministeriet om bruk av tv-overvåking på sykehjem, som eventuelt kan bli vedtatt.

I sitt høringssvar til lovutkastet kritiserer Datatilsynet at departementet ikke har vurdert reglene for databeskyttelse grundig nok, og etterlyser et klart behandlingsgrunnlag i personvernforordningen for AI-basert bildeanalyse og overvåking.

Datatilsynet påpeker også at tv-overvåking generelt må anses som en inngripende form for overvåking, som må vurderes ut fra flere forhold – blant annet hensynet til privatliv.

Teton avviser kritikken

Teton har ikke ønsket å stille til intervju. Men i et skriftlig svar til Ingeniøren avviser selskapets compliance-ansvarlige, Joseph Nguyen, kritikken fra Glostrup kommune.

«Det er ikke teknologien i seg selv, men kundens bruk innenfor deres rettsgrunnlag og konsekvensanalyse som avgjør om løsningen er lovlig og hensiktsmessig,» skriver han.

Teton understreker at prinsippet om dataminimering er sentralt, og at systemet ikke gir tilgang til live-streaming eller historiske opptak. De avviser også at systemet driver med profilering:

«Systemet analyserer sensordata for å identifisere umiddelbare og konkrete pleierelevante hendelser eller risikotilstander (…) Eventuelle opplysninger om ’tilstander og vaner’ er alltid relatert til spesifikt avtalte hendelser.»

De peker også på at gjennomsiktighet sikres gjennom dokumentasjon, og at det finnes ulike vurderinger blant kommunene:

«Datatilsynet understreker at dersom en behandlingsansvarlig vurderer at en løsning ikke kan brukes i tråd med reglene, skal de avstå fra bruk – uavhengig av at andre vurderer det annerledes for sitt spesifikke bruk.»

Artikkelen ble først publisert på Version 2 for deres abonnenter. Den er tilgjengelig for Digis abonnenter gjennom vår samarbeidsavtale.