Algoritmene gjør Snapchat til perfekt sted for narkohandel

Unge som bruker Snapchat for å kjøpe engangs-e-sigaretter med fruktsmak – såkalte vapes – ser ikke på seg selv som kriminelle. Men det ser ut til at Snapchat gjør det.

En ny eksperimentell studie ved Sociologisk Institutt på Københavns Universitet viser nemlig at Snapchats algoritmer anbefaler vape-kjøpere å følge selgere av harde stoffer. Det samme gjelder brukere som benytter plattformen til å kjøpe seksuelle tjenester, som for eksempel nakenbilder og sexchat.

Siden koden bak algoritmene er forretningshemmeligheter, ettersom de bestemmer hvordan brukerne interagerer med hverandre, måtte forskerne basere undersøkelsene på hva algoritmen faktisk anbefaler brukerne. For å gjøre dette opprettet de et stort antall like profiler – på den måten kunne de se om algoritmen anbefalte noe tilfeldig eller basert på en viss logikk.

I eksperimentet opprettet forskerne 40 Snapchat-profiler på ulike telefoner. Halvparten av profilene la til vape-selgere, mens den andre halvparten la til sexarbeidere.

Kort tid etter begynte Snapchat å anbefale disse brukerne å følge profiler som solgte narkotika. Dette skjedde for 90 prosent av profilene som kjøpte vapes og for 40 prosent av de som kjøpte seksuelle tjenester på den fjerde dagen, som var eksperimentets siste dag.

– Snapchats tekniske struktur er godt tilrettelagt for lyssky virksomhet, sier Kristoffer Aagesen, doktorgradsstipendiat som gjennomførte studien sammen med sin veileder, lektor Jakob Demant.

– Fordelaktig sted

Deres forskning viser at plattformen gjør det lettere for kriminelle å finne nye kunder, fordi algoritmen automatisk eksponerer vape-kjøpere og sexarbeidere for narkoselgere. For eksempel kunne en selger kalle seg «Randers Coke 24/7».

I tillegg gir Snapchat narkoselgere en høy grad av anonymitet, ettersom de bare trenger å registrere seg med et brukernavn, og meldingene slettes automatisk så snart de er lest.

– Appen er på mange måter et fordelaktig sted for denne typen handel. Når man så legger algoritmen til i miksen, blir det et sted hvor det er veldig enkelt for selgere å finne nye kunder, som de deretter kan overføre til en kryptert app som for eksempel Signal, sier Aagesen.

Han advarer om at Snapchat på denne måten eksponerer brukere fra gråmarkeder, som er på kanten av det lovlige, for nettverk av kriminelle.

Parallelforskyvning til den kriminelle verden

Slike systematiske endringer i brukeradferd tyder på at algoritmen kategoriserer hver enkelt bruker, ifølge Valdemar Balle, OSINT-analytiker i organisasjonen Digitalt Ansvar.

– Når algoritmen anbefaler spesifikke brukere å følge narkoselgere, tyder det på at den er i stand til å klassifisere interessene mine, og deretter eksponere meg for profiler som sannsynligvis tilfredsstiller den interessen, sier Balle.

Når algoritmen klarer å identifisere en «sfære» av narkotikaprofiler, undrer Balle seg over at Snapchat ikke retter forebyggende tiltak mot disse brukerne.

– Når Snapchat allerede har klassifisert brukere som åpenbart selger narkotika, burde de også relativt enkelt kunne stenge disse kontoene, sier han.

Balle mener det er kritikkverdig at Snapchat bruker denne informasjonen til å eskalere unges eksponering for ulovlig innhold:

– Snapchat må bli flinkere til å fjerne slike profiler. For slik det er nå, booster Snapchats algoritme narkotikaprofiler til unge som hittil bare har røyka vapes.

Han beskriver det som «grotesk» at en ung person som følger en vape-selger i København automatisk blir gjort oppmerksom på andre profiler som selger kokain i samme område. Dette strider mot Snapchats egne prinsipper om å fjerne ulovlig innhold – prinsipper som plattformen ofte fremhever i sine transparensrapporter, hvor de offentliggjør hvor mange kontoer som stenges på grunn av forskjellige former for kriminalitet, som for eksempel barneporno.

– Det må være mulig å trene algoritmen til å identifisere narkotikaselgerprofiler basert på brukernavn man vet er knyttet til narkotikahandel, som for eksempel snøfnugg, som er et kjent symbol for kokain, sier Balle.

– Jeg skjønner ikke hvorfor narkoselgere får bli på Snapchat. En teori er at selskapet ikke har trent algoritmen til å identifisere dem på dansk. Jeg ser ikke hva Snapchat skulle tjene på å overse dette, annet enn å slippe å bruke penger på å fjerne dem.

Snapchats svar

Ingeniøren spurte Snapchat om det stemmer at algoritmen kategoriserer folk basert på om de handler kriminelt.

Snapchat svarte ikke direkte på dette, men delte en oversikt over sine retningslinjer, som kort fortalt sier at de forbyr alle former for ulovlige aktiviteter og har implementert teknologi for å forhindre narkotikahandel. Snapchat understreker også at de jobber proaktivt med å identifisere og fjerne ulovlig innhold og tilknyttede kontoer, og samarbeider med myndighetene for å forbedre sikkerheten.

Moderatoren hjelper lite

Snapchat er ikke den eneste plattformen hvor algoritmene gjør slike trekk. Algoritmene på plattformer som Facebook og Instagram har vist lignende tendenser i andre studier, ifølge Kristoffer Aagesen.

Han har ingen konkrete forslag til hvordan dette problemet kan løses, da innføring av moderatorer sannsynligvis bare vil føre til at selgere bytter ord eller flytter til andre plattformer.

– Er det algoritmenes design som er problemet?

– Det har i hvert fall en negativ effekt i denne sammenhengen, sier Aagesen.

Han understreker imidlertid at algoritmene også har positive sider, ved å støtte konstruktive nettverk blant brukerne.

– Algoritmene er plattformenes forretningsgrunnlag fordi de skaper kontakt. De er laget for å øke engasjementet, slik at folk blir værende på plattformen. Men når det finnes store, svarte markeder på plattformene deres, vil effekten være at algoritmen noen ganger også anbefaler ulovlig innhold til brukere som ikke direkte har vist interesse for det, sier han.

Artikkelen ble først publisert på Version 2 for deres abonnenter. Den er tilgjengelig på norsk for abonnenter av Ekstra gjennom vår samarbeidsavtale.