Open AI: Slik brukes Chat GPT av beryktede hackergrupper

De moderne språkmodellene har tatt verden med storm, men de ondsinnede aktørene har også dratt stor nytte av den rivende utviklingen innen kunstig intelligens (KI) – en trussel også de sentrale aktørene tar på alvor.

Open AI publiserte nylig en rapport hvor det kommer frem at selskapet har registrert en rekke forsøk på å utnytte KI-teknologien deres til ulovlig virksomhet, noen ganger av svært alvorlig art.

Nettstedet Security Week er blant dem som har skrevet om saken.

Oppdaget 20 operasjoner

– Siden begynnelsen av året har vi forstyrret mer enn 20 operasjoner og villedende nettverk fra hele verden som forsøkte å bruke modellene våre, inkludert aktivitet vi har fjernet siden trusselrapporten vår fra mai 2024, skriver Open AI.

Ifølge selskapet omfatter aktiviteten alt fra feilsøking av skadelig programvare til skriving av artikler for nettsteder og generering av innhold og profiler til sosiale mediekontoer.

Det meste av den ondsinnede aktiviteten dreier seg om å generere villedende informasjon som spres på sosiale medier og i andre kanaler, noen ganger i den hensikt å påvirke eller rokke ved demokratiske prosesser.

En av de mest betydningsfulle hendelsene var en hemmelig, iransk kampanje i august i år døpt «Storm-2035», som var designet for blant annet å påvirke den amerikanske valgkampen og opinionen rundt konflikten i Israel/Gaza.

I den forbindelse identifiserte Open AI et antall Chat GPT-kontoer som ble brukt til å generere innhold spredt på sosiale medier, for så å stenge og bannlyse disse kontoene. Innholdet som ble produsert, omfattet blant annet kommentarer relatert til presidentkandidatene.

Angrep ICS-systemer

I tillegg til kortere innlegg generert for sosiale medier ble Chat GPT også benyttet til å produsere lengre artikler om amerikansk politikk og globale begivenheter, som ble publisert på flere ulike nettsider som utga seg for å være legitime nyhetskilder.

Når det gjelder Iran, oppdaget Open AI også at en hackergruppe kalt CyberAv3ngers, som skal være tilknyttet den iranske revolusjonsgarden, hadde brukt selskapets KI-modeller til å forske på sårbarheter, feilsøke kode og mer.

CyberAv3ngers har blant annet utført angrep på ICS-systemer (industrial control systems) som brukes innen vannsystemer, produksjon og energisystemer. Gruppen opererer også i Europa, hvor den blant annet har satt vannsystemer ut av spill i Irland.

«SweetSpecter» er navnet på en antatt kinesisk hackergruppe som skal ha brukt Open AIs tjenester til å lete etter sårbarheter, bedrive rekognosering, skriptstøtte og til å unngå deteksjon av sikkerhetssystemer.

Denne aktøren skal også ha brukt Chat GPT til å utføre målrettede phishing-angrep – såkalte «spear-phishing»-angrep – mot Open AIs egne ansatte via e-poster.

Flere detaljer om funnene Open AI har gjort rundt ondsinnet bruk av modellene sine, kan man finne i selve rapporten.