Sikkerhetsfirma avslører: «Hacking as a service» var svindel

Kriminelle som prøver å bruke kunstig intelligens til hacking og phishing, blir i økende grad selv ofre for svindel.

Det viser en ny rapport fra Cisco Talos – et av verdens største sikkerhetsmiljøer – som har undersøkt hvordan KI-verktøy brukes i cyberkriminelle miljøer. I ett konkret tilfelle avdekket de at den mørke markedsplassen for «hacking as a service» ikke hadde noe reelt produkt å tilby.

Forkledd som kjøper tok Talos’ forskere kontakt med personen bak AI-verktøyet FraudGPT, som gikk under navnet CanadianKingpin12.

På Telegram ble de tilbudt tilgang til verktøyet, men innloggingsinformasjonen de mottok, fungerte ikke. Da de ba om hjelp, ble de bedt om å betale kryptovaluta for et «cracket» login.

– Det ble raskt tydelig at CanadianKingpin12 ikke hadde noe fungerende produkt. Dette var ren svindel, rettet mot andre cyberkriminelles desperate jakt på ubegrenset KI, skriver Talos i rapporten Cybercriminal abuse of large language models.

Ifølge rapporten er dette ikke et enkelttilfelle. Flere brukere på samme forum har rapportert om lignende opplevelser med den samme aktøren. Det illustrerer ifølge Talos hvordan tillitsbrudd og svindel også er utbredt blant kriminelle som forsøker å utnytte KI-teknologi.

Markedsføres som «KI uten grenser»

Rapporten dokumenterer et voksende marked for kriminelt tilpassede språkmodeller – systemer som markedsføres uten sikkerhetsmekanismer, i motsetning til kommersielle tjenester som ChatGPT og Claude.

Modeller som GhostGPT, WormGPT og FraudGPT lover funksjonalitet som skadevare-generering, phishing, og automatisk sårbarhetsanalyse.

Prisene varierer fra rundt 90 euro til månedlige betalinger i bitcoin.

Men mange av verktøyene er enten svindel – som i tilfellet med FraudGPT – eller teknisk begrensede. Å drifte store språkmodeller uten sikkerhetsbarrierer krever betydelige ressurser.

Jailbreaking og «bestemor-rollespill»

På grunn av disse begrensningene tyr mange cyberkriminelle til vanlige, kommersielle KI-tjenester – og forsøker å omgå sikkerhetsbegrensningene med såkalte «jailbreaks».

En av metodene Talos beskriver er «bestemor-rollespill», der brukeren ber chatboten om å late som den er en snill bestemor som forteller farlige emner som godnatthistorier.

Andre teknikker inkluderer å splitte skadelige forespørsler opp i flere deler, bruke akademisk språk for å skjule hensikten, eller manipulere matematiske uttrykk.

Talos mener at «jailbreaking» har blitt et våpenkappløp mellom utviklere og angripere: mens førstnevnte tetter sikkerhetshull, leter sistnevnte etter nye veier rundt.

Hugging Face og faren for bakdører

Et annet sikkerhetsproblem oppstår når cyberkriminelle forsøker å distribuere KI-modeller med skjult, skadelig kode.

Ifølge Cisco Talos bruker mange av modellene som er tilgjengelige på KI-plattformen Hugging Face det sårbare Python-formatet Pickle for å serialisere modellene. Dette gjør det mulig å kjøre ondsinnet kode automatisk når brukeren laster ned og åpner modellen.

– Flere modeller med innebygd skadevare er allerede identifisert på Hugging Face, skriver Talos, som anbefaler at brukere kun laster ned modeller fra pålitelige kilder – og kjører dem i en isolert «sandbox» om mulig.

KI som angrepsforsterker

Selv om mye av den kriminelle KI-bruken fortsatt er uorganisert, ineffektiv eller ren svindel, mener Cisco Talos at utviklingen vil fortsette.

– Denne teknologien gir ikke nødvendigvis cyberkriminelle helt nye våpen, men den fungerer som en kraftforsterker som forbedrer og effektiviserer eksisterende angrep, skriver de.

Les hele rapporten fra Cisco Talos her: «Cybercriminal abuse of large language models».

Artikkelen ble først publisert på Version 2 for deres abonnenter. Den er tilgjengelig for Digis abonnenter gjennom vår samarbeidsavtale.