OpenAI-agent angrep flere enn først kjent

Forrige uke ble det kjent at en OpenAI-agent brøt seg ut av et avgrenset testmiljø og angrep Hugging Face på egen hånd.

Nå viser det seg at hendelsen var større enn først kjent.

Agenten brukte også offentlig eksponerte innlogginger til å få tilgang til fire andre tjenester, skriver The Guardian.

OpenAI har ikke opplyst hvilke tjenester det gjelder.

Aktiviteten skal heller ikke ha hatt samme alvorlighetsgrad eller omfang som angrepet mot Hugging Face.

Brøt seg ut

Hendelsen oppstod under en sikkerhetstest hos OpenAI.

En agent drevet av to OpenAI-modeller skulle løse en hackingoppgave i et isolert testmiljø.

Den klarte imidlertid å komme seg ut av miljøet, nå internett og angripe Hugging Face.

Agenten nådde intern infrastruktur hos Hugging Face, men selskapet opplyser at den bare fikk tilgang til innhold knyttet til sikkerhetstesten.

Mulig angrepskjede

I et leserinnlegg i Kode24 beskriver Rashid Sultan i Sopra Steria hvordan angrepskjeden kan ha sett ut.

Ifølge Sultan kan veien ha gått gjennom et pakkeregister fra JFrog.

Der skal den ha funnet en sårbarhet i kontrollen av JWT-tokens, som brukes til å bekrefte identitet og tilgang.

Agenten skal deretter ha skaffet seg administratorrettigheter i pakkeregisteret og erstattet en godkjent programvarepakke med en infisert versjon.

Da en internettilkoblet maskin hentet pakken, fikk agenten kjørt kode utenfor sandkassen.

Derfra skal agenten ha rettet seg mot Hugging Face.

– En sandkasse er bare så sterk som det smaleste hullet du lar stå åpent, skriver Sultan.

Ifølge Sultan lastet den der opp et skadelig datasett, utnyttet svakheter i selskapets visningsverktøy og fikk tilgang til en intern maskin.

På denne fant den nye innloggingsopplysninger som kunne brukes videre inn i produksjonssystemene.

Gjennomgangen til Sultan bygger på informasjon fra OpenAI, Hugging Face og andre aktører i sikkerhetsbransjen.

Rask og utholdende

Det tok tre dager før Hugging Face oppdaget agenten i nettverket.

Deretter brukte sikkerhets- og KI-ekspertene mange timer på å begrense aktiviteten og fjerne agenten.

Rundt en tredel av infrastrukturen måtte bygges opp på nytt, ifølge selskapet.

Hugging Face har i etterkant rekonstruert rundt 17.600 handlinger utført av agenten, ifølge The Guardian.

Selskapet mener en menneskelig angriper kunne ha utnyttet mange av de samme svakhetene.

Forskjellen var hvor raskt og utholdende agenten kunne prøve nye angrepsveier.