Sikkerhetsselskap advarer om KI-agenter i cyberangrep

Hugging Face-hendelsen i sommer fikk varselslampene til å blinke hos cybersikkerhetsselskapet Cato Networks.

De mener at hendelsen viser et trusselbilde i endring.

– Etter hvert som KI-agenter blir dyktigere, skaper de en ny intern trusselflate for enhver organisasjon, sier administrerende direktør Shlomo Kramer.

Advarer om svakhet

Ifølge Cato Networks skiller angrepet mot Hugging Face seg fra andre tradisjonelle cyberangrep.

Selskapet peker på at agenten jobbet døgnet rundt i maskinhastighet, i motsetning til en menneskelig angriper.

Den prøvde flere angrepsveier parallelt og tilpasset seg uten menneskelig styring.

Selv om Hugging Face hadde sikkerhetsverktøy som fanget opp enkelte avvik under angrepet, klarte ikke systemene å koble dem sammen.

– Hver enkelt handling ble vurdert som et lavprioritert avvik, noe som

gjorde at ingen alarm ble utløst hos sikkerhetsteamet.

Cato Networks mener dette viser en svakhet ved dagens sikkerhetsarbeid: Forsvaret er laget for å oppdage menneskelige angripere og kjent skadevare.

– Når en KI-agent i stedet kjører tusenvis av tilsynelatende normale

kommandoer på rekke og rad, rekker ikke tradisjonelle varslingskjeder å oppdage mønsteret.

Automatiser forsvaret

– For å tette dem må virksomheter endre synet på KI-sikkerhet fra bunnen av, skriver Cato Networks.

Selskapet peker på forebyggende tiltak.

Virksomheter må ha bedre kontroll på hvilke KI-agenter som brukes, hvem som har ansvar for dem og hvilke tilganger de får.

– Du må sette harde tekniske sperrer for hvilke filer den kan

lese, hvilke nettverkskall den kan gjøre og hvilke verktøy den får kjøre.

I tillegg anbefaler de å erstatte permanente passord og nøkler med midlertidige tokens.

– Slik kan ikke en kapret agent utnytte de samme tilgangene til å ta seg videre i nettverket.

Selskapet mener det er viktig å ha alternative verktøy tilgjengelig dersom kommersielle KI-modeller nekter å analysere skadelig kode under en etterforskning

Dessuten bør forsvaret automatiseres.

– Når angrepet skjer i maskinhastighet, må forsvaret gjøre det

samme.

Nå kommer Astra

Etter Hugging Face-hendelsen varslet OpenAI en rekke sikkerhetstiltak.

Selskapet bremset utviklingen av sine kraftigste modeller og innførte strengere krav til isolering av testmiljøer.

Nå lanserer OpenAI Astra, som selskapet selv vurderer til å ha nådd et «kritisk» nivå for cybersikkerhet.

Det innebærer at modellen kan finne ukjente sårbarheter og utvikle angrep mot beskyttede systemer uten at et menneske trenger å styre hvert steg.

I tester fikk Astra blant annet 100 prosent på ExploitBench, en test av modellens evne til å utvikle angrep mot kjente sårbarhet.

Sikkerhetstiltak

OpenAI sier i en kunngjøring at modellen krever at selskapet jobber med å minimere risikoen for cyberskade.

Etter Hugging Face-hendelsen lagde selskapet en ny test. Modellene fikk cyberoppgaver hvor det fantes fristende snarveier utenfor det egentlige oppdraget.

Her skal Astra ikke ha blitt fristet.

OpenAI peker samtidig på to hovedrisikoer: at ondsinnede brukere misbruker modellen, og at modellen selv utfører uautoriserte handlinger.

– Vi planlegger å gjøre Astra tilgjengelig snart, men tilgangen til de mest avanserte cybersikkerhetsfunksjonene vil være mer begrenset, skriver OpenAI.

De kraftigste funksjonene skal i første omgang være tilgjengelige gjennom Daybreak Blue, som er en del av OpenAIs satsing på KI-verktøy for cybersikkerhet.

Selskapet har også styrket blant annet isolering, overvåking, tilgangskontroll, modelltrening og automatiske stoppmekanismer.