kunstig intelligens
Skal ha mistet kontrollen over KI-agenter mer enn 80 ganger
California saksøker Open AI og mener selskapet ignorerte flere faresignaler før angrepet på Hugging Face.
Open AI skal selv har opplyst til justisdepartementet i California at selskapet har mistet kontrollen over autonome KI-agenter mer enn 80 ganger under testing.
Men Open AI har bare offentliggjort 27 av hendelsene.
Myndighetene mener selskapet ikke har gitt tilstrekkelig informasjon om hva som skjedde i de øvrige tilfellene. Det er dermed uklart hvor mange av hendelsene som førte til faktiske angrep.
Det er deler av grunnen til at delstaten nå saksøker Open AI og ber domstolen pålegge selskapet å endre praksis og betale bøter på opptil 2500 dollar, tilsvarende rundt 24.000 kroner, per påviste overtredelse.
Forutsigbart angrep
Det 31 sider lange søksmålet peker på flere hendelser som California mener viser til utilstrekkelig sikkerhet.
Blant andre nevner de Hugging Face-hendelsen fra i sommer, der Open AIs KI-agenter omgikk sikkerhetssperrer, samarbeidet og angrepet selskapet Hugging Face.
California mener at dette angrepet var forutsigbart. I søksmålet heter det:
«Cyberangrepet mot Hugging Face var et forutsigbart resultat av en intern kultur i Open AI som prioriterer vekst og rask modellutvikling fremfor sikkerhet og ansvarlighet.»
Delstaten mener også at Open AI villedet offentligheten om hvor godt KI-agentene var kontrollert. Søksmålet peker på at OpenAI gjentatte ganger har forsikret brukerne og offentligheten om at selskapet har innført nødvendige sikkerhetstiltak gjennom all utvikling av KI-produktene deres.
Men delstaten mener at disse uttalelsene var villedende, både overfor Open AIs kunder og offentligheten.
«I virkeligheten unnlot Open AI å følge sine egne interne retningslinjer og fortsatte konsekvent og aggressivt med testing og eksperimentering.»
Cyberangrep mot Rubygems
Søksmålet viser også til en hendelse der Open AI-agenter gjennomførte et cyberangrep mot Rubygems, pakkebehandlingssystemet for programmeringsspråket Ruby.
Agentene lastet opp tusenvis av pakker, noe som belastet tjenesten så mye at de måtte stenge for registrering av nye brukere i flere dager. Over 500 pakker ble senere vurdert som skadelige og måtte fjernes.
Agentene brukte også pakkene for å få tilgang til andre systemer, og forsøkte å skaffe seg tilgang tilgangsnøkler.
Open AIs agenter skal også ha brukt det tyske nettstedet Dsewiki til å utveksle informasjon om hvordan de kunne omgå sikkerhetssperrer, og overbelastet Wikimedias tjenester.
– Truet samfunnets sikkerhet
– Open AIs handlinger økte den reelle cybersikkerhetsrisikoen og truet samfunnets sikkerhet, helse og velferd, sa Californias justisminister Rob Bonta i en pressemelding.
– Uten tilstrekkelige sikkerhetstiltak og kontrollmekanismer vil omfanget og hyppigheten av denne allerede uakseptable risikoen bare øke.
Bonta understreker at Californias lover mot handlinger som skader offentligheten, ikke er nye. Han mener også at Open AI har brutt delstatens Unfair Competition Law, som forbyr ulovlig, urimelig og villedende forretningspraksis.