KI-bransjens mektigste vil bremse utviklingen: – Fryktretorikk, sier forsker

– Vi må senke tempoet, skrev Anthropic-sjef Dario Amodei i et blogginnlegg lørdag.

Utspillet kommer i kjølvannet av en sommer med flere oppsiktsvekkende sikkerhetshendelser med KI-agenter.

Siden lørdag har både OpenAI-sjef Sam Altman og Elon Musk stilt seg bak Amodei.

– Det er spesielt at de samme selskapene som tidligere har advart mot streng regulering, nå ber myndighetene om å gripe inn, mener førsteamanuensis i KI ved Universitetet i Agder Ishita Barua.

– Mange sikkerhetstiltak kunne de langt på vei stått for selv.

Endret seg på kort tid

Flere av KI-selskapene har tidligere advart mot streng at streng regulering kan bremse innovasjon og utvikling.

OpenAI-sjef Sam Altman kalte i 2023 et utkast til EUs AI Act for strengt, mens Google og Meta senere har advart om at deler av regelverket kan hemme utviklingen av KI i Europa.

Nå har flere av dem tilsynelatende snudd.

Amodei i Anthropic foreslår blant annet at uavhengige kontrollører skal få omfattende tilgang til KI-selskapenes systemer.

Anthropic vil selv slippe inn eksterne kontrollører med tilganger som ligner dem selskapets egne ansatte har. De skal blant annet kunne kontrollere sikkerhetsarbeidet og undersøke hendelser.

På sikt ønsker Amodei også koordinering mellom KI-selskapene og mellom land.

Ifølge ham handler forslagene om at teknologien har endret seg kraftig på kort tid.

Amodei peker blant annet på Hugging Face-hendelsen i juli, der en sverm av OpenAI-agenter opptrådde på måter de ikke var blitt bedt om i en sikkerhetsøvelse.

Blant annet tok de seg inn i systemene til KI-selskapet Hugging Face.

Skadene var begrensede, men Anthropic-sjefen mener konsekvensene kunne vært langt større dersom agentene hadde vært kraftigere.

– Slår inn åpne dører

Marius Sandbu, spesialist på KI og skyteknologi i Sopra Steria, mener den kraftige utviklingen var tydelig allerede ved inngangen til året.

Hugging Face-hendelsen satte imidlertid ytterligere fart på bekymringen.

Sandbu og KI-forsker Barua forklarer at hendelsen var alvorlig, men mener at den først og fremst viser svakhet i den interne sikkerheten hos OpenAI.

Barua tenker derfor det er mulig at KI-selskapene roper varsko av mer strategiske årsaker.

– Jeg tror de skjønner at reguleringen kommer uansett, mener Barua.

– På den måten slår de inn åpne dører og får god PR for å ligge i forkant, og det øker potensielt verdsettelsen foran en eventuell børsnotering.

En mulig børsnotering har vært på bordet for både OpenAI og Anthropic gjennom hele 2026.

Vil ikke tape kappløpet

For Barua ligger det et paradoks i at selskapene ber eksterne aktører hjelpe dem med å senke tempoet.

– De kan jo stoppe seg selv. Ingen hindrer dem, sier hun.

Samtidig mener hun det finnes en åpenbar grunn til at ett selskap ikke ønsker å være først ute med å tråkke på bremsen.

– Problemet er at de ikke vil stoppe dersom alle andre fortsetter. Dette er et kappløp.

Barua mener selskapene ikke vil ta det første skrittet dersom ikke myndighetene kan sikre at konkurrentene også blir bremset.

Det gjelder også konkurransen mellom USA og Kina.

Amerikanske myndigheter har gjort det til uttalt politikk å vinne det globale KI-kappløpet, mens kinesiske modeller på kort tid har tatt kraftig innpå de amerikanske.

Dermed risikerer et selskap eller land som bremser alene, å gi konkurrentene et forsprang.

Farlig = kraftig

Barua peker også på en spesiell dynamikk i KI-bransjen.

– Advarsler om hvor farlige modellene er, kan samtidig fungere som reklame for hvor kapable de har blitt.

Forskeren mener derfor det er grunn til å være kritisk til den mest dramatiske retorikken.

– Forestillingen om at vi nå står rett foran en situasjon hvor vi alle kan bli utslettet, har jeg vanskelig for å tro på, sier Barua.

– Jeg mener det er fryktretorikk.

Det betyr ikke at hun avviser risikoen ved mer autonome KI-systemer.

– Hvis du bygger autonome agenter og gir dem API-tilgang til kritisk infrastruktur, er det selvfølgelig farlig, forklarer Barua.

– Men da handler det etter min mening i stor grad om cybersikkerhet og tilgangskontroll, ikke bare om at modellene plutselig er blitt mye smartere.

Bekymret for menneskeheten

Debatten om hvor farlig KI har blitt fikk ytterligere fart da Jacob Coxon tidligere i september sa opp jobben som forsker i Anthropic.

Han har også bakgrunn fra OpenAI.

Coxon skrev på X at folk som bygger de kraftigste KI-modellene oppriktig frykter at teknologien kan ta livet av menneskeheten innen utgangen av tiåret.

Han advarer også om at framtidige KI-systemer kan få overmenneskelige evner, hacke systemer og skaffe seg makt og ressurser.

Sandbu i Sopra Steria mener slike påstander må tas med en klype salt.

Han mener blant annet at enkelte beskrivelser av hva autonome KI-agenter kan gjøre, gir et misvisende bilde av dagens teknologi.

– Det har for eksempel vært snakk om at en KI-agent automatisk kan klone seg selv fra maskin til maskin. Det er ikke slik det fungerer, forklarer Sandbu.

– En agent kan kopiere informasjon over til en annen maskin, men det betyr ikke at den automatisk kan sette opp en ny KI-agent der.