Anthropic-forsker slutter: – De gambler med livene våre

Den svært raske progresjonen på KI-feltet har ført med seg en bølge av frykt for teknologiens negative potensial, ikke minst hos bransjen selv. Advarsler begynner nærmest å bli dagligdagse, og nå har nok et rødt flagg blitt heist.

Avisen Wall Street Journal rapporterer om en forsker hos KI-giganten Anthropic, et av de ledende selskapene på området, som nå har valgt å ta hatten sin og gå – men ikke i stillhet.

Jacob Coxon er navnet på en KI-ingeniør som tidligere var ansatt hos Open AI, men som den siste tiden har jobbet hos Anthropic. Coxon mener KI-teknologien nå har nådd et punkt som vil gjøre den vanskelig å kontrollere, og konsekvensene kan være katastrofale, sier han.

Mener KI gambler med liv

– Vi ligger an til å realisere mange av de mest aggressive scenariene, hvor ting kan komme ut av kontroll allerede innen utgangen av neste år, sier Coxon til Wall Street Journal. Han mener den intense konkurransen på feltet gjør det tilnærmet umulig å prioritere sikkerhet.

Coxon har publisert en rekke innlegg på X i forbindelse med fratredelsen, der han benytter sterke ord. Det er særlig det forrykende kappløpet mot KI som kan forbedre seg selv, som er bekymringsfullt, mener han.

– De kappløper rett mot selvforbedrende superintelligens og gambler med livene våre, skriver han i et av innleggene og fortsetter:

– Folkene som bygger KI, tror helt ærlig at teknologien kan ta livet av oss innen utgangen av tiåret. Dette er ikke et markedsføringsstunt. Mange i ledende stillinger og seniorforskere uttaler seg forsiktig i mediene for å høres fornuftige ut – men jeg hører de samme menneskene uttrykke frykt privat. Ingen annen menneskelig aktivitet utgjør en slik fare.

I et annet innlegg oppfordrer Coxon til å ikke undervurdere kraften som ligger i KI-teknologien, og han skriver at KI snart vil levere «overmenneskelige» systemer som kan hacke hva som helst, og som kan tilegne seg ekte makt og ressurser.

Et «varselskudd»

Coxon viser til den mye omtalte Hugging Face-hendelsen som et «varselskudd» i denne sammenhengen. Hendelsen er som kjent ikke den eneste, og nylig skrev Digi om enda et tilfelle av «løpske» KI-agenter.

Den fratrådte Anthropic-forskerens advarsler sammenfaller godt med en rekke andre formaninger vi har sett fra bransjen selv den siste tiden. Digi fortalte nylig om en stor underskriftskampanje døpt «Pacing the Frontier», hvor nesten 1400 ansatte hos alle de toneangivende KI-aktørene advarer mot den kommende automatiseringen av KI-utvikling.

– Verdens ledende KI-selskaper mener at de kan være nær ved å automatisere KI-forskning. Det er vanskelig å forutsi nøyaktig hvor mye dette vil akselerere utviklingen av kunstig intelligens, men det finnes en reell risiko for at utviklingen av KI-kapasiteter vil akselerere så raskt at den overgår vår evne til å forstå eller kontrollere systemene som oppstår, heter det i en felles uttalelse.

En Open AI-ansatt som skrev under på oppropet, sammenlignet utviklingen med en «ukontrollert kjernefysisk kjedereaksjon».