Overrasket utviklerne: Automatisk «KI-forsker» redigerte sin egen kode uten menneskelig innblanding

KI-teknologien er i en rivende utvikling, og et av områdene det nå jobbes hardt med å å sette KI-modeller i stand til å utføre arbeid helt på egen hånd, med minimalt med menneskelig innblanding.

Et slikt prosjekt heter «AI Scientist», en selvstendig KI-modell utviklet av det japanske selskapet Sakana AI som er designet for å bedrive forskning på en automatisert måte.

Redigerte egen kode

Modellen viste seg nylig å utvise egenskaper som var litt i overkant selvstendige, som blant andre nettstedet Ars Technica rapporterte.

– Vi har lagt merke til at AI Scientist noen ganger forsøker å øke sin egen sjanse for suksess, slik som å modifisere og kjøre sitt eget skript!, skriver forskerne på selskapets nettsider.

Ifølge Sakana AI redigerte AI Scientist i ett tilfelle sin egen kode for å utføre et systemkall for å kjøre seg selv, noe som førte til en uavbrutt loop. I et annet tilfelle tok eksperimentene dens for lang tid å fullføre, og nådde tidsgrensen som hadde blitt satt.

I stedet for å få koden til å kjøre raskere, prøvde KI-modellen simpelthen å endre sin egen kode for å forlenge tidsgrensen, skriver selskapet.

Sakana AI peker på at denne adferden belyser noen av problemene og utfordringene med autonome KI-modeller generelt, men at fenomenet kan avhjelpes ved å plassere modellen i et isolert sandkassemiljø.

Vil automatisere vitenskapelig forskning

AI Scientist er et ambisiøst prosjekt som tar sikte på å fullstendig automatisere vitenskapelig forskning og oppdagelser, der tilsvarende modeller hittil har krevd omfattende menneskelig overvåkning og inngripen.

Systemet opererer med fire faser, hvorav den første er idégenerering, eller «brainstorming». Denne fasen innebærer at modellen på egen hånd vurderer ulike, nye forskningsretninger, basert på en enkel mal i form av kode som definerer selve forskningsfeltet.

Etter at modellen har unnfanget en idé utfører AI Scientist eksperimenter på egen hånd, visualiserer resultatene, og dokumenterer funnene. Dataene som den samler inn brukes så til å skrive relevante forskningsartikler uten menneskelig innblanding – hvorav flere har blitt lagt ut på selskapets nettsider.

Disse artiklene gjennomgår deretter en vurdering. Også denne fasen er automatisert, noe som skjer via språkmodeller (LLM) som kan evaluere kvaliteten til artiklene med nær menneskelig presisjon, sier forskerne.

Har svakheter og farer

Den automatiserte evalueringen kan i sin tur brukes til å forbedre kvaliteten til forskningsartiklene, og på den måten dannes det en kontinuerlig tilbakemeldingssløyfe.

Utviklerne innrømmer at AI Scientist ennå har en rekke tekniske begrensninger og svakheter, men at disse vil forbedres kraftig i fremtidige utgaver av modellen.

Som med all KI-teknologi peker Sakana AI også på at AI Scientist kan brukes til ondsinnede formål, som uetisk forskning. Dersom modellen for eksempel blir gitt i oppgave å finne nye biologiske materialer og blir gitt tilgang til laboratorier, kunne den potensielt utvikle nye, farlige virus eller giftstoffer, peker selskapet på.

Mer informasjon om AI Scientist kan du finne på nettsidene.